说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

OCP黑客马拉松冠军:24小时头脑风暴背后

HTML文档下载 WORD文档下载 PDF文档下载
在OCP峰会上,对开源技术和硬件怀揣激情的工程师们走到一起,参加24小时黑客马拉松,在此期间,他们不停地工作希望在激烈的竞争中脱颖而出,Ron Herardian和他的团队今年夺得了冠军,他分享了这惊心动魄的24小时。

【编者按】黑客马拉松是程序员们的“美国偶像”,非常受欢迎,黑客马拉松一般长达几十个小时,参赛者累了或坐或卧,现场休息,一群高手云集一堂,在这么短暂的时间内拿出作品,对团队成员的技术水平、身心承受能力都是一场终极考验。本次OCP峰会黑客马拉松冠军Ron Herardian团队和我们分享了这场中比赛许多不为人知的细节,成员之间相互配合,发挥各自专长,最终完美的完成整个项目,演绎24小时头脑风暴,下面看Opencompute的Ron Herardian给我们带来的精彩消息。

以下为译文:

在过去的三个OCP峰会上,对开源技术和硬件怀揣着激情和梦想的工程师们走到一起,参加24小时黑客马拉松,在此期间,他们不停地工作希望在激烈的竞争中脱颖而出。今年,三支队伍赢得了黑客马拉松比赛,他们中的两位会在OCP博客上分享他们的经历,本文来自Ron Herardian的博客,他将在此分享他们团队获胜的诸多细节。

每当介绍新技术,大多数工程师问的第一个问题就是它们如何让我们的工作变的更好、更高效,在Open Compute峰会的硬件黑客马拉松上,我们给这个问题找到了最佳的答案。

我的团队成员来自不同的公司,我们彼此以前从未见过,Andreas Olofsson来自Adapteva, Peter Mooshammer以前在IBM工作,Jon Ehlen来自Facebook, Dimitar Boyn来自I/O Switch Technologies,还有 Rob Markovic ,一个独立顾问,最后还有我自己,一个计算机爱好者和黑客。虽然Rob和我都熟悉来自I/O Switch 公司的Dimitar,但我们彼此并不熟悉,其他成员互相都不认识,尽管如此,我们在经过一个小时的头脑风暴之后,彼此之间配合的非常默契而且一项雄心勃勃的计划逐渐浮出水面。

我们选定的项目叫做Adaptive Storage(自适应存储),在这里网络上的计算和存储资源将是松散耦合的,而且是独立可扩展的,从而优化大数据平台Hadoop。该项目使用基于RISC处理器(ARM)的微型服务器和连接网络的磁盘驱动器来创建Hadoop 数据节点。I/O Switch提供了一块能够使磁盘驱动器直接连接网络交换机的印制电路板。Hadoop微服务器节点可以控制网络上一个或多个磁盘驱动器,但任何微服务器可以读任何磁盘驱动器,这将使它能够在公共网络交换机中灵活、动态地重组计算和存储资源,如果成功,Adaptive Storage可以用来消除Hadoop的hotspots和coldspots。

从一开始,整个团队对新的Parallella微服务器在云供应商和大型企业中的前景非常看好,尽管它似乎更适合业余爱好者或者教育市场。Parallella是一个强大的、灵活的可扩展计算平台。Parallella计算机拥有双核Zynq Z-7020 ARM A9处理器,外加16核Epiphany Multicore加速器,以及1GB的RAM,它还内置千兆以太网、 USB、HDMI以及50GB/S扩展连接器。


Parallella 微服务器

Adaptive Storage的概念是由Dimitar和Andreas受其他团队成员的启发而来的,这个项目需要在网络上获取松散耦合分布式Parallella计算能力来存储资源,这需要通过AoE将磁盘驱动器连接到网络,以及在Parallella Hadoop 数据节点上运行开源 AoE驱动。Adapteva提供Parallella硬件和Linux发行版,I/O Switch提供AoE到SATA的印制电路板(“AoE使能器”),以及其他硬件设备来构建测试实验室环境。


I/O Switch AoE 使能器

黑客们需要构建一个自定义编译Linux内核和开源驱动程序代码,团队的每个成员迅速发挥他们的专长,Andreas 在Parallella平台以及ARM处理器Linaro Linux上的有着丰富的实践经验,这对我们项目至关重要;Jon在演示Parallella存储节点和I/O Switch AoE使能器如何在真正的数据中心部署方面帮助很大,他还负责整个项目的实际用例和3D CAD制图;除了解决许多问题,Peter成功的将整个软件栈部署到虚拟机环境中给了团队信心,这使我们的目标可以如期实现;Rob和我准备测试实验室,以及负责故障排除工作、协调团队,以及临时到最近的电子商店购买设备,准备项目的演示等。

整个团队工作到1月28日周二深夜,Dimitar和Andreas在夜里轮流对自定义的Linux内核启动运行、在Parallella平台上部署Hadoop。凌晨1点左右,试验台Parallella电脑在内核编译时过热,我们将风扇抬高使之远离I/O Switch Hailstorm存储附件,并从另一个团队借来线将风扇和Parallella板连接起来,最终很快解决了这个问题。


Adapteva CEO:Andreas Olofsson, .

经过24小时的努力,我们顺利的完成我们的项目,Dimitar在现场做了详细的演示,并且耐心的问答了观众的提问,包括如何使用Adaptive Storage在可扩展对象存储上实现Seagate的 Kinetic存储API或Amazon S3 RESTful API。


 I/O Switch Technologies CTO:Dimitar Boyn, 

在Adaptive Storage上,磁盘驱动器是直接连接到网络交换机的,没有传统的存储阵列。Hadoop的Parallella微服务器也连接到交换机,它们当中的每一个都可以为一个或多个磁盘驱动器处理数据。因为每一个磁盘驱动器都通过I/O Switch AoE 使能器PCB单独连接到网络,任何微服务器可以读取任何磁盘驱动器,这意味着微服务器可以联合起来处理复杂的事务或更大的数据集。

我们的设想是微服务器可以按需结合和动态重组,因为额外的微服务器可以自动被加入进来处理复杂的事务或大型数据集,Adaptive Storage是弹性计算,额外的物理微服务器可以随时添加到网络交换机,独立存储。

同样的,任何微服务器可以接管网络上未赋值的磁盘驱动器来进行特定的写访问,不需要时可以释放它们,这也是按需进行的,因此Adaptive Storage是弹性存储。额外的物理磁盘驱动器可以随时被添加到网络,独立计算。

除了引人注目的省电特性和独立性、计算和存储资源的弹性可扩展,Adaptive Storage可以很容易消除Hadoop上的计算hotspots和coldspots,但Adaptive Storage的概念和方法并不局限于Hadoop。它可以应用于任何大数据技术,如Cassandra 、MongoDB或常规的对象存储。例如Adaptive Storage是Seagate Kinetic的有效补充,因为Kinetic API可以在微服务器上运行,管理网络上一个或多个磁盘驱动器。

实际上,Facebook的1/2宽度Knox OCP系列小型计算机系统接口扩展板可以很容易被全宽度的Adaptive Storage基线板取代,并且在这上面可以安装插件导轨以及扩展卡/底板,整个结构支持金属支架,从机械和制造业的角度来看这个结构非常简单。


Adaptive 存储基线板

短短的24小时内,在没有预算的情况下,我们团队的工程师仅仅利用几台电脑、电路板和网络设备开发出一种全新的方式来组织Hadoop 数据节点、构建和演示一个基于ARM处理器的微型服务器使用开源软件的工作模型,并且绘制出了可投入生产的CAD图纸。

经验告诉我们,研发一个类似的项目在一个大型技术公司可能需要几个月,这可能就是我们参加OCP峰会为什么这么开心的原因。我们不能肯定Adaptive Storage是否在未来一直适用,但我们都很兴奋,许多公司和个人采访我们的黑客,他们被看到的迷住了,想继续发展这个项目。这一切让我们增加了对开源和OCP的信心,我们能够使用开源技术来构建一些伟大的东西,未来我们将和更多志同道合的人们继续构建、创新和发展开源技术。


以“  云计算大数据 推动智慧中国 ”为主题的  第六届中国云计算大会 将于5月20-23日在北京国家会议中心隆重举办。产业观察、技术培训、主题论坛、行业研讨,内容丰富,干货十足。票价优惠,马上  报名 ! 

原文链接: OCP Hackathon Winner: Adaptive Storage  (编译/魏伟 审校/毛梦琪)

高达10亿美元,Facebook为什么要收购Waze? Cocos2D-X成全球第二大游戏引擎 仅次于Unity 亲爱的苹果,能不能别让应用太廉价? 陈晓影:一位女海归曲折的拓荒故事 IDG李丰:在中国,创业公司最好是一个One Man Company Google Drive新增“保存到Drive”按钮功能 可自行添加 腾讯CDC创始人唐沐加盟小米 总经理陈妍接任 老板我想辞职:因为小米100万元征集一张壁纸 移动周报:GitHub上最火的Android开源项目 免费才是王道:盘点开发者须知的25个免费数据可视化工具 Pivotal获通用电气1.05亿美元支持 或将改变大数据和物联网的游戏规则 大掌门与阿里云和解:云生态系统呼之欲出 刘有涛:恩信科技云计算大潮中扬帆起航 Cloudera释放Impala 1.0:与Hadoop完全整合,各方面完爆Hive 云通讯平台:让你的应用会说话 触宝用户过亿,CEO王佳梁常说的词是“创新” 全国电脑健康日启动 360搭建电脑维修开放平台 C语言实现归并排序 360石晓虹:针对移动Apps的DDoS攻击将成重大威胁 更社交化:谷歌将推出Google Play平台服务 C语言对磁盘文件进行快速排序 传Google已关闭短信搜索服务 PayPal首席安全官:靠密码验证身份即将寿终正寝 DRM你又赢了:其API纳入HTML5标准 豌豆荚王俊煜:洗白白其实是一个计划外的产物 抢Google等巨头生意,纽约大学小伙挖掘并出售自己数据 noBackend:前端优先的开发模式 C、CPP const 详解 三星5G技术获得突破性进展 未来传输速度可达10Gbps 5月14日:1984年美国社交网站Facebook创办人Mark Zuckerberg出生 Chartkick:一行代码即可绘制出漂亮的图表 111222真的走了~~~~~~~~~~~ JBuilder中用MYSQL数据库,用中文进行条件查询时,查不出任和数据? ASM 菜鸟问题,请大家帮忙!谢谢 解释一下好了吗? ============答对我的问题者,将可获得111222的签名照片!!!!!!!!=========== 关于图片的上传 ======== 绝对好消息,activereport2.0已经release 了,cracker们出动啊~~~~~加油 ============= 关于什么才是真正的系统分析和系统分析员的讨论!——欢迎大家参加,进行善意地讨论!^&^ 今晚的球赛什么时候开始啊? 哪里有关于水平考试(高程)的模拟题的啊??? 为什麽还是不能显示中文呢? 怎样获取WIN2000的密码 在父窗体怎样画jpg格式的背景图? 如何注册MSComm控件????????? 如何解决这个问题啊?重赏啊!!!! 公告: 从现在开始封shines 111222 :)流芳斑主,结贴的工作要开始了,会很累啊!我代表大家先谢谢你了! 怎样改变MSHflexgrid中每条记录的背景颜色。急急急急急急急 各位,能不能给我讲一下“句柄”是怎么一回事? 唉,心情不爽 关于C++语法的问题? 灌水-----大学时的恶作剧(转载) "setdibs()"是什么来着,请指教,谢谢! 写注释不宜过头 这段代码错在哪里? 请大家预测一下比分(参与者都有分)开赛后就不算了,还有半个小时,赶紧着 写网络电话程序的讨论 最后一帖,贴完睡觉----如何在电梯里捣乱 怎样定制一个在程序中重用的组件?只能通过包方式吗? 寻寻觅觅 汉英计算机科技文章 互译!!有劳各位朋友费心帮忙找找 我靠!真TMD不爽,这个时候准老婆的老妈进了医院! 怎样调用*.db格式文件 谁知道哪儿有英汉互译,急急急急!!!! ISO 9001认证 VS CMM2 谁知道哪儿有《神秘的人月》下载? 为111222求情 怎样可以修改浏览器的标题? 怎样可以修改浏览器的标题1? 哪位能给我一个source insight 3.0的sn号? 怎样可以修改浏览器的标题2? 如何异步调用远程组件的方法? 哈哈!球赛开始了!我也不想去医院了!!!顶多明天挨顿骂! 上CSDN的有谁是七月份毕业,大家认识一下 我想问问,一个程序员的黄金年龄是多少? 如何由CRgn得到一组Polygon? 初学者请教一个小问题!急急急,尿都快急出来啦! 急急急急急急急急急急,用vb怎样知道COM口是不是打开着,能不能不用控件高分. 高手请看:20 分 我想给50 分,但是系统只让给20分,对不起大家了,有机会一定补上!!! 关于一个报表问题,急! 我需要一个Hackman的配套的Debugger,有谁知道哪有 现在就用VB.net开发商用程序可靠吗? 2(x-2. ..二元一次方程组...有一些苹果箱,若每只装苹果25千克,则剩余40千克无处装,若每只装30千克,则余20只空箱,这些苹果箱有多少只?请列式计算...PS...符号"^"表示上标..即N次方...每个方程组之间请 设方程2^x+x+2=0和方程log2 x+x+2=0的根分别为p和q,则p+q=?我想知道,作出y=2^x,y=log2 x,及y=-x-2的图像以后, 8(X-6.2)=41.6 (X-3)/2=7.5 这两个方程怎么解 列二元一次方程组解2道初中数学题1,一旅馆的客房有3人间和2人间,3人间每人每晚25元,2人间每人每晚35元.一个50人的旅游团到该旅馆住宿,租住了若干客房且每个客房正好住满,一天共花住宿费1 已知方程2^x+x+2=0的根为P,log2(x+x+2)=0的根为q,记f(x)=(x+p)(x+q)+2则A,f(0) 帮忙解一道方程,x-18=3(x-26) 初中数学二元一次方程组题一个两位数,个位数字比十位数字大5.如果把个位数字对调,那么所得到的新数与原来数的和是143.求原来的两位数 2x-3/4=5/6 . (x-2)/(x+2)+16/(4-x^2)=(x+2)/(x-2) 初中数学题(有关二元一次方程组~急)1.若|X+Y-3|+(X-Y)^2=0,你能求出X,2.已知t满足方程组{2x=3-5t,则x和y之间满足的关系式是_______3y-2t=x, 6.3-2x+4.5=7. 解一道方程!3分之2(x-y)=4分之x+y-1 6(x+y)=4(2x-y)+16! 初中数学题二元一次方程组 解答两道方程题目(1)3x²=2x (2) (x+4)²=5(x+4)(1)3x²=2x (2) (x+4)²=5(x+4) 第十六题该怎么算?方程式来的. 方程log2 (x+4)=2^x的实数根的个数为好像是两解 请根据方程,x+2x+3x=72联系生活实际,编一道应用题(要求题目完整,题意清楚)明天就要交 [(4-x+4)*4/2]+(4x/2)=16 这道方程怎么算 方程log2(x+4)=3^x的实数根的个数为 编写一道应用题,使它满足下列要求:1:题意适合一元一次方程2x+8=6-2x 2:所编应用题应完整,符合实际. x+9=2x-9这个方程怎么解 方程log2(x+3)=3的x次方的实数根的个数 8道一元一次方程应用题先说明要有步骤不要只有一个答案 不用再步骤中插入解说。一定要用方程!1、两个仓库装粮食,第一个仓库是第二个仓库存粮的3倍,如果从第一个仓库中取出20吨放 8(×-6.2)=41.6(方程) 求方程9^2x-1=4^x的解 判断方程Log2(x)+x^2=0在区间[1/2,1]内有没有实数根,为什么? (X+1)*6=(X-1)*8这个方程咋解? 方程9^(2x-1)=4^x的解x=RT 方程log2 (x+4)=(1∕2)^x的实数根的个数为答案为1个数 不用画图能做吗!最好不要画图能做! 判断题“方程X-1.2=1.6的解是2.8”这句话对吗? 2x—9=x+9(方程解答) 方程ln(3*2^x-2)=log2的3+log2的1/3d的解为 数学判断题:方程5+2x=16.2的解是5.6 x比6分之5=9分之5【比例方程】 方程log2(2^x+1)log2(2^(x+1)+2)=2的解为 要具体方程log2(2^x+1)log2(2^(x+1)+2)=2的解为 要具体过程 判断题:x=2即是方程式,也是方程的解 解下列方程 15分之4+X=1-15分之4 X-(3分之2+4分之1)=6分之5 方程log2(9ˇx-5)=log2(3ˇx-2)+2的解集是过程理由 怎么做在等式两边都有X的方程,比如说,8X+4=10X,要详解过程哦 3分之2(x+1)=6分之5(x+1)-1++方程怎么解 x^log2(x+2)=8 解对数方程, 方程14+(4.8x-6)-2.8x=8怎么解 8题的方程. 求方程log2(x+4)=(1/3)^x的根的个数,并说明理由给点思路也行..请误乱写P言 省得没人问津 以为有人答了.] ﹙6分之5+8分之5﹚×x=20分之7(方程加过程) 求救7,8两题拜托用方程解 方程log2(x+5)=4^x的实根的个数为RT!求教! 列方程,求x的解 输入20,乘6,减去7x输出50 7.8-x=6.2这个方程怎么解 方程log2(x+a)=3^x的实根的个数A.0B.1C.2D.3 列方程式解答:240比X的一半多60.一个数加上它的20%后是8.4,求这个数. 第6、7题用列方程解决. 方程log2(x+4)=x^(1/3)根的个数是几个 【5+x】*8/2=6哦【列方程, 6、7、8题怎么做直接列方程不用解 方程log2(2^x+1)log2(2^(x+1)+2)=2的解 X+6/5X+6/5X*31/4=320这个方程怎么解 七年级上册数学复习题3答案 速度好急快啊要方程的式子 和答案 6.7.8.9题要过程 急 速度速度速度速度速 方程log2(2^x+1)log2(2^(x+1)+2)=2的解为给答案就行
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn