说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

OCP黑客马拉松冠军:24小时头脑风暴背后

HTML文档下载 WORD文档下载 PDF文档下载
在OCP峰会上,对开源技术和硬件怀揣激情的工程师们走到一起,参加24小时黑客马拉松,在此期间,他们不停地工作希望在激烈的竞争中脱颖而出,Ron Herardian和他的团队今年夺得了冠军,他分享了这惊心动魄的24小时。

【编者按】黑客马拉松是程序员们的“美国偶像”,非常受欢迎,黑客马拉松一般长达几十个小时,参赛者累了或坐或卧,现场休息,一群高手云集一堂,在这么短暂的时间内拿出作品,对团队成员的技术水平、身心承受能力都是一场终极考验。本次OCP峰会黑客马拉松冠军Ron Herardian团队和我们分享了这场中比赛许多不为人知的细节,成员之间相互配合,发挥各自专长,最终完美的完成整个项目,演绎24小时头脑风暴,下面看Opencompute的Ron Herardian给我们带来的精彩消息。

以下为译文:

在过去的三个OCP峰会上,对开源技术和硬件怀揣着激情和梦想的工程师们走到一起,参加24小时黑客马拉松,在此期间,他们不停地工作希望在激烈的竞争中脱颖而出。今年,三支队伍赢得了黑客马拉松比赛,他们中的两位会在OCP博客上分享他们的经历,本文来自Ron Herardian的博客,他将在此分享他们团队获胜的诸多细节。

每当介绍新技术,大多数工程师问的第一个问题就是它们如何让我们的工作变的更好、更高效,在Open Compute峰会的硬件黑客马拉松上,我们给这个问题找到了最佳的答案。

我的团队成员来自不同的公司,我们彼此以前从未见过,Andreas Olofsson来自Adapteva, Peter Mooshammer以前在IBM工作,Jon Ehlen来自Facebook, Dimitar Boyn来自I/O Switch Technologies,还有 Rob Markovic ,一个独立顾问,最后还有我自己,一个计算机爱好者和黑客。虽然Rob和我都熟悉来自I/O Switch 公司的Dimitar,但我们彼此并不熟悉,其他成员互相都不认识,尽管如此,我们在经过一个小时的头脑风暴之后,彼此之间配合的非常默契而且一项雄心勃勃的计划逐渐浮出水面。

我们选定的项目叫做Adaptive Storage(自适应存储),在这里网络上的计算和存储资源将是松散耦合的,而且是独立可扩展的,从而优化大数据平台Hadoop。该项目使用基于RISC处理器(ARM)的微型服务器和连接网络的磁盘驱动器来创建Hadoop 数据节点。I/O Switch提供了一块能够使磁盘驱动器直接连接网络交换机的印制电路板。Hadoop微服务器节点可以控制网络上一个或多个磁盘驱动器,但任何微服务器可以读任何磁盘驱动器,这将使它能够在公共网络交换机中灵活、动态地重组计算和存储资源,如果成功,Adaptive Storage可以用来消除Hadoop的hotspots和coldspots。

从一开始,整个团队对新的Parallella微服务器在云供应商和大型企业中的前景非常看好,尽管它似乎更适合业余爱好者或者教育市场。Parallella是一个强大的、灵活的可扩展计算平台。Parallella计算机拥有双核Zynq Z-7020 ARM A9处理器,外加16核Epiphany Multicore加速器,以及1GB的RAM,它还内置千兆以太网、 USB、HDMI以及50GB/S扩展连接器。


Parallella 微服务器

Adaptive Storage的概念是由Dimitar和Andreas受其他团队成员的启发而来的,这个项目需要在网络上获取松散耦合分布式Parallella计算能力来存储资源,这需要通过AoE将磁盘驱动器连接到网络,以及在Parallella Hadoop 数据节点上运行开源 AoE驱动。Adapteva提供Parallella硬件和Linux发行版,I/O Switch提供AoE到SATA的印制电路板(“AoE使能器”),以及其他硬件设备来构建测试实验室环境。


I/O Switch AoE 使能器

黑客们需要构建一个自定义编译Linux内核和开源驱动程序代码,团队的每个成员迅速发挥他们的专长,Andreas 在Parallella平台以及ARM处理器Linaro Linux上的有着丰富的实践经验,这对我们项目至关重要;Jon在演示Parallella存储节点和I/O Switch AoE使能器如何在真正的数据中心部署方面帮助很大,他还负责整个项目的实际用例和3D CAD制图;除了解决许多问题,Peter成功的将整个软件栈部署到虚拟机环境中给了团队信心,这使我们的目标可以如期实现;Rob和我准备测试实验室,以及负责故障排除工作、协调团队,以及临时到最近的电子商店购买设备,准备项目的演示等。

整个团队工作到1月28日周二深夜,Dimitar和Andreas在夜里轮流对自定义的Linux内核启动运行、在Parallella平台上部署Hadoop。凌晨1点左右,试验台Parallella电脑在内核编译时过热,我们将风扇抬高使之远离I/O Switch Hailstorm存储附件,并从另一个团队借来线将风扇和Parallella板连接起来,最终很快解决了这个问题。


Adapteva CEO:Andreas Olofsson, .

经过24小时的努力,我们顺利的完成我们的项目,Dimitar在现场做了详细的演示,并且耐心的问答了观众的提问,包括如何使用Adaptive Storage在可扩展对象存储上实现Seagate的 Kinetic存储API或Amazon S3 RESTful API。


 I/O Switch Technologies CTO:Dimitar Boyn, 

在Adaptive Storage上,磁盘驱动器是直接连接到网络交换机的,没有传统的存储阵列。Hadoop的Parallella微服务器也连接到交换机,它们当中的每一个都可以为一个或多个磁盘驱动器处理数据。因为每一个磁盘驱动器都通过I/O Switch AoE 使能器PCB单独连接到网络,任何微服务器可以读取任何磁盘驱动器,这意味着微服务器可以联合起来处理复杂的事务或更大的数据集。

我们的设想是微服务器可以按需结合和动态重组,因为额外的微服务器可以自动被加入进来处理复杂的事务或大型数据集,Adaptive Storage是弹性计算,额外的物理微服务器可以随时添加到网络交换机,独立存储。

同样的,任何微服务器可以接管网络上未赋值的磁盘驱动器来进行特定的写访问,不需要时可以释放它们,这也是按需进行的,因此Adaptive Storage是弹性存储。额外的物理磁盘驱动器可以随时被添加到网络,独立计算。

除了引人注目的省电特性和独立性、计算和存储资源的弹性可扩展,Adaptive Storage可以很容易消除Hadoop上的计算hotspots和coldspots,但Adaptive Storage的概念和方法并不局限于Hadoop。它可以应用于任何大数据技术,如Cassandra 、MongoDB或常规的对象存储。例如Adaptive Storage是Seagate Kinetic的有效补充,因为Kinetic API可以在微服务器上运行,管理网络上一个或多个磁盘驱动器。

实际上,Facebook的1/2宽度Knox OCP系列小型计算机系统接口扩展板可以很容易被全宽度的Adaptive Storage基线板取代,并且在这上面可以安装插件导轨以及扩展卡/底板,整个结构支持金属支架,从机械和制造业的角度来看这个结构非常简单。


Adaptive 存储基线板

短短的24小时内,在没有预算的情况下,我们团队的工程师仅仅利用几台电脑、电路板和网络设备开发出一种全新的方式来组织Hadoop 数据节点、构建和演示一个基于ARM处理器的微型服务器使用开源软件的工作模型,并且绘制出了可投入生产的CAD图纸。

经验告诉我们,研发一个类似的项目在一个大型技术公司可能需要几个月,这可能就是我们参加OCP峰会为什么这么开心的原因。我们不能肯定Adaptive Storage是否在未来一直适用,但我们都很兴奋,许多公司和个人采访我们的黑客,他们被看到的迷住了,想继续发展这个项目。这一切让我们增加了对开源和OCP的信心,我们能够使用开源技术来构建一些伟大的东西,未来我们将和更多志同道合的人们继续构建、创新和发展开源技术。


以“  云计算大数据 推动智慧中国 ”为主题的  第六届中国云计算大会 将于5月20-23日在北京国家会议中心隆重举办。产业观察、技术培训、主题论坛、行业研讨,内容丰富,干货十足。票价优惠,马上  报名 ! 

原文链接: OCP Hackathon Winner: Adaptive Storage  (编译/魏伟 审校/毛梦琪)

VB调用API函数技巧快速选择全部项目 VB调用API函数使窗口保持在最上层 VB中调用Windows API的注意事项 VB中访问API函数之防错技巧 VB中利用API函数实现特殊窗体的两种方法 VB中用API函数实现文件夹列表 WIN32 API-VB资料 WIN32 API的分类介绍 -VB资料 Win95系统API函数大揭秘 作者:何发武 -VB资料 把图标放在WIN95的系统托盘中-VB资料 打开/关闭光驱门-VB资料 调用API函数设计ABOUT窗口 -VB资料 功能强大的SendMessage函数 -VB资料 简单计算函数的编写过程-VB资料 将文件大小变成相应的字符串-VB资料 可以直接用API改变textbox的扩展样式-VB资料 快速读取TextBox第N行的数据 -VB资料 VB利用 API 可以直接拨号 VB利用API 使Text框只读 VB利用API创建文件目录 VB利用API函数实现VB特殊窗体的两种方法 VB利用API函数实现无TittleBar窗体的移动 VB利用API在VB5.0中实现清除文档名 VB利用App.PrevInstance防止同一程序执行多次 VB判断应用程序是否仍在运行并设置焦点 巧用VISUAL BASIC的RND()函数 让你的程序不在任务栏中显示 -VB资料 VB如何不用API使文本框属性只读? VB如何从文件中提取图标 VB如何关闭/重新启动计算机? VB如何建立快捷方式? 如何在TreeView的NodeClick事件里得知当前node的上一级node的text? 我用MFC做了一个报表程序,开始时吧菜单中的“打印预览”删除了,请问我怎样再加入打印预览菜单项而且可以实现原来的功能? 让我们做一对幸福的老鼠[zz] ******请问sybase sql anywhere 7是否就是adaptive server anywhere 7(asa) linux能使用ADSL吗??? 大家来讨论一下多播和组播吧! 请问在深圳要到哪里什么时候报考高级程序员啊? 一个加急问题!!!怎样取得这个数组的值???? 時間問題比較 怎么给wstring赋值? PB与sql server 连接的问题 大虾们,我的这个程序错在哪?就是不出现像要的结果bezier曲线??在线等候!!!! 请教各位大侠,关于SQL与应用程序进行封装的问题 二个简单Access问题 关于更新表中的记录用sql.add该怎末写? 如何修复已经损坏的excel文件?急 请问谁有操作WAB文件的资料,可以给我一份吗? pb 6.5 分布式问题 拉有免费软件的上传空间?????? 使用JBuilder6出现的“找不到数据库驱动”的问题 哪里有中英文的VC书下载? 请帮忙:能传给我C++ primer 电子文档. 急!!UserControl_Resize()什么时候触发? 二个简单Access问题 北京项目管理,系统设计同行 关于ActiveX控件(OCX)的两个问题 ****急*****请教注册码的检验原理 怎样得到98/me/2k/xp下的桌面壁纸? 大家好,我想取消TStringGrid上,点右键出现的popup菜单,请指教 二个简单Access问题 请各位高手指教:怎样用VB读出WORD中指定区域的内容。 查询的表单提交 求多线程SOCK连接程序 二个简单Access问题 关于计算学生人数??? 二个简单Access问题 二个简单Access问题 二个简单Access问题 JBUILDER 6 FOR LINUX 的注册码谁有啊 VB中如何判断打印机的状态(空闲还是脱机等)? 难道没有高手了吗?为解决在Win32上MPEG-1视频流播放延时问题再次悬赏6000元人民币 关于Exp时候的4031错误? JBUILDER 6 FOR LINUX 的注册码谁有啊 谁会用safileup上传下载文件? 关于OCX控件的两个问题 数据库更新不成功的问题!(菜鸟高分提问!) 求助:多线程访问数据库的问题 触发器?很简单的 紧急求助???狂加分!!! 不相上班,怎么办呀?各位有何高招? 学习ATL的建议!!! 15到遗传题10到变异题, 怎样干扰车载GPS定位系统 黑洞的介绍介绍下黑洞,多些些 描写钱塘江壮观景象的文章 什么是车辆GPS定位系统?什么是车载GPS终端?两者有什么关系?帮忙介绍一下车辆GPS定位系统,什么是车载GPS终端,两者有联系 Cohen k值的定义?指的是什么?好象是一个统计学的术语,求解. 描写钱塘江的片段要的是现代文片段 ,不要文言文的 .呵 有关 伟大的祖国 的文章 谁能详细的解释下宇宙中的黑洞? 写钱塘江的文章 波峰焊比锡炉有哪些优点?做LED插件焊接,是选用波峰焊还是锡炉,哪个好?各有什么优缺点?谢谢 谁能给我一些关于张海迪的故事? 西南一月不下雨就发生大旱,而沙漠一年不下雨也不发生旱灾为什么? 请问哪位大师可以告诉我有铅波峰焊的助焊剂比重是多少?还有锡炉的温度要多少度才合适? 谁可以给我一些关于张海迪的故事? 听到寒潮警报后, 目前有多少种品牌的波峰焊锡炉?最好用的是那个品牌的波峰焊? 请问关于宇宙黑洞的介绍 寒潮橙色预警信号会在什么情况下被发布 这里的(2)(3)的意思! 张海迪故事告诉我关于张海迪的事 四阶魔方最后一步,差三个角块不会归位说明书上写的(RI DI R D)﹡2或4,可老对不上,那给个公式,最后四个角块位置正确,但角块的没面颜色对不上 很美很悲伤的句子类似于每当我要流泪的时候,我就会抬起头来看星星,这样眼泪就不会留下来了!黑色能够提醒我曾经失去的那样东西越多越好 高中生物必修二概念总圆 藏羚羊分布在我国的什么地方 找一些忧伤,优美的句子.大家多多推荐点 氢氟酸储存于 藏羚羊主要分布在哪主要是在西藏,还是在青海 求优美而伤感的句子. 为什么波峰焊的锡炉时上时下我们公司的波峰焊以前挺好的可是前几天出现问题锡炉的温度总是上去了有掉下来不知是什么原因/ 为什么沙漠一年不下雨也不会发生旱灾? 我国西藏地区藏羚羊的数量1999年是7万只左右,到2003年9月增加到10万只左右.藏羚 氢氟酸用途 中国共有多少个民族,大多分布在哪些地方? 我国西藏地区藏羚羊的数量1999年是7万只左右,到2003年9月增加到10万只左右.藏羚羊的数量比1999年增加了百分之几? 氢氟酸的作用问题氢氟酸和硝酸加在一起变成什么?加在一起后化工方面的作用是什么?是不锈钢腐蚀方面的 我国西藏地区藏羚羊的数量1999年是7万只左右,到2003年9月增加到10万只左右.藏羚羊的数量比1999年增加了百分之几?要算式,我就是得数不知道 我国西藏地区藏羚羊的数量1999年是7万只左右,到2003年到2010年增加到10万只左右.问:藏羚羊的数量比1999年增加了百分之几?(若除不尽百分号前面保留一位小数) 蜂糖的“波美度”是什么意思? 描写春天的古诗.古文.句子.词语 1999年西藏境内藏羚羊的数量是7万只左右,2003年比1999年增加了约43%.2003年藏羚羊的数量大约是多少万只? 氢氟酸和铜反应我想问酸的腐蚀性跟酸性有挂钩吗?HF是氢卤酸腐蚀性最强的酸,但却是氢卤酸最弱的酸,那么这个腐蚀性体现在哪?HF能和铜反应吗 伟大的祖国 辉煌的成就 作文 要2000字的作文~ 西藏藏羚羊的数量1999年是7万只左右,到2003年9月增加到10万只左右.藏羚羊的数量比1999年增加了百分之几? 电镀中的波美度是什么意思? 我要关于伟大的祖国的作文 急.最好自己写,500字左右就OK了.要语句通顺,写到一般就行. 如何写小学作文伟大的祖国是参加评选的!要400百字的作文 车载GPS定位系统靠谱吗? 高中生物----------遗传与变异控制人的血红蛋白基因分别位于人的11号、16号染色体上,在不同的发育时期至少有αβγεδ和ζ基因为之编码.人的血红蛋白由四条肽链组成,在人的不同发育时期血 有没有一些优美的句子和悲伤的 请问,有铅波峰焊,三个预热区的温度应该设置为多少比较合理?波峰焊型号为劲拓KK350,通用的怎样设置呢? 为什么四川和重庆一个月不下雨也会出现干旱,而沙漠地区却不会 下面铁的用途中,涉及了铁的什么性质?1:铁丝很难被拉断;铁块很难被压缩:___________ 2:烧菜用的铁锅、铁铲一般都要装上木柄:导热性 3:油罐车行驶时,罐内石油震荡产生经典,容易发生 波峰焊由哪几段组成,温度多少.有铅无铅温度一样吗? 求伤感的文言文 物质的性质决定其用途,下列物质的用途只是利用物理性质的是( )A.铜丝用来做导线B.二氧化碳用来作灭火剂C.天然气用来作燃料D.稀盐酸用来制二氧化碳气体 转换无铅波峰焊时,重要设备锡炉温度,及对PCB板有什么特别要求吗. 生物的遗传和变异试题 下列物质的用途,是利用其化学性质的是()A.活性炭出去冰箱内的异味 B.金刚石刻画玻璃 C.干冰进行人工降雨 D.氯气做自来水的消毒剂(能帮忙主要分析一下选项C、D ) 对于溶解度随温度升高而增大的固体物质的饱和溶液,温度不变,蒸发水,溶质质量分数怎么变RT,溶质会析出么我的理解:是不是水蒸发出来,因为是溶液,溶质也一起析出来,溶质的质量分数不变对
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘