说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

OCP黑客马拉松冠军:24小时头脑风暴背后

HTML文档下载 WORD文档下载 PDF文档下载
在OCP峰会上,对开源技术和硬件怀揣激情的工程师们走到一起,参加24小时黑客马拉松,在此期间,他们不停地工作希望在激烈的竞争中脱颖而出,Ron Herardian和他的团队今年夺得了冠军,他分享了这惊心动魄的24小时。

【编者按】黑客马拉松是程序员们的“美国偶像”,非常受欢迎,黑客马拉松一般长达几十个小时,参赛者累了或坐或卧,现场休息,一群高手云集一堂,在这么短暂的时间内拿出作品,对团队成员的技术水平、身心承受能力都是一场终极考验。本次OCP峰会黑客马拉松冠军Ron Herardian团队和我们分享了这场中比赛许多不为人知的细节,成员之间相互配合,发挥各自专长,最终完美的完成整个项目,演绎24小时头脑风暴,下面看Opencompute的Ron Herardian给我们带来的精彩消息。

以下为译文:

在过去的三个OCP峰会上,对开源技术和硬件怀揣着激情和梦想的工程师们走到一起,参加24小时黑客马拉松,在此期间,他们不停地工作希望在激烈的竞争中脱颖而出。今年,三支队伍赢得了黑客马拉松比赛,他们中的两位会在OCP博客上分享他们的经历,本文来自Ron Herardian的博客,他将在此分享他们团队获胜的诸多细节。

每当介绍新技术,大多数工程师问的第一个问题就是它们如何让我们的工作变的更好、更高效,在Open Compute峰会的硬件黑客马拉松上,我们给这个问题找到了最佳的答案。

我的团队成员来自不同的公司,我们彼此以前从未见过,Andreas Olofsson来自Adapteva, Peter Mooshammer以前在IBM工作,Jon Ehlen来自Facebook, Dimitar Boyn来自I/O Switch Technologies,还有 Rob Markovic ,一个独立顾问,最后还有我自己,一个计算机爱好者和黑客。虽然Rob和我都熟悉来自I/O Switch 公司的Dimitar,但我们彼此并不熟悉,其他成员互相都不认识,尽管如此,我们在经过一个小时的头脑风暴之后,彼此之间配合的非常默契而且一项雄心勃勃的计划逐渐浮出水面。

我们选定的项目叫做Adaptive Storage(自适应存储),在这里网络上的计算和存储资源将是松散耦合的,而且是独立可扩展的,从而优化大数据平台Hadoop。该项目使用基于RISC处理器(ARM)的微型服务器和连接网络的磁盘驱动器来创建Hadoop 数据节点。I/O Switch提供了一块能够使磁盘驱动器直接连接网络交换机的印制电路板。Hadoop微服务器节点可以控制网络上一个或多个磁盘驱动器,但任何微服务器可以读任何磁盘驱动器,这将使它能够在公共网络交换机中灵活、动态地重组计算和存储资源,如果成功,Adaptive Storage可以用来消除Hadoop的hotspots和coldspots。

从一开始,整个团队对新的Parallella微服务器在云供应商和大型企业中的前景非常看好,尽管它似乎更适合业余爱好者或者教育市场。Parallella是一个强大的、灵活的可扩展计算平台。Parallella计算机拥有双核Zynq Z-7020 ARM A9处理器,外加16核Epiphany Multicore加速器,以及1GB的RAM,它还内置千兆以太网、 USB、HDMI以及50GB/S扩展连接器。


Parallella 微服务器

Adaptive Storage的概念是由Dimitar和Andreas受其他团队成员的启发而来的,这个项目需要在网络上获取松散耦合分布式Parallella计算能力来存储资源,这需要通过AoE将磁盘驱动器连接到网络,以及在Parallella Hadoop 数据节点上运行开源 AoE驱动。Adapteva提供Parallella硬件和Linux发行版,I/O Switch提供AoE到SATA的印制电路板(“AoE使能器”),以及其他硬件设备来构建测试实验室环境。


I/O Switch AoE 使能器

黑客们需要构建一个自定义编译Linux内核和开源驱动程序代码,团队的每个成员迅速发挥他们的专长,Andreas 在Parallella平台以及ARM处理器Linaro Linux上的有着丰富的实践经验,这对我们项目至关重要;Jon在演示Parallella存储节点和I/O Switch AoE使能器如何在真正的数据中心部署方面帮助很大,他还负责整个项目的实际用例和3D CAD制图;除了解决许多问题,Peter成功的将整个软件栈部署到虚拟机环境中给了团队信心,这使我们的目标可以如期实现;Rob和我准备测试实验室,以及负责故障排除工作、协调团队,以及临时到最近的电子商店购买设备,准备项目的演示等。

整个团队工作到1月28日周二深夜,Dimitar和Andreas在夜里轮流对自定义的Linux内核启动运行、在Parallella平台上部署Hadoop。凌晨1点左右,试验台Parallella电脑在内核编译时过热,我们将风扇抬高使之远离I/O Switch Hailstorm存储附件,并从另一个团队借来线将风扇和Parallella板连接起来,最终很快解决了这个问题。


Adapteva CEO:Andreas Olofsson, .

经过24小时的努力,我们顺利的完成我们的项目,Dimitar在现场做了详细的演示,并且耐心的问答了观众的提问,包括如何使用Adaptive Storage在可扩展对象存储上实现Seagate的 Kinetic存储API或Amazon S3 RESTful API。


 I/O Switch Technologies CTO:Dimitar Boyn, 

在Adaptive Storage上,磁盘驱动器是直接连接到网络交换机的,没有传统的存储阵列。Hadoop的Parallella微服务器也连接到交换机,它们当中的每一个都可以为一个或多个磁盘驱动器处理数据。因为每一个磁盘驱动器都通过I/O Switch AoE 使能器PCB单独连接到网络,任何微服务器可以读取任何磁盘驱动器,这意味着微服务器可以联合起来处理复杂的事务或更大的数据集。

我们的设想是微服务器可以按需结合和动态重组,因为额外的微服务器可以自动被加入进来处理复杂的事务或大型数据集,Adaptive Storage是弹性计算,额外的物理微服务器可以随时添加到网络交换机,独立存储。

同样的,任何微服务器可以接管网络上未赋值的磁盘驱动器来进行特定的写访问,不需要时可以释放它们,这也是按需进行的,因此Adaptive Storage是弹性存储。额外的物理磁盘驱动器可以随时被添加到网络,独立计算。

除了引人注目的省电特性和独立性、计算和存储资源的弹性可扩展,Adaptive Storage可以很容易消除Hadoop上的计算hotspots和coldspots,但Adaptive Storage的概念和方法并不局限于Hadoop。它可以应用于任何大数据技术,如Cassandra 、MongoDB或常规的对象存储。例如Adaptive Storage是Seagate Kinetic的有效补充,因为Kinetic API可以在微服务器上运行,管理网络上一个或多个磁盘驱动器。

实际上,Facebook的1/2宽度Knox OCP系列小型计算机系统接口扩展板可以很容易被全宽度的Adaptive Storage基线板取代,并且在这上面可以安装插件导轨以及扩展卡/底板,整个结构支持金属支架,从机械和制造业的角度来看这个结构非常简单。


Adaptive 存储基线板

短短的24小时内,在没有预算的情况下,我们团队的工程师仅仅利用几台电脑、电路板和网络设备开发出一种全新的方式来组织Hadoop 数据节点、构建和演示一个基于ARM处理器的微型服务器使用开源软件的工作模型,并且绘制出了可投入生产的CAD图纸。

经验告诉我们,研发一个类似的项目在一个大型技术公司可能需要几个月,这可能就是我们参加OCP峰会为什么这么开心的原因。我们不能肯定Adaptive Storage是否在未来一直适用,但我们都很兴奋,许多公司和个人采访我们的黑客,他们被看到的迷住了,想继续发展这个项目。这一切让我们增加了对开源和OCP的信心,我们能够使用开源技术来构建一些伟大的东西,未来我们将和更多志同道合的人们继续构建、创新和发展开源技术。


以“  云计算大数据 推动智慧中国 ”为主题的  第六届中国云计算大会 将于5月20-23日在北京国家会议中心隆重举办。产业观察、技术培训、主题论坛、行业研讨,内容丰富,干货十足。票价优惠,马上  报名 ! 

原文链接: OCP Hackathon Winner: Adaptive Storage  (编译/魏伟 审校/毛梦琪)

一周消息树:2013年十大产品、图书、公司盘点 专访Wunderlist主设计师Jan Martin:永远不要盲目跟风流行趋势 研发周报:超实用的JavaScript技巧及最佳实践 2013最吃香的技能:Java称霸、Android势头正猛 移动周报:最火原型设计工具盘点 “京东电商云”起航,零售企业及品牌商是重点 教育乃立国之本:教育类开源项目大汇集 Hugo Barra首度谈离开谷歌后在中国工作的感受 对中国赞不绝口 母婴行业最早试水者 优谈宝宝借助轻应用全面布局移动产品线 腾讯云平台部总经理纪顺友:微云将彻底迈过文件传输的门槛 豌豆“荚”油!B轮融资1.2亿美元的豌豆荚 2013年终盘点:10款最精巧的硬件开发板 SquareWear:可替代Lilypad Arduino的开发板 开放数据:2014年最热门的竞争领域 IE11虚拟机免费面向广大开发者 九城搭建的一个以Hadoop为基础的大数据平台 Windows 8复杂性的代价到底有多大? 在发布前,第一代iPhone其实并不完善 市场占有率调查:iOS 7秒杀Android 4.4 AWS会赢、OpenStack会消亡、Connected Cars可防僵尸攻击 谷歌以32亿美金收购iPod之父的创业公司Nest 物联网时代来临 微软2014,有你期待的吗? 映趣科技发布inWatch Z/inWatch X 后者采用全彩透明柔性屏 程序员没有天才:暴风影音首席架构师鲍金龙访谈 开放式创新改变世界——OpenStack生态系统将重新洗牌 Java 8最终发布日期敲定,即使有bug也要发布 Meteor PK Django,谁更适合开发实时Web应用? 学编程就像选家具:去宜家还是从种树开始? 前车之鉴 十二个年度最差设计网站汇集 冷暖交替,2014年编程兴衰趋势预测 诺基亚出Android手机,微软或将受惠 向高手求救,有关java中文的问题!!! 怎样在数据库中查出本周的记录。是ACCESS数据库。为什么高手都不进来。是问题太难吗 如何将任务栏的图标隐藏? 怎么google上不去了? SQL简单问题 关于html中进行文本编辑中操作图片的问题?请各位大虾来看看结贴一定给分 哪儿有H.323的资料呀? 我是菜鸟: ReportBuilder 中明细记录的序号怎么加? 屏蔽输入的字符 求解分数排名的权数确定 如何实现海量数据数据库的快速查询?? 有谁知道TreeView的AutoSelect属性是干嘛用的?? vc60编译出错问题? 请问编写调试JavaScript用什么软件比较好? 救命啊!!!!! 和父母一直搞的不好,怎么办? 客户端连接问题 求救 VFP:event.prg不存在? 宏和内联函数有什么具体的区别 请问如何将HTML页面直接插入TWebBrowser而不通过文件存取?谢谢! 如何将任务栏的图标隐藏? SQL Server7.0我的一个表才5万条数据,用这样的SQL Select * from Diner 语句查询要几十秒钟?太慢了。 请高手指点迷津!!! 2035年9月7日新华社报道 我的IE菜单怎么变成英文的了? GetFileVersionInfoSize,GetFileVersionInfo, VerQueryValue通过他们...... 谁知道文件上传组件:w3upload ,哪里有下载? 向高手求救,有关java中文的问题!!! 请教关于信息分析的好的软件有哪些?(100分) 急!如何使JTable中的某一列中的所有单元格只能输入数字?(急需源代码!)感谢! 怎样判断数据连接? 你是一个真正的程序员吗? 串口接收二进制数据一问,高分相送 关于关机的问题 Linux gcc 一弱弱问题 关于《阳春白雪》安装的问题,急! 发现index.aspx页面的ImageButton事件无法跟踪调试 怎么google上不去了? VB当中相当于VC当中的Continue(跳出一次循环,接着进行下一次循环)的语句是什么? 请教:Jsp中一个有关日期的简单问题! 我这边有个问题,用分1000给答的好人啊。。望各位兄弟帮帮忙啊! 如何使属性页和属性单占用资源减少? 为什么有时候gets()会停都不停,不让用户输入,而有时候却正常? 串口读取二进制数据一问,高分相送 一个小VB程序 下载了Delphl5.x ADO/MTS/CoM+(李维) 是PDF格式的,不能打印,该怎么办?那里可以下载到可打印的啊? 不难,关于程序调用的问题 奇怪!为什么不能引入System::Data? 重要!.Net FrameWork Service Pack 2出来了,赶快下载! 请教大家一个文件加密程序错误 #include <iostream.h>和#include <iostream>这两种写法根本的区别在哪儿? 为什么深海里面的鱼长得那么丑? 看到定义说左右极限都存在,x才是可去间断点,为什么-1,3这两点是可去间断点?-1不是只有右极限,3只有左极限么? 铁矿石加工成铁粉时会出现对人体有害物质吗? 初三上学年化学元素符号 什么是构成人体的主要从材料? caac是什么的缩写 化学元素符号级名称(初三)咳咳~开学第一节化学课、老师说要背元素周期还不知道是什么的、、那个给下初中所有的化学元素、、格式要 二氧化碳Co2 水H2o 镁...氧化镁...就这个格式 如图,每个小正方形的边长表示1厘米.要在小方格的顶点上找到C点,连接A,B,C后得到三角 形,使三角形ABC的面积为2平方厘米. CAAC是什么的简写 初三化学元素的名称和符号要求;按初三化学书的标准.最好按顺序..... 求数列极限 遇到Xn+1=ln(1+Xn) 为数列通项 X1>0 为什么它的下界是0?求数列极限 遇到Xn+1=ln(1+Xn) 为数列通项 X1>0 为什么它的下界是0?请解释清楚一点.(n+1是脚标) 重力式除铁除锰设备和压力式除铁除锰设备有何区别如题所示,哪一种得到了更广泛的应用 请问石油钻井中,常见到测井队使用中子源,会对靠近的人有影响吗?中子源入井后,放射出来的辐射会停留在泥泥浆返出地面后,会夹带辐射对人体有影响吗?本人是名泥浆工,未婚! pu妮麦的中子,有的箱 .254494109 圣经中有没有人活着的意义的解释?如题,不要说一堆官话,最好是圣经原版附注正常人能看懂的解释,混分儿绕行,谢谢 在外面的池塘,自然生长的鱼, 岩层产状三要素? 这个信度和效度到底是什么,有没有人能解释的通俗点效度不是题的有效性吗,写书上写着和测验的长度有关系,这是什么破逻辑,和长短有什么关系 补偿中子测井的简写是什么 画图的三要素是什么长对正、高平齐、宽相等.所谓“长对正”就是说:主视图和俯视图的长度方向要对正;所谓“高平齐”就是说:主视图和左视图的高度方向要平齐;所谓“宽相等”就是 除铁锰设备改造,出水不清澈我遇到一个地下水除铁锰工程改造,原水铁含量13mg/l,锰含量1.5mg/l,TDS值约90.原设备工艺流程:地下70M处的深井泵将水抽至地面,未采取任何曝气措施即进入一个100m 我现在有一个鱼塘,是天然的,所以池塘底是沙子的,我想了解一下像这样条件的鱼塘适养什么鱼合适》我现在有一个鱼塘,是天然的,所以池塘底是沙子的,我想了解一下像这样条件的鱼塘适合养 制图三要素是什么啊? 有没有人能解释一下什么是爱什么是喜欢? 我在北方宁夏有60亩的自然鱼塘,怎样养,养什么鱼收益大,希望大家给出意见水质条件较好,面积较广. 岩层产状三要素怎么测量?有没有不用罗盘仪的方法? 关于同人这个词,谁理解比较深的?跟一个朋友吵了半天,谁都不服谁,我对这个词也不了解多少,就去百度百科看了一下,我以为根据百度百科上的注解,《三国演义》也算是同人小说,他说不是,我 哪里棉被绗缝机器好一些?棉被绗缝机价格贵吗?我要是购买棉被绗缝机的话,应该去哪里购买才能购买到好一些的呢? 建设风力发电场,要具备哪些条件 谁知道『耽美』啥意思来找 直线多针绗缝机可以做棉被吗 中子为什么不易穿透含氢的物质? 测井曲线中的一些缩写代表啥意思?AC,C1,C2,CALI,CNL,DEN,DRHO,DT,GR,ILD,ILM,LLD,LLS,MSFL,PEF,PHID,PHIN,PHIS,PHOB,RI,RT,RXO,ResD,ResM,ResS,SFLU,SP. 房子前头的泰山石敢挡有什么故事么? 由氢12和氧18组成的水11克,所含的中子数为多少个 RESD代表什么 测井曲线 所有塔罗牌的英文 地层剖面图的方向怎么确定,比方说剖面图上方有个SE130, 氢核外电子数多少,碳中子数,核外电子数多少,纳质子数,中子数多少,铁核外电子数多少 将初三的化学元素符号给我要有元素名称和符号对照 镀金一定需要电吗 能够危害农作物的动物有?3个 请问“MAP ”英文缩写 电镀金与化学镀金的区别、优劣? 危害农作物的动物有哪些说的详细一点 在汽车系统里MAF是什么意思? 汽车型号英语简写含义 How many season are there in a year 改错 MAP是什么的英文缩写 塔罗牌一共多少张 名称分别是什么? How many seasons are there in a year?下一句是什How many seasons are there in a year?下一句是什么? cs起源各类地图英文缩写及其意思 六一国际儿童节 英文版要英文的 Do you know how many seasons are there in a year? 想把温泉馆标注到百度地图和汽车导航中找谁?恩,地图涉及到国家机密,现在国内只有一家公司在测量和商用,叫四维图新,是上市公司,如果像我这样的想把公司或商铺标注到地图上,就要找他的 求有关每个塔罗牌的名称和解释因为想写有关塔罗的小说,然后我又是菜鸟,汗 how many months are there in a year怎么回答 大自然的鱼为什么没有胀死的 请问这个极限1+和1-到底为什么会是这样的结果呢?遇到这样的情况总是很混淆. 铁矿砂对人体的害处我公司不远处有成片的铁矿砂,有4,5层楼高.办公桌每天要擦很多次,不知道对人体有什么危害不是..我这里离港务局很近,是港务局那是堆放的.
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘