说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

OCP黑客马拉松冠军:24小时头脑风暴背后

HTML文档下载 WORD文档下载 PDF文档下载
在OCP峰会上,对开源技术和硬件怀揣激情的工程师们走到一起,参加24小时黑客马拉松,在此期间,他们不停地工作希望在激烈的竞争中脱颖而出,Ron Herardian和他的团队今年夺得了冠军,他分享了这惊心动魄的24小时。

【编者按】黑客马拉松是程序员们的“美国偶像”,非常受欢迎,黑客马拉松一般长达几十个小时,参赛者累了或坐或卧,现场休息,一群高手云集一堂,在这么短暂的时间内拿出作品,对团队成员的技术水平、身心承受能力都是一场终极考验。本次OCP峰会黑客马拉松冠军Ron Herardian团队和我们分享了这场中比赛许多不为人知的细节,成员之间相互配合,发挥各自专长,最终完美的完成整个项目,演绎24小时头脑风暴,下面看Opencompute的Ron Herardian给我们带来的精彩消息。

以下为译文:

在过去的三个OCP峰会上,对开源技术和硬件怀揣着激情和梦想的工程师们走到一起,参加24小时黑客马拉松,在此期间,他们不停地工作希望在激烈的竞争中脱颖而出。今年,三支队伍赢得了黑客马拉松比赛,他们中的两位会在OCP博客上分享他们的经历,本文来自Ron Herardian的博客,他将在此分享他们团队获胜的诸多细节。

每当介绍新技术,大多数工程师问的第一个问题就是它们如何让我们的工作变的更好、更高效,在Open Compute峰会的硬件黑客马拉松上,我们给这个问题找到了最佳的答案。

我的团队成员来自不同的公司,我们彼此以前从未见过,Andreas Olofsson来自Adapteva, Peter Mooshammer以前在IBM工作,Jon Ehlen来自Facebook, Dimitar Boyn来自I/O Switch Technologies,还有 Rob Markovic ,一个独立顾问,最后还有我自己,一个计算机爱好者和黑客。虽然Rob和我都熟悉来自I/O Switch 公司的Dimitar,但我们彼此并不熟悉,其他成员互相都不认识,尽管如此,我们在经过一个小时的头脑风暴之后,彼此之间配合的非常默契而且一项雄心勃勃的计划逐渐浮出水面。

我们选定的项目叫做Adaptive Storage(自适应存储),在这里网络上的计算和存储资源将是松散耦合的,而且是独立可扩展的,从而优化大数据平台Hadoop。该项目使用基于RISC处理器(ARM)的微型服务器和连接网络的磁盘驱动器来创建Hadoop 数据节点。I/O Switch提供了一块能够使磁盘驱动器直接连接网络交换机的印制电路板。Hadoop微服务器节点可以控制网络上一个或多个磁盘驱动器,但任何微服务器可以读任何磁盘驱动器,这将使它能够在公共网络交换机中灵活、动态地重组计算和存储资源,如果成功,Adaptive Storage可以用来消除Hadoop的hotspots和coldspots。

从一开始,整个团队对新的Parallella微服务器在云供应商和大型企业中的前景非常看好,尽管它似乎更适合业余爱好者或者教育市场。Parallella是一个强大的、灵活的可扩展计算平台。Parallella计算机拥有双核Zynq Z-7020 ARM A9处理器,外加16核Epiphany Multicore加速器,以及1GB的RAM,它还内置千兆以太网、 USB、HDMI以及50GB/S扩展连接器。


Parallella 微服务器

Adaptive Storage的概念是由Dimitar和Andreas受其他团队成员的启发而来的,这个项目需要在网络上获取松散耦合分布式Parallella计算能力来存储资源,这需要通过AoE将磁盘驱动器连接到网络,以及在Parallella Hadoop 数据节点上运行开源 AoE驱动。Adapteva提供Parallella硬件和Linux发行版,I/O Switch提供AoE到SATA的印制电路板(“AoE使能器”),以及其他硬件设备来构建测试实验室环境。


I/O Switch AoE 使能器

黑客们需要构建一个自定义编译Linux内核和开源驱动程序代码,团队的每个成员迅速发挥他们的专长,Andreas 在Parallella平台以及ARM处理器Linaro Linux上的有着丰富的实践经验,这对我们项目至关重要;Jon在演示Parallella存储节点和I/O Switch AoE使能器如何在真正的数据中心部署方面帮助很大,他还负责整个项目的实际用例和3D CAD制图;除了解决许多问题,Peter成功的将整个软件栈部署到虚拟机环境中给了团队信心,这使我们的目标可以如期实现;Rob和我准备测试实验室,以及负责故障排除工作、协调团队,以及临时到最近的电子商店购买设备,准备项目的演示等。

整个团队工作到1月28日周二深夜,Dimitar和Andreas在夜里轮流对自定义的Linux内核启动运行、在Parallella平台上部署Hadoop。凌晨1点左右,试验台Parallella电脑在内核编译时过热,我们将风扇抬高使之远离I/O Switch Hailstorm存储附件,并从另一个团队借来线将风扇和Parallella板连接起来,最终很快解决了这个问题。


Adapteva CEO:Andreas Olofsson, .

经过24小时的努力,我们顺利的完成我们的项目,Dimitar在现场做了详细的演示,并且耐心的问答了观众的提问,包括如何使用Adaptive Storage在可扩展对象存储上实现Seagate的 Kinetic存储API或Amazon S3 RESTful API。


 I/O Switch Technologies CTO:Dimitar Boyn, 

在Adaptive Storage上,磁盘驱动器是直接连接到网络交换机的,没有传统的存储阵列。Hadoop的Parallella微服务器也连接到交换机,它们当中的每一个都可以为一个或多个磁盘驱动器处理数据。因为每一个磁盘驱动器都通过I/O Switch AoE 使能器PCB单独连接到网络,任何微服务器可以读取任何磁盘驱动器,这意味着微服务器可以联合起来处理复杂的事务或更大的数据集。

我们的设想是微服务器可以按需结合和动态重组,因为额外的微服务器可以自动被加入进来处理复杂的事务或大型数据集,Adaptive Storage是弹性计算,额外的物理微服务器可以随时添加到网络交换机,独立存储。

同样的,任何微服务器可以接管网络上未赋值的磁盘驱动器来进行特定的写访问,不需要时可以释放它们,这也是按需进行的,因此Adaptive Storage是弹性存储。额外的物理磁盘驱动器可以随时被添加到网络,独立计算。

除了引人注目的省电特性和独立性、计算和存储资源的弹性可扩展,Adaptive Storage可以很容易消除Hadoop上的计算hotspots和coldspots,但Adaptive Storage的概念和方法并不局限于Hadoop。它可以应用于任何大数据技术,如Cassandra 、MongoDB或常规的对象存储。例如Adaptive Storage是Seagate Kinetic的有效补充,因为Kinetic API可以在微服务器上运行,管理网络上一个或多个磁盘驱动器。

实际上,Facebook的1/2宽度Knox OCP系列小型计算机系统接口扩展板可以很容易被全宽度的Adaptive Storage基线板取代,并且在这上面可以安装插件导轨以及扩展卡/底板,整个结构支持金属支架,从机械和制造业的角度来看这个结构非常简单。


Adaptive 存储基线板

短短的24小时内,在没有预算的情况下,我们团队的工程师仅仅利用几台电脑、电路板和网络设备开发出一种全新的方式来组织Hadoop 数据节点、构建和演示一个基于ARM处理器的微型服务器使用开源软件的工作模型,并且绘制出了可投入生产的CAD图纸。

经验告诉我们,研发一个类似的项目在一个大型技术公司可能需要几个月,这可能就是我们参加OCP峰会为什么这么开心的原因。我们不能肯定Adaptive Storage是否在未来一直适用,但我们都很兴奋,许多公司和个人采访我们的黑客,他们被看到的迷住了,想继续发展这个项目。这一切让我们增加了对开源和OCP的信心,我们能够使用开源技术来构建一些伟大的东西,未来我们将和更多志同道合的人们继续构建、创新和发展开源技术。


以“  云计算大数据 推动智慧中国 ”为主题的  第六届中国云计算大会 将于5月20-23日在北京国家会议中心隆重举办。产业观察、技术培训、主题论坛、行业研讨,内容丰富,干货十足。票价优惠,马上  报名 ! 

原文链接: OCP Hackathon Winner: Adaptive Storage  (编译/魏伟 审校/毛梦琪)

VB如何转换C代码中的高字和低字 一些字符串操作的问题和回答 -VB资料 VB怎样把VC++代码转换成VB代码 字符串中包含双引号-VB资料 字符串中文的问题 -VB资料 巧用CLIPBOARD建立图像数据库-VB资料 在VB中存取数据库中的图片 Access97的报表解决方案-VB资料 Access下如何使用通用对话框-VB资料 ADO简介 -VB资料 ADO三大对象的属性、方法、事件及常数(二)-VB资料 ADO三大对象的属性、方法、事件及常数(三)-VB资料 ADO三大对象的属性、方法、事件及常数(一)-VB资料 Data 控件使用有密码的 Access 数据库 -VB资料 Excel、Access、VB的结合应用 Microsoft SQL Server 7.0安装问题(二)-VB资料 主题: MDB文件的导出 使用 DAO-VB资料 Microsoft Access秘密、技巧和陷阱-VB资料 SQL的基本操作(1.数据类型) -VB资料 SQL的基本操作(2.数据库的相关操作)-VB资料 SQL的基本操作(3.表的相关操作) -VB资料 SQL的基本操作(4.数据的检索)-VB资料 SQL在VB中的使用及访问远程数据库 Text 转换为 Access MDB -VB资料 VB5.0数据库基础 非编程方式访问数据库-VB资料 VB用编程方式访问数据库 VB 5.0数据库设计技术讲座(4) VB5.0数据库编程经验小集 VB5在处理数据库时的几个“BUG” VB6.0中的几个新增数据库工具 一个关于tomcat中servlet的棘手问题..... 谁可以帮我提供一个PHP的站内目录管理程序! 请问c++中,函数重载和虚函数有什么区别,在实现多态性方面有差别吗? 现有一个小项目: 如何对多个按钮的BN_ClICK进行映射 SQLserver备份与恢复 Delphi中怎样声明一个类?怎样实现多态?如果要在类库的一个类中添加一个方法又怎么做? 然后怎样封装它?是不是封装以后维护就非常简单? 可 计算机网络--〉清华大学出版社,作者:Andrew S Tanenbaum哪里有电子版下载 把播放F4的时间上《我们程序员都是活雷锋》 随便问问:VC能不能调用Access中的Form,Report 用ADO在线程中打不开数据库,请帮忙 如何在VB中动态的加载Dll,并使用其加载的函数??? 高手们看过来 Oracle初学,兄弟们多帮忙了! 怎么打开一个.txt文件,然后一行一行读取? 请问大家知道一个局域网里的IP在因特网上如何表示的呢。 请问各位,如何在我的程序中用代码生成Access数据库? 神啊,救救我吧,我想要含笑半步喋=== 请教NT4。0下的IE2。0怎样升级到IE6。0或IE5。0? 我要在程序中重载CBitmap类的一个函数,请问如何做 为什么我在bcb的new中找不到multitier(就是多层)选项页 请问如何知道数据库中有哪些表存在?在线等待 向各位大侠求救中 这是数据库的缺点吗? Choice.asp?VehicleType=a+&VehicleColor=Red + 传不到Choice.asp 如何获取文件扩展名关联信息 急!应选择什么样的服务器? 请问哪里有关于DOS和BIOS的系统功能调用的e书籍下载?谢谢指点 想用bcb的DirectX编一个显示器(第二个)的独占程序!希望专家指点!也欢迎大家来交流! 你碰到过这样的问题吗? What is meaning "$1 $2 " in perl? 配置支持ISAPI调用的 apache 服务器 怎样判断内存有没有被释放? window2000的安装和IE的问题 像我這樣的Boy,是否可以找到GF??? Oracle816连接问题,急 小妹有一事相求,请问哪里有SQL Server 7.0 的虚拟光盘下载啊?急!!! 谢了! Delphi的枚举类型是怎么用的?如果它的元素是字符串,怎样判断它和某个字符串相等? 我以前是用Delphi的,现在新找了家公司,是用C++Builder的,请帮忙推荐本C++Builder的书,谢谢 请问如何实现多媒体数据库??? SQL Server 7.0作为后台,它主要完成什么功能??!!求救!!!!!!! 请教WebUIValidation.js'的作用 2000 server 的 IE 的非法操作?(如果是非技术的,也请斑竹手下留情。) 求助:开发一个小型数据库,使用那种哈希函数适宜 如何调用IE的缓存 如何获取文件扩展名关联信息 小妹有一事相求,请问哪里有SQL Server 7.0 的虚拟光盘下载啊?急!!! 谢了! VC下通过ADO查询Oracle数据集个数为何返回为-1?? 请大家看看pb65自带的例子 很简单的问题,如何将EXCEL中的数据转换到ACCESS2000中,需源程序(一) 在ASP中如何将一字符型转为数据型??在VB中可用VAL,CINT,CDBL等,ASP中却不能?? 实行人民代表大会制度有什么意义 美国最高决策机构是?我们做过英国的,是议会,美国的呢?老师说美国没有最大的决策机构,因为美国三权分立,三个机构权力都不小,能相互制约。但网上有说是国会的。到底什么呢? 某物体由静止开始作加速度大小为a1的匀加速直线运动,经过时间t1后立即改作加速度大小为a2的匀减速直线运某物体由静止开始作加速度大小为a1的匀加速直线运动,经过时间t1后立即改作加 为什么要坚持人民代表大会制度? 中世纪西欧的城市以当时的中国城市最大的不同是什么? 中世纪西欧历史基本特征 碳酸氢钠与过量、少量氢氧化钠【aq】反应的方程式, NaOH溶液中同时混有NaCl Na2SO4 Na2CO3怎么除去杂质?什么银?氢氧化银?有氢氧化银这种东西?为啥书上说没有 AQUATENSID的化学成份是什么?聚烷撑乙二醇类可以有哪些用途? 为什么中国要坚持人民代表大会制度 全国人民代表大会和人民代表大会制度在我国的政治生活中分别占什么地位?注意!是地位 含有阿胶成分的产品有哪些 中国为什么要实行全国人民代表大会制度? 全国人民代表大会在我国的政治制度中具有怎样的地位 汽车从静止开始做匀加速直线运动,速度达到v时立即做匀减速运动,最后停止,全部时间为t,汽车通过的位移 KCl和NaCl的焰色反应是什么来区分他们 碳酸钠,碳酸氢钠,过氧化钠怎样分辨 汽车由静止开始做匀速直线运动,速度达到V时立即做匀减速直线运动,最后停止,运动的全部时间为t,则汽...汽车由静止开始做匀速直线运动,速度达到V时立即做匀减速直线运动,最后停止,运动的 利用焰色反应区别下列物质:NaCL溶液、KCL溶液、稀盐酸 请问人民代表大会制度能使人民在国家政治生活中直接行使民主权利,这句话对吗? 甲车又静止开始做匀加速直线运动,通过位移s后速度达到v,然后做匀减速直线运动直至静止,乙车又静止开始,然后做匀减速直线运动直至静止,甲乙俩车在整个运动中的平均速度分别为v1,v2,那么 如何正确减速减档 过氧化钠,碳酸钠和碳酸氢钠的物理,化学性质和用途. 汽车从静止做匀加速运动,速度达到v时立刻做匀减速运动,最后停止.全部时间为t,求位移.(请无视红字.) 如何减档减速 为什么说人民代表大会制度是我国的根本政治制度?法律硕士的题目 汽车从静止起做匀加速速直线运动,速度达到v时立即做匀减速运动,最后停止,全部时间为t,汽车通过的位移? 什么食物可以排汞和铅? 中世纪西欧城市兴起的背景,特点,如题. 玻璃 洗脸盆 爆炸 是什么原因今天早上九点钟 我们家的玻璃洗脸盆突然爆炸 可是爆炸时我们都没在场·也没人在用盆洗东西啊·这是怎么回事 人民代表大会制度是适应我国的国情的,这一国情指的是什么 中世纪西欧重新兴起的著名城市《含国家名称》 玻璃洗脸盆爆炸原因钢化玻璃洗手盆无故自爆洗手盆里什么也没有装,是摆在店里的样品无故自爆了。 为什么人民代表大会制度适合我国国情的根本政治制度 中世纪西欧城市的复兴与自治,对中世纪西欧社会发展的影响有①使欧洲出现一个新的等级——市民阶级②推动了商品经济的发展,加速了庄园制度的瓦解③城市与王权结盟,促进了等级代表会 洗脸盆能装在玻璃上吗? 等量的钠,氧化钠,过氧化钠,氢氧化钠,碳酸钠晶体露置在空气中,最后质量由小到大是怎样排列的? (方程式)氧化钠 怎样生成 过氧化钠?氢氧化钠 怎样生成 碳酸钠?碳酸钠 和碳酸氢钠的互相转化? 玻璃脸盆怎么做的 与钠 氧化钠 过氧化钠 氢氧化钠 碳酸钠 碳酸氢钠 都能反应的东西是什么? 政府是决策机关吗?我国都有什么机关啊? 如何选择洗脸盆? NaOH 过氧化钠 氧化钠 Na2CO3-10H2O在空气中质量会减轻NaOH 过氧化钠 氧化钠 Na2CO3-10H2O在空气中质量会减轻的是? 中国古代各朝中央决策机构从秦朝至清朝的中央决策机构分别是什么?有劳各位高人一一归纳, 求化工达人讲解啊乙二醇的主要用途是什么?希望能详细的讲解乙二醇主要用在哪些产品的生产中.一定要具体到产品.不要说大类,不要简单的复制粘贴.希望得到简单有效、详细具体的产品. 氯化铵与硫酸钠的混合溶液如何结晶氯化铵?并且对温度有什么要求.谢谢! 汉武帝时,中央决策机构是?A.中朝B.外朝C.内朝D.外朝 人体微量元素汞高会怎么样我在家摔碎了一支体温针,因为是晚上所以我第二天才清理干净,它对人体有多大的害 中世纪西欧城市的兴起有何历史意义?同志们不要懒哈!说全面一点啊!谢了! 中世纪西欧封建城市的规划建设特征中外城建史 听说鱼身体里面含有很多的汞,主要位于鱼的什么部位?都说鱼里面汞含量很大.但是请问各位汞主要位于鱼的什么部位?是鱼肉还是鱼头或者其他地方? 人民代表大会制度、人民代表大会、全国人民代表大会三者的区别是什么? 西欧中世纪政治特点 某物体由静止开始作匀加速直线运动.加速度大小为a1.运动时间为t1.接着作加速度大小为a2的匀减速运动.再...某物体由静止开始作匀加速直线运动.加速度大小为a1.运动时间为t1.接着作加速度 人民代表大会制度与全国人民代表大会制度的区别与联系急 我国的决策机关有哪些 物体由静止出发做加速度为a1的匀加速直线运动,一段时间后又做加速度大小为a2的匀减速直线运动至静止,总位移为X,则运动中的最大速度为( ).A.2a1X/a2 B.根号[(a1+a2)X]C.(a1+a2)X D.根号[2a1a2X/a1+a2 高中有机中关于溴乙烷+氢氧化钠水溶液反应CH3CH2Br + H2O = 氢氧化钠催化 = CH3CH2OH + HBrCH3CH2Br + NaOH = 水 = CH3CH2OH + NaBr这两个方程貌似都是溴乙烷与氢氧化钠共热的方程式·· 请问这两个方程有什 中世纪西欧城市的复兴与自治:城市的特征是什么? .一质点由静止开始做匀加速直线运动,加速度大小为a1.经时间t后做匀减速直线运动,加速度大小为a2,若再经过时间t恰能回到出发点,则a1:a2应为( ) A.1:l B.1:2 C.1:3 D.1:4
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘