说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

OCP黑客马拉松冠军:24小时头脑风暴背后

HTML文档下载 WORD文档下载 PDF文档下载
在OCP峰会上,对开源技术和硬件怀揣激情的工程师们走到一起,参加24小时黑客马拉松,在此期间,他们不停地工作希望在激烈的竞争中脱颖而出,Ron Herardian和他的团队今年夺得了冠军,他分享了这惊心动魄的24小时。

【编者按】黑客马拉松是程序员们的“美国偶像”,非常受欢迎,黑客马拉松一般长达几十个小时,参赛者累了或坐或卧,现场休息,一群高手云集一堂,在这么短暂的时间内拿出作品,对团队成员的技术水平、身心承受能力都是一场终极考验。本次OCP峰会黑客马拉松冠军Ron Herardian团队和我们分享了这场中比赛许多不为人知的细节,成员之间相互配合,发挥各自专长,最终完美的完成整个项目,演绎24小时头脑风暴,下面看Opencompute的Ron Herardian给我们带来的精彩消息。

以下为译文:

在过去的三个OCP峰会上,对开源技术和硬件怀揣着激情和梦想的工程师们走到一起,参加24小时黑客马拉松,在此期间,他们不停地工作希望在激烈的竞争中脱颖而出。今年,三支队伍赢得了黑客马拉松比赛,他们中的两位会在OCP博客上分享他们的经历,本文来自Ron Herardian的博客,他将在此分享他们团队获胜的诸多细节。

每当介绍新技术,大多数工程师问的第一个问题就是它们如何让我们的工作变的更好、更高效,在Open Compute峰会的硬件黑客马拉松上,我们给这个问题找到了最佳的答案。

我的团队成员来自不同的公司,我们彼此以前从未见过,Andreas Olofsson来自Adapteva, Peter Mooshammer以前在IBM工作,Jon Ehlen来自Facebook, Dimitar Boyn来自I/O Switch Technologies,还有 Rob Markovic ,一个独立顾问,最后还有我自己,一个计算机爱好者和黑客。虽然Rob和我都熟悉来自I/O Switch 公司的Dimitar,但我们彼此并不熟悉,其他成员互相都不认识,尽管如此,我们在经过一个小时的头脑风暴之后,彼此之间配合的非常默契而且一项雄心勃勃的计划逐渐浮出水面。

我们选定的项目叫做Adaptive Storage(自适应存储),在这里网络上的计算和存储资源将是松散耦合的,而且是独立可扩展的,从而优化大数据平台Hadoop。该项目使用基于RISC处理器(ARM)的微型服务器和连接网络的磁盘驱动器来创建Hadoop 数据节点。I/O Switch提供了一块能够使磁盘驱动器直接连接网络交换机的印制电路板。Hadoop微服务器节点可以控制网络上一个或多个磁盘驱动器,但任何微服务器可以读任何磁盘驱动器,这将使它能够在公共网络交换机中灵活、动态地重组计算和存储资源,如果成功,Adaptive Storage可以用来消除Hadoop的hotspots和coldspots。

从一开始,整个团队对新的Parallella微服务器在云供应商和大型企业中的前景非常看好,尽管它似乎更适合业余爱好者或者教育市场。Parallella是一个强大的、灵活的可扩展计算平台。Parallella计算机拥有双核Zynq Z-7020 ARM A9处理器,外加16核Epiphany Multicore加速器,以及1GB的RAM,它还内置千兆以太网、 USB、HDMI以及50GB/S扩展连接器。


Parallella 微服务器

Adaptive Storage的概念是由Dimitar和Andreas受其他团队成员的启发而来的,这个项目需要在网络上获取松散耦合分布式Parallella计算能力来存储资源,这需要通过AoE将磁盘驱动器连接到网络,以及在Parallella Hadoop 数据节点上运行开源 AoE驱动。Adapteva提供Parallella硬件和Linux发行版,I/O Switch提供AoE到SATA的印制电路板(“AoE使能器”),以及其他硬件设备来构建测试实验室环境。


I/O Switch AoE 使能器

黑客们需要构建一个自定义编译Linux内核和开源驱动程序代码,团队的每个成员迅速发挥他们的专长,Andreas 在Parallella平台以及ARM处理器Linaro Linux上的有着丰富的实践经验,这对我们项目至关重要;Jon在演示Parallella存储节点和I/O Switch AoE使能器如何在真正的数据中心部署方面帮助很大,他还负责整个项目的实际用例和3D CAD制图;除了解决许多问题,Peter成功的将整个软件栈部署到虚拟机环境中给了团队信心,这使我们的目标可以如期实现;Rob和我准备测试实验室,以及负责故障排除工作、协调团队,以及临时到最近的电子商店购买设备,准备项目的演示等。

整个团队工作到1月28日周二深夜,Dimitar和Andreas在夜里轮流对自定义的Linux内核启动运行、在Parallella平台上部署Hadoop。凌晨1点左右,试验台Parallella电脑在内核编译时过热,我们将风扇抬高使之远离I/O Switch Hailstorm存储附件,并从另一个团队借来线将风扇和Parallella板连接起来,最终很快解决了这个问题。


Adapteva CEO:Andreas Olofsson, .

经过24小时的努力,我们顺利的完成我们的项目,Dimitar在现场做了详细的演示,并且耐心的问答了观众的提问,包括如何使用Adaptive Storage在可扩展对象存储上实现Seagate的 Kinetic存储API或Amazon S3 RESTful API。


 I/O Switch Technologies CTO:Dimitar Boyn, 

在Adaptive Storage上,磁盘驱动器是直接连接到网络交换机的,没有传统的存储阵列。Hadoop的Parallella微服务器也连接到交换机,它们当中的每一个都可以为一个或多个磁盘驱动器处理数据。因为每一个磁盘驱动器都通过I/O Switch AoE 使能器PCB单独连接到网络,任何微服务器可以读取任何磁盘驱动器,这意味着微服务器可以联合起来处理复杂的事务或更大的数据集。

我们的设想是微服务器可以按需结合和动态重组,因为额外的微服务器可以自动被加入进来处理复杂的事务或大型数据集,Adaptive Storage是弹性计算,额外的物理微服务器可以随时添加到网络交换机,独立存储。

同样的,任何微服务器可以接管网络上未赋值的磁盘驱动器来进行特定的写访问,不需要时可以释放它们,这也是按需进行的,因此Adaptive Storage是弹性存储。额外的物理磁盘驱动器可以随时被添加到网络,独立计算。

除了引人注目的省电特性和独立性、计算和存储资源的弹性可扩展,Adaptive Storage可以很容易消除Hadoop上的计算hotspots和coldspots,但Adaptive Storage的概念和方法并不局限于Hadoop。它可以应用于任何大数据技术,如Cassandra 、MongoDB或常规的对象存储。例如Adaptive Storage是Seagate Kinetic的有效补充,因为Kinetic API可以在微服务器上运行,管理网络上一个或多个磁盘驱动器。

实际上,Facebook的1/2宽度Knox OCP系列小型计算机系统接口扩展板可以很容易被全宽度的Adaptive Storage基线板取代,并且在这上面可以安装插件导轨以及扩展卡/底板,整个结构支持金属支架,从机械和制造业的角度来看这个结构非常简单。


Adaptive 存储基线板

短短的24小时内,在没有预算的情况下,我们团队的工程师仅仅利用几台电脑、电路板和网络设备开发出一种全新的方式来组织Hadoop 数据节点、构建和演示一个基于ARM处理器的微型服务器使用开源软件的工作模型,并且绘制出了可投入生产的CAD图纸。

经验告诉我们,研发一个类似的项目在一个大型技术公司可能需要几个月,这可能就是我们参加OCP峰会为什么这么开心的原因。我们不能肯定Adaptive Storage是否在未来一直适用,但我们都很兴奋,许多公司和个人采访我们的黑客,他们被看到的迷住了,想继续发展这个项目。这一切让我们增加了对开源和OCP的信心,我们能够使用开源技术来构建一些伟大的东西,未来我们将和更多志同道合的人们继续构建、创新和发展开源技术。


以“  云计算大数据 推动智慧中国 ”为主题的  第六届中国云计算大会 将于5月20-23日在北京国家会议中心隆重举办。产业观察、技术培训、主题论坛、行业研讨,内容丰富,干货十足。票价优惠,马上  报名 ! 

原文链接: OCP Hackathon Winner: Adaptive Storage  (编译/魏伟 审校/毛梦琪)

百度王继平:移动互联网时代云平台思路 “第八届开源中国开源世界高峰论坛”火热开启 微软发布SQL Server 2014预览版,展示内存数据库技术 帮助软件开发者提高效率的10个小窍门 我想做个程序员:Technovation Challenge圆女孩编程梦想 未来我们开发的Google Glass应用将会是什么样? 独家:前RIM大中华区总经理刘征宇,加入Appconomy 用一个API搞定一切 Segment.io为移动开发者提供便利的分析数据分发服务 TIOBE 6月编程语言排行榜:JavaScript回归前十 《Kingdom Rush Frontiers》上线后 迅速抢占27个国家游戏榜首 移动周报:85后程序员,iOS开源项目,细数7天大事件! Instagram:从Redis到Cassandra 成本节省1/4 乐元素CTO凌聪访谈:游戏引擎技术选型之王道 iOS 7的新设计并非止于外表 WWDC 2013大会10大启示:正向开发者支付大量现金 云计算大会微软专场成功举办 Windows Azure公众预览版上线 IBM全球大裁员 在美国裁员已经开始 动动鼠标,决定“中国十大优秀开源项目”的归属 为改善Flickr 雅虎收购拍照应用开发商GhostBird 让你轻松学习新代码库的六个步骤 RESTful API 设计最佳实践 谷歌11亿美元豪购Waze原因:获取数据 争本地广告市场 为什么大家都要疯狂吐槽iOS 7的扁平化设计? 伟大的程序员是天生的,不是造就的 比Hive高效7倍 Facebook推新一代查询引擎Presto 未来的存储系统设计——PMC技术交流会举行 第五届中国云计算大会PPT尝鲜:十位专家分享的架构实践 “DIY”可穿戴设备:索尼开放智能手表固件 在微软的八个月里,我学到了这些 谷歌实习生每月都拿$6000,你呢? 【第五届中国云计算大会】由瓦特变比特输出,新疆要做中亚云服务中心 在IE中程序运行有错误?请指点! JB8做个BMP,奇怪问题 有谁知道*.dns用什么软件打开吗,急!!! 大家给我推荐一个delphi源码网站 Oracle8.17的安装问题,请大家帮忙,急呀!谢谢! csv文件存储求助 问个关于checkboxlist控件的用法! 客户端通过Session Bean 调用 Local EntityBean的问题. 启动j2ee的问题--j2ee -verbose 那里能够下载破解的install shield 5.0 or 5.5 or 6.0? 我想搞网络游戏开发,请教各位的意见 如何在接受表单的ASP文件中,去知晓是这个表单中的哪个'确认按钮'被按下了?? 我的数据库打不开了!!! 连接MySQL数据库服务器? 有谁可以推荐几个国外的比较热的asp论坛,多谢! 我是一个菜鸟,想学asp,希望前辈给指条路 有人知道工程硕士是怎么回事吗?和普通的有什么不同啊,可以考普通的博士吗?谢谢阿 access数据库为何备份出错? 有了主键,还需要建立索引吗?解决送分。 在Oracle的逻辑数据库结构中有个概念叫"范围"的是什么意思呀? 能将javascript改写成其它语言吗? 为什么动态创建的控件不能保存? HelpProvider控件的问题 如何把几个dbf表中的数据导到一个表中? 软件汉化有几种方法呢? 各位大虾,求助,在线急等! 看看我能放多少分.... 急啊,我刚买的电脑就出问题了~~~~ 大虾有没有《人月神话》的电子版啊? 天那,资源泄漏 怎样用Wingate绑定IP 高手请进!! 求WSAD 5.0 中文开发文档。 如何做rich Client? VB6在windowsXP中,无法用RmDir命令删除文件夹,只能删除文件,怎么回事?如何解决?在windows98中可以删除。 一个EXCEL的问题,请HELP update 没有加 where 字句导致误操作 怎么恢复(十万火急) ? 为什么国内域名比国际的还贵呢? BDE问题 请教三层结构中数据库访问 的问题 请教大虾怎样编写《网络连接监测》 ,还有怎样进行网络流量监测?(附源代码)多谢! 小问题 如何求总? 大家来帮帮忙 怎样在IE客户端用脚本取得本地机器名和本地默认打印机名称?盼高手赐教。 请教三层结构中数据库访问的问题 除了变量名不是内存地址,其他名都是地址。对么? 如何检测 Text1.text 中的输入的是否是日期格式 2003-12-31 ? 哦靠,什么病毒,大家帮我看看,怎么杀虫? 用Java开发水晶报表如何向报表传递参数以及如何找到满足条件的报表 为什么国内域名比国际的还贵呢? 美墨边界发现走私隧道 设备先进配备轻调查指斯诺登最可能在俄最流行社交网站西报:监听地图揭示权力新格局斯诺登在俄觅得网站工作 11月1日开美报披露美国安局侵入雅虎谷歌盗数据日本最先进潜艇“黑龙”举行下水仪式(手机预装软件审核今起实施 360卸载万圣节主题研究:到哪一年Facebo77岁贝卢斯科尼被曝已与28岁女友秘日韩两国或围绕慰安妇问题大闹法国国际美医院工作人员患结核病 数百新生儿或韩美11月举行第7轮防卫费分担会谈 日媒醋意评价朴槿惠外交策略 称其无视澳维州出台新法规定性侵犯再犯案将不准欧洲或限美企处理数据 封杀数百亿美元“岩浆行星”震惊科学家:它本不该存在韩称中国学生“弃日择韩” 赴韩留学人盟友也要区别对待 日本德国仍是美国监白宫:叙利亚一空军基地遭以色列空军袭肯尼亚16岁少女遭轮奸疑犯仅被罚剪草日本最先进潜艇“黑龙”举行下水仪式(大众危机之后,国人现在只认它?深圳通飞:做无人直升机的领导品牌取消连胜涨星 王者荣耀排位赛新规则最精彩:2015赛季中超十大花絮为什么你的命运会如此不顺?国产大飞机C919首架机正式下线 发台男子开兰博基尼跑车夜店外\"炫车\德国纽伦堡国际发明展成绩揭晓 台湾地索马里激进组织袭击首都酒店致12死 新疆日报原总编辑被双开 反暴恐言论与泰万人参加曼谷彩色跑 沐浴色彩中享受牛津研究︰若想睡眠好 可在黑暗环境中《营救飞虎队》开拍:强大阵容再现中美香港机场警枪走火:同款枪支5年5次走大英博物馆欲破百年免费传统纾财困 向英超频产励志帝:瓦尔迪炙手可热 马内“控煤”背景下,供暖如何保障?今日收盘红将是大概率事件!糖里藏针:儿童万圣节出门要糖回家发现日华媒:防痴呆症 日本养老院让老人博王蔷晒性感泳衣照 网友:更愿看到场上
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘