说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

OCP黑客马拉松冠军:24小时头脑风暴背后

HTML文档下载 WORD文档下载 PDF文档下载
在OCP峰会上,对开源技术和硬件怀揣激情的工程师们走到一起,参加24小时黑客马拉松,在此期间,他们不停地工作希望在激烈的竞争中脱颖而出,Ron Herardian和他的团队今年夺得了冠军,他分享了这惊心动魄的24小时。

【编者按】黑客马拉松是程序员们的“美国偶像”,非常受欢迎,黑客马拉松一般长达几十个小时,参赛者累了或坐或卧,现场休息,一群高手云集一堂,在这么短暂的时间内拿出作品,对团队成员的技术水平、身心承受能力都是一场终极考验。本次OCP峰会黑客马拉松冠军Ron Herardian团队和我们分享了这场中比赛许多不为人知的细节,成员之间相互配合,发挥各自专长,最终完美的完成整个项目,演绎24小时头脑风暴,下面看Opencompute的Ron Herardian给我们带来的精彩消息。

以下为译文:

在过去的三个OCP峰会上,对开源技术和硬件怀揣着激情和梦想的工程师们走到一起,参加24小时黑客马拉松,在此期间,他们不停地工作希望在激烈的竞争中脱颖而出。今年,三支队伍赢得了黑客马拉松比赛,他们中的两位会在OCP博客上分享他们的经历,本文来自Ron Herardian的博客,他将在此分享他们团队获胜的诸多细节。

每当介绍新技术,大多数工程师问的第一个问题就是它们如何让我们的工作变的更好、更高效,在Open Compute峰会的硬件黑客马拉松上,我们给这个问题找到了最佳的答案。

我的团队成员来自不同的公司,我们彼此以前从未见过,Andreas Olofsson来自Adapteva, Peter Mooshammer以前在IBM工作,Jon Ehlen来自Facebook, Dimitar Boyn来自I/O Switch Technologies,还有 Rob Markovic ,一个独立顾问,最后还有我自己,一个计算机爱好者和黑客。虽然Rob和我都熟悉来自I/O Switch 公司的Dimitar,但我们彼此并不熟悉,其他成员互相都不认识,尽管如此,我们在经过一个小时的头脑风暴之后,彼此之间配合的非常默契而且一项雄心勃勃的计划逐渐浮出水面。

我们选定的项目叫做Adaptive Storage(自适应存储),在这里网络上的计算和存储资源将是松散耦合的,而且是独立可扩展的,从而优化大数据平台Hadoop。该项目使用基于RISC处理器(ARM)的微型服务器和连接网络的磁盘驱动器来创建Hadoop 数据节点。I/O Switch提供了一块能够使磁盘驱动器直接连接网络交换机的印制电路板。Hadoop微服务器节点可以控制网络上一个或多个磁盘驱动器,但任何微服务器可以读任何磁盘驱动器,这将使它能够在公共网络交换机中灵活、动态地重组计算和存储资源,如果成功,Adaptive Storage可以用来消除Hadoop的hotspots和coldspots。

从一开始,整个团队对新的Parallella微服务器在云供应商和大型企业中的前景非常看好,尽管它似乎更适合业余爱好者或者教育市场。Parallella是一个强大的、灵活的可扩展计算平台。Parallella计算机拥有双核Zynq Z-7020 ARM A9处理器,外加16核Epiphany Multicore加速器,以及1GB的RAM,它还内置千兆以太网、 USB、HDMI以及50GB/S扩展连接器。


Parallella 微服务器

Adaptive Storage的概念是由Dimitar和Andreas受其他团队成员的启发而来的,这个项目需要在网络上获取松散耦合分布式Parallella计算能力来存储资源,这需要通过AoE将磁盘驱动器连接到网络,以及在Parallella Hadoop 数据节点上运行开源 AoE驱动。Adapteva提供Parallella硬件和Linux发行版,I/O Switch提供AoE到SATA的印制电路板(“AoE使能器”),以及其他硬件设备来构建测试实验室环境。


I/O Switch AoE 使能器

黑客们需要构建一个自定义编译Linux内核和开源驱动程序代码,团队的每个成员迅速发挥他们的专长,Andreas 在Parallella平台以及ARM处理器Linaro Linux上的有着丰富的实践经验,这对我们项目至关重要;Jon在演示Parallella存储节点和I/O Switch AoE使能器如何在真正的数据中心部署方面帮助很大,他还负责整个项目的实际用例和3D CAD制图;除了解决许多问题,Peter成功的将整个软件栈部署到虚拟机环境中给了团队信心,这使我们的目标可以如期实现;Rob和我准备测试实验室,以及负责故障排除工作、协调团队,以及临时到最近的电子商店购买设备,准备项目的演示等。

整个团队工作到1月28日周二深夜,Dimitar和Andreas在夜里轮流对自定义的Linux内核启动运行、在Parallella平台上部署Hadoop。凌晨1点左右,试验台Parallella电脑在内核编译时过热,我们将风扇抬高使之远离I/O Switch Hailstorm存储附件,并从另一个团队借来线将风扇和Parallella板连接起来,最终很快解决了这个问题。


Adapteva CEO:Andreas Olofsson, .

经过24小时的努力,我们顺利的完成我们的项目,Dimitar在现场做了详细的演示,并且耐心的问答了观众的提问,包括如何使用Adaptive Storage在可扩展对象存储上实现Seagate的 Kinetic存储API或Amazon S3 RESTful API。


 I/O Switch Technologies CTO:Dimitar Boyn, 

在Adaptive Storage上,磁盘驱动器是直接连接到网络交换机的,没有传统的存储阵列。Hadoop的Parallella微服务器也连接到交换机,它们当中的每一个都可以为一个或多个磁盘驱动器处理数据。因为每一个磁盘驱动器都通过I/O Switch AoE 使能器PCB单独连接到网络,任何微服务器可以读取任何磁盘驱动器,这意味着微服务器可以联合起来处理复杂的事务或更大的数据集。

我们的设想是微服务器可以按需结合和动态重组,因为额外的微服务器可以自动被加入进来处理复杂的事务或大型数据集,Adaptive Storage是弹性计算,额外的物理微服务器可以随时添加到网络交换机,独立存储。

同样的,任何微服务器可以接管网络上未赋值的磁盘驱动器来进行特定的写访问,不需要时可以释放它们,这也是按需进行的,因此Adaptive Storage是弹性存储。额外的物理磁盘驱动器可以随时被添加到网络,独立计算。

除了引人注目的省电特性和独立性、计算和存储资源的弹性可扩展,Adaptive Storage可以很容易消除Hadoop上的计算hotspots和coldspots,但Adaptive Storage的概念和方法并不局限于Hadoop。它可以应用于任何大数据技术,如Cassandra 、MongoDB或常规的对象存储。例如Adaptive Storage是Seagate Kinetic的有效补充,因为Kinetic API可以在微服务器上运行,管理网络上一个或多个磁盘驱动器。

实际上,Facebook的1/2宽度Knox OCP系列小型计算机系统接口扩展板可以很容易被全宽度的Adaptive Storage基线板取代,并且在这上面可以安装插件导轨以及扩展卡/底板,整个结构支持金属支架,从机械和制造业的角度来看这个结构非常简单。


Adaptive 存储基线板

短短的24小时内,在没有预算的情况下,我们团队的工程师仅仅利用几台电脑、电路板和网络设备开发出一种全新的方式来组织Hadoop 数据节点、构建和演示一个基于ARM处理器的微型服务器使用开源软件的工作模型,并且绘制出了可投入生产的CAD图纸。

经验告诉我们,研发一个类似的项目在一个大型技术公司可能需要几个月,这可能就是我们参加OCP峰会为什么这么开心的原因。我们不能肯定Adaptive Storage是否在未来一直适用,但我们都很兴奋,许多公司和个人采访我们的黑客,他们被看到的迷住了,想继续发展这个项目。这一切让我们增加了对开源和OCP的信心,我们能够使用开源技术来构建一些伟大的东西,未来我们将和更多志同道合的人们继续构建、创新和发展开源技术。


以“  云计算大数据 推动智慧中国 ”为主题的  第六届中国云计算大会 将于5月20-23日在北京国家会议中心隆重举办。产业观察、技术培训、主题论坛、行业研讨,内容丰富,干货十足。票价优惠,马上  报名 ! 

原文链接: OCP Hackathon Winner: Adaptive Storage  (编译/魏伟 审校/毛梦琪)

CES 2014:GPS供应商Garmin推健康腕带Vivofit 《近匠》第05期:移动开发工具访谈,个推——有节操的push 【Hadoop技术博客推荐】Hive的那些事 Twitter联合创始人推社交搜索应用Jelly 马云“食言”进军手游分成比例8:2,开发者可拿7成 CodeCombat游戏全面开源:玩游戏也能学编程 Netflix首席云架构师Adrian Cockcroft加盟Battery Ventures Android 4.3附体:RIBX发布FB/Ti 互联网手表 IE11界面布局的秘密武器:Quero Toolbar 【开源专访】Node-Webkit作者王文睿:桌面应用的全新开发方式 CentOS归属红帽:企业级Linux领域社区与商业的融合 印度初创公司Little Eye Labs证实已被Facebook收购 雅虎收购Aviate:重在提升用户体验 SDN领域硝烟再起,Oracle将Corente收入囊中 Hadoop科普文——常见的45个问题解答 CES 2014:奥迪下一代汽车将采用NVIDIA的芯片! Cocos 3.0 Beta发布:更易用、更友好 开拓新兴市场?诺基亚或推Android手机,UI界面遭泄露 预测2014大数据值得关注的8个发展方向 霸主地位再临挑战?Salesforce CEO,我们不只有Oracle LBS应用新星、“司机好助手”微车借力移动互联网,志在打造车主的个人移动门户 新一代IDE Light Table开源:让编程工作更简单 图片应用也能高大上,看Cooliris如何玩转无人机 拥抱Spark,机遇无限——Spark Summit 2013精彩回顾 1月10日:改变世界的iPhone七岁了,你是传奇! 同洲电子推出首款手机操作系统960OS 免费授权使用 如何在Windows 8.1的IE11中打开同步选项卡? 25年老对手评价微软:换CEO可行,但是太迟了 【PPT集萃】十位一线专家分享Spark现状与未来(三) 万元奖品等你拿!2014创客118新年大Party! Firefox OS的2013回顾和2014展望 大家帮我看看这个存储过程,调用时老报错!! 求救:怎样控制Kodak控件中ImgThumbnail组件的问题 高人救命,如何让在单行textBox中按回车时不会“咣”的一声 在<script language="javascript">中使用aspb出错啊! 求救:怎样控制Kodak控件中ImgThumbnail组件的问题 郁闷!。。。今年我决定不考研。。。人家留在学校备考,我留在学校做课程表查询系统 filter怎么用呀? 怎样可以使得listview可以根据不同的列排序? 请对上海非常熟悉的朋友帮一下忙 求救:怎样控制Kodak控件中ImgThumbnail组件的问题 运行表单时为什么出现“死机”----就是不能很好的运行??? 各位觉得清华出版的《数据结构C++语言描述——应用STL标准模板库》怎么样? 框架的问题? 在<script language="javascript">中使用aspb出错啊! jboss3 跟sql server 2000 数据库连接问题 “确定”按钮与“回车”键怎样进行消息传送 提问!! 如何获取一个字符串中中文字符的个数?50分) 救命啊!关于数字字符串的问题,so easy!送分! 请教一下杭州的PB程序员工资行情 怎样用vb将数据库中的数据以曲线的形式显示出来 在上海的有线通上,如何通过HUB使3台电脑共享上网 请问如何检测当前屏幕分辨率是不是1024*768? 郁闷!。。。今年我决定不考研。。。人家留在学校备考,我留在学校做课程表查询系统 ?一个对象删除的问题?不能确定 请问:为什么编译无错,但生成。EXE文件时却有错,我是在卸载中文VC后安装英文版的 请教一下杭州的PB程序员工资行情 请您对您的言行负责,遵守中华人民共和国有关法律、法规,尊重网上道德 请教一下杭州的PB程序员工资行情 反解密,有谁能那么牛?100分相送!!!!!!!!! 没问题,想倒分怎么办? 正是风雨飘摇日 =============怎么固定一个ActiveX控件的大小为资源里一个对话框的大小?========= 哲学家就餐问题,为了防止死锁,通常用几个信号量就可以解决? 这几天心里赌的慌,女友怎么能够这样! api中怎样初始时就最大化 小问题,在线等....好了就结分 怎么样检查这些端口是做什么的? 我读取数据集的时候,为什么会产生越界的异常? 如何通过超链接传值到下一页 谢谢 如何把当前时间组合成一个字符串? 请教大家一个问题: 请教大家一个问题: 本人给出配置表,请问路由器配置好之后,客户机网上邻居--》本地连接该怎么设置? 提问:页面如何顶边??? 难道嗳!!! 如何在几个窗体之间进行数据传递 请问:为什么编译无错,但生成。EXE文件时却有错,我是在卸载中文VC后安装英文版的 高手们,有一事不明! 郁闷~~ 调用VCDLL的参数传递问题 数字用闽南话怎么说 会不会使用工具,是人和动物的根本区别 判断正误,错误的就改正. “君子抚琴涵养中和之气,藉以修身理性,当以道言.”这句话是什么意思? 齿轮图纸全部符号都有哪些啊~ 齿轮的中心距用什么符号表示 恩科西的详细资料 虚数和实数相乘的得数是虚数还是实数? 实数与虚数的关系,虚数与实数可不可以加减乘除,不是i的平方为负1吗?那为什么不可以将实数与复数相加,还有虚数的意义是什么,都说什么虚数轴与实数轴之类的理解不了,(在讨论是否可能 虚数可以和非0实数相乘吗 炫舞特殊符号 开头符号怎么弄 【如有诺 死生契阔 步步皆殇 】【 人必自悔、然后人悔之;云空未必空、欲洁何曾洁 中央军委成立巡视组寻虎找蝇 重点监督卫计委组建半年:生育政策成焦点 医改遵义市委书记被指边升边腐 或涉凯里市卫计委回应单独二胎放开:计生政策无调美国会将彻查全部监视项目 白宫修改部隐形驱逐舰,是革命性武器还是奢侈品党报谈英国“窃听门”丑闻:严格监管不利比亚枪手狂劫央行运钞车得手5000新西兰在京推广特色旅游重庆一副镇长借儿子结婚 分2次办34俄罗斯对乌克兰拖欠供气费发出最后通牒老手艺能否重回生活(让传统文化活起来松原群众获赠《法治热点面对面》粗钢产量增幅大幅回落戏剧评论,值得期待的声音(年度话题)精准扶贫提质增效(行进中国·精彩故事居家养老,要过几道坎?埃博拉疫情进入“终结流行”阶段古老南方丝路适逢新机遇图片报道男子地下停车场打劫女司机 骗路人:我拨962111 现场免费维修小家电
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘