说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

OCP黑客马拉松冠军:24小时头脑风暴背后

HTML文档下载 WORD文档下载 PDF文档下载
在OCP峰会上,对开源技术和硬件怀揣激情的工程师们走到一起,参加24小时黑客马拉松,在此期间,他们不停地工作希望在激烈的竞争中脱颖而出,Ron Herardian和他的团队今年夺得了冠军,他分享了这惊心动魄的24小时。

【编者按】黑客马拉松是程序员们的“美国偶像”,非常受欢迎,黑客马拉松一般长达几十个小时,参赛者累了或坐或卧,现场休息,一群高手云集一堂,在这么短暂的时间内拿出作品,对团队成员的技术水平、身心承受能力都是一场终极考验。本次OCP峰会黑客马拉松冠军Ron Herardian团队和我们分享了这场中比赛许多不为人知的细节,成员之间相互配合,发挥各自专长,最终完美的完成整个项目,演绎24小时头脑风暴,下面看Opencompute的Ron Herardian给我们带来的精彩消息。

以下为译文:

在过去的三个OCP峰会上,对开源技术和硬件怀揣着激情和梦想的工程师们走到一起,参加24小时黑客马拉松,在此期间,他们不停地工作希望在激烈的竞争中脱颖而出。今年,三支队伍赢得了黑客马拉松比赛,他们中的两位会在OCP博客上分享他们的经历,本文来自Ron Herardian的博客,他将在此分享他们团队获胜的诸多细节。

每当介绍新技术,大多数工程师问的第一个问题就是它们如何让我们的工作变的更好、更高效,在Open Compute峰会的硬件黑客马拉松上,我们给这个问题找到了最佳的答案。

我的团队成员来自不同的公司,我们彼此以前从未见过,Andreas Olofsson来自Adapteva, Peter Mooshammer以前在IBM工作,Jon Ehlen来自Facebook, Dimitar Boyn来自I/O Switch Technologies,还有 Rob Markovic ,一个独立顾问,最后还有我自己,一个计算机爱好者和黑客。虽然Rob和我都熟悉来自I/O Switch 公司的Dimitar,但我们彼此并不熟悉,其他成员互相都不认识,尽管如此,我们在经过一个小时的头脑风暴之后,彼此之间配合的非常默契而且一项雄心勃勃的计划逐渐浮出水面。

我们选定的项目叫做Adaptive Storage(自适应存储),在这里网络上的计算和存储资源将是松散耦合的,而且是独立可扩展的,从而优化大数据平台Hadoop。该项目使用基于RISC处理器(ARM)的微型服务器和连接网络的磁盘驱动器来创建Hadoop 数据节点。I/O Switch提供了一块能够使磁盘驱动器直接连接网络交换机的印制电路板。Hadoop微服务器节点可以控制网络上一个或多个磁盘驱动器,但任何微服务器可以读任何磁盘驱动器,这将使它能够在公共网络交换机中灵活、动态地重组计算和存储资源,如果成功,Adaptive Storage可以用来消除Hadoop的hotspots和coldspots。

从一开始,整个团队对新的Parallella微服务器在云供应商和大型企业中的前景非常看好,尽管它似乎更适合业余爱好者或者教育市场。Parallella是一个强大的、灵活的可扩展计算平台。Parallella计算机拥有双核Zynq Z-7020 ARM A9处理器,外加16核Epiphany Multicore加速器,以及1GB的RAM,它还内置千兆以太网、 USB、HDMI以及50GB/S扩展连接器。


Parallella 微服务器

Adaptive Storage的概念是由Dimitar和Andreas受其他团队成员的启发而来的,这个项目需要在网络上获取松散耦合分布式Parallella计算能力来存储资源,这需要通过AoE将磁盘驱动器连接到网络,以及在Parallella Hadoop 数据节点上运行开源 AoE驱动。Adapteva提供Parallella硬件和Linux发行版,I/O Switch提供AoE到SATA的印制电路板(“AoE使能器”),以及其他硬件设备来构建测试实验室环境。


I/O Switch AoE 使能器

黑客们需要构建一个自定义编译Linux内核和开源驱动程序代码,团队的每个成员迅速发挥他们的专长,Andreas 在Parallella平台以及ARM处理器Linaro Linux上的有着丰富的实践经验,这对我们项目至关重要;Jon在演示Parallella存储节点和I/O Switch AoE使能器如何在真正的数据中心部署方面帮助很大,他还负责整个项目的实际用例和3D CAD制图;除了解决许多问题,Peter成功的将整个软件栈部署到虚拟机环境中给了团队信心,这使我们的目标可以如期实现;Rob和我准备测试实验室,以及负责故障排除工作、协调团队,以及临时到最近的电子商店购买设备,准备项目的演示等。

整个团队工作到1月28日周二深夜,Dimitar和Andreas在夜里轮流对自定义的Linux内核启动运行、在Parallella平台上部署Hadoop。凌晨1点左右,试验台Parallella电脑在内核编译时过热,我们将风扇抬高使之远离I/O Switch Hailstorm存储附件,并从另一个团队借来线将风扇和Parallella板连接起来,最终很快解决了这个问题。


Adapteva CEO:Andreas Olofsson, .

经过24小时的努力,我们顺利的完成我们的项目,Dimitar在现场做了详细的演示,并且耐心的问答了观众的提问,包括如何使用Adaptive Storage在可扩展对象存储上实现Seagate的 Kinetic存储API或Amazon S3 RESTful API。


 I/O Switch Technologies CTO:Dimitar Boyn, 

在Adaptive Storage上,磁盘驱动器是直接连接到网络交换机的,没有传统的存储阵列。Hadoop的Parallella微服务器也连接到交换机,它们当中的每一个都可以为一个或多个磁盘驱动器处理数据。因为每一个磁盘驱动器都通过I/O Switch AoE 使能器PCB单独连接到网络,任何微服务器可以读取任何磁盘驱动器,这意味着微服务器可以联合起来处理复杂的事务或更大的数据集。

我们的设想是微服务器可以按需结合和动态重组,因为额外的微服务器可以自动被加入进来处理复杂的事务或大型数据集,Adaptive Storage是弹性计算,额外的物理微服务器可以随时添加到网络交换机,独立存储。

同样的,任何微服务器可以接管网络上未赋值的磁盘驱动器来进行特定的写访问,不需要时可以释放它们,这也是按需进行的,因此Adaptive Storage是弹性存储。额外的物理磁盘驱动器可以随时被添加到网络,独立计算。

除了引人注目的省电特性和独立性、计算和存储资源的弹性可扩展,Adaptive Storage可以很容易消除Hadoop上的计算hotspots和coldspots,但Adaptive Storage的概念和方法并不局限于Hadoop。它可以应用于任何大数据技术,如Cassandra 、MongoDB或常规的对象存储。例如Adaptive Storage是Seagate Kinetic的有效补充,因为Kinetic API可以在微服务器上运行,管理网络上一个或多个磁盘驱动器。

实际上,Facebook的1/2宽度Knox OCP系列小型计算机系统接口扩展板可以很容易被全宽度的Adaptive Storage基线板取代,并且在这上面可以安装插件导轨以及扩展卡/底板,整个结构支持金属支架,从机械和制造业的角度来看这个结构非常简单。


Adaptive 存储基线板

短短的24小时内,在没有预算的情况下,我们团队的工程师仅仅利用几台电脑、电路板和网络设备开发出一种全新的方式来组织Hadoop 数据节点、构建和演示一个基于ARM处理器的微型服务器使用开源软件的工作模型,并且绘制出了可投入生产的CAD图纸。

经验告诉我们,研发一个类似的项目在一个大型技术公司可能需要几个月,这可能就是我们参加OCP峰会为什么这么开心的原因。我们不能肯定Adaptive Storage是否在未来一直适用,但我们都很兴奋,许多公司和个人采访我们的黑客,他们被看到的迷住了,想继续发展这个项目。这一切让我们增加了对开源和OCP的信心,我们能够使用开源技术来构建一些伟大的东西,未来我们将和更多志同道合的人们继续构建、创新和发展开源技术。


以“  云计算大数据 推动智慧中国 ”为主题的  第六届中国云计算大会 将于5月20-23日在北京国家会议中心隆重举办。产业观察、技术培训、主题论坛、行业研讨,内容丰富,干货十足。票价优惠,马上  报名 ! 

原文链接: OCP Hackathon Winner: Adaptive Storage  (编译/魏伟 审校/毛梦琪)

周末巨献:100+诡异的数据集,20万Eclipse Bug、死囚遗言等 TIOBE 2014年6月编程语言排行榜:Swift能否取代Objective-C? 移动游戏后端:开发还是购买?你必须知道的6件事 Vuforia SDK 3.0发布在即 全球注册开发者已逾10万 最受职场青睐的十大热门云计算技能盘点 Android Bootstrap:开发也能用模板,省时又省力! Facebook开源又一力作,欲借Broadcom开放交换机 华为敏捷网络:坚持被集成,引领ICT融合 专访赵桂华:.Net也有春天及高性能网站架构实践 《近匠》Testin:云测试除了APP和真机 还有可穿戴和汽车 应用开发利器FXForms:iOS上实现各种Form View Firefox 30正式版:支持GStreamer 1.0技术、内置全新Gecko 30内核 从阿里、UC联姻 看移动互联网“入口”之争 AppCode发布3.0.1更新,支持Xcode 6和Swift 智能家居持续升温:苹果HomeKit合作伙伴Honeywell发布恒温器 欲与谷歌、亚马逊抗衡,苹果推CloudKit拥抱云服务 针对新一代物联网应用 Atmel推全新32位微控制器 实时计算,流数据处理系统简介与简单分析 Cue:秒杀HealthKit,打造自己的家庭医生 新iPhone要来:4.7就够了么?我们还有更大的 Docker迈入云(DockerHub)+端(Docker引擎)时代 《近匠》壹枱智能钢琴:改造音乐行业的新“玩”家 圣何塞Hadoop Summit 2014看点 唯快不破!90后大学生9天完成近670页的Swift语言文档翻译 一周消息树:Java、.NET、Web技术应用特点 苹果生态格局:软硬件之后,iLifestyle才是王道 小米互娱总经理尚进:独立游戏当为发烧而生 哪些编程语言、框架/平台最受企业青睐? 高德LBS应用大赛:百万大奖、千万基金等你来拿! Gartner:有数据有真相 从浪潮看服务器市场走势 PhoneGap 3.5.0发布,不再支持iOS 5和ARM64 去掉引导信息??? 为什么我用MFC写的单文档程序在别人的没装VC++的机子上不能运行? 用户登录是密码存放在哪个文件夹里? (简单问题) 请问这个程序为什么抛出这样一个违例??? 问题一个,请教! 增值合订本出的我心不甘 我又来提问了~前天复习是发现一道很怪异的题目~ 用activemovie控件打开一个URL,用哪个函数? 如何去掉ACTIVE MOIVE控件下面显示的几个键和进度条 c源程序。 >>>>高分求解!!!我在一个对话框中插入一个active report run time design,但程序运行时却不显示,在vb中却可以,如何解决这个问题?????? 关于sql server的安装 哪里有下载cc编译器的? 关于导出数据窗口数据的问题,明白人请进! delphi可不可以用于自动控制方面的开发呢 如何使对话框程序执行就让整个屏幕背景变黑色?? 想了解有关程序考试的一些情况? 不同系统就不可以直接电缆直接吗? 怎样使用PQMAGIC对硬盘进行调整分区 memory fault--core dumped的问题 有谁知道怎么解win98的开机密码? 用 procedure 与 trigger 、database link 能完成吗? flowerofwind,rjcludy()请回答 COM中的一个怪问题:我将::CoUninitialize();去掉后程序不出错,添上出现非法操作,是啥问题??? 请问?????? 如何在程序中播放rm格式的文件??? edit怎么用啊? JB6盘中不含 Borland Enterprise Server AppServer5.0,各位快载一个上去吧! 如何改变显示的分辨率? 那里有c#编译器免费下载?谢谢 如何在vc中播放rm格式的文件??? 那位大侠知道怎么创建并使用一个变量,每次只让一个进程访问???给个例子吧,大大大 大 delphi中怎么编写中断,获取外部设备传来的信息?急救!! 数值模拟与计算仿真,高手请帮忙! 请问:dos下图形放大算法或思路?还有.........(高手请进) 求教!!!!SOS!! --请问如何将一个BMP图形文件转成JPG图形文件,高分请教师--- 高分给出,win98的怪问题! 打印统计问题 请教 : html的javascript 中报错:document.Form1.client_name.value不是对象 VC++里面如何从文本文件中一行一行读取文件? 请问,如何用mail函数批量发送邮件.多谢. 各位请教一下,Jsp 的服务resin在win2000下是怎样配置的 各位兄弟: 有谁知道 侯杰 的 <多线程程序设计> 什么时候才能买到??? 哪里有VFP3.0下载? system.ini和win.ini的作用 怎样生成安装包,多谢! 如何在两个不同的应用程序之间拖动文本字符 请问,PTSTR 和 PSTR 有什么不同? 反对上海电信变相涨价的行为。我能不能告中国电信“违约”和“欺诈”呢。 求救!误删Office2000注册表! 生成.exe出错 有HFO 次氟酸的存在吗? 二次函数a的大小与开口大小的关系是怎样的?如题 如图所示,已知直线a与b是异面直线,直线c∩a=M,直线b∩a=N,又a∩平面α=A,b∩平面α=B,c∩平面α=C求证:A,B,C三点不共线急!大致图像是这样,可能图像不清. 57. 在很长一个时期,人们一直认为氟的含氧酸不存在.1971年美国科学家通过细冰获得次氟酸(HFO),对次氟酸德研究引起充分重视.试回答下列问题:(1) 次氟酸的电子式为_______(2) HFO中各 二次函数a与开口大小有啥关系? 反函数,向量,三角函数的计算公式? 在二次函数中 b的绝对值和c的绝对值怎么比错了错了 是a b的绝对值 通常情况下,温度达到100℃时,水才会沸腾,这说明水沸腾后,如果停止对他加热,则水不能继续沸腾,这说明 有一支刻度均匀但读数不准的温度计,放在冰水混合物中示数为4℃,在沸水中的示数为96℃.用这支温度计测得烧杯中的水温是29摄氏度,则这杯水的实际温度是多少摄氏度? F2和H2O反应是不是氧化还原反应?哪个是氧化剂.哪个是还原剂?怎么看出来? 平面上有A.B.C.D四点,经过其中每两点画直线,最多可画出几条? 有一支温度计,其刻度是均匀的,但示数不准,把他插入冰水混合物中,示数为2℃,而放在1标准大气压小沸水里,示数为94℃,用这支温度计测一杯热水的示数是48℃,则这杯热水的实际温度是------. HFO+H2O=? 在一平面内有四点,过其中的任意两点画直线,如果只能能画出四条直线,则这四点的位置是怎样的?画图, 一支温度计刻度均匀但示数不准,当把它插入冰水混合物中时,温度计示数为5摄氏度,插入1标准大气压下的沸一支温度计刻度均匀但示数不准,当把它插入冰水混合物中时,温度计示数为5℃,插入1 谁知道HFO的制法,为什么要这样?在说一下HFO中各原素得化合价! 反函数的导数 高数 ln|arctanx|求导 已知:平面α∩β=直线l,又直线a与α有一个公共点P,试分析α与β的位置关系 HFO中F是几价? 如果一条直线l与平面a的一条垂线垂直 ,那么直线l与平面a的位置关系是不是任意一条 而是一条。 直线l,m与平面α,β,γ,满足l=β∩γ,l∥α,m∈α,m⊥γ,则必有〔〕 a.α⊥γ且m∥β b.α⊥γ且l⊥m c.m∥α且l⊥m d.α∥β且α⊥γ HFO中各元素的化合价 直线l垂直于平面α,直线m在平面α内.直线l,m的位置关系有哪几种 求过程」一刻度均匀的温度计放在冰水混合物中时,示数为10°C;用它测一个标准大气压下沸水的温度时,示数为90°C.若用它来测得温水的温度为70°C.则温水的实际温度是____. 物态变化实验6个,与书上的不同 高数:反函数和导数的一道题! 高数求导疑问如图,我有个疑问,df(u)/du,我觉得df(u)就是对f(u)求导,也即是f`(u),分母是du是什么意思,有什么作用,为什么要除以du? 漂白粉生产方程式和漂白原理 高数中反函数的一阶导数是这样求的,那么反函数的二阶导数怎么求? 高数求导问题为什么选C 两个二次函数的a的绝对值相等,这两个二次函数的图像形状相同吗 大一高数导数.,设y=y(x)由方程x^y+2x^2-y=1所确定,求y′′(1) . 高数求导的问题不知道红线部分是怎么来的 红线部分到绿线部分也不知道是怎么来的 一元二次函数图像 已知三个平行平面α、β、γ与两条直线l、m分别相交于点A已知三个平行平面α、β、γ与两条直线l、m相交于点A、B、C和点D、E、F,求证:AB∶BC=DE∶EF. 高数, 二次函数图像的形状相同可以说明什么y=ax^2+bx+c 与y=-x^2-7x+12的形状相同,对称轴为x=1,顶点到x轴的距离为根号3,写出函数解析式 在同一平面内,与已知直线l平行的直线有___条,过直线l外一点M与已知直线l平行的直线有_____条.希望快点、、准确! 关于高数求导的问题能够告知这个极限的求导分子部分的求导过程,分母部分我懂,但是分子部分是怎样求导能否详细说明? 在二次函数中,为什么|a|越大,抛物线的开口越小? 若直线 L与平面b平行 ,直线a在b上 ,则 l与a 的位置关系是A、平行 B、 异面 C、 相交 D、 没有公共点偶A答案B,要理由啊 如图,请画图说明平面上到三角形的三遍所在的直线距离的点一共会有多少个?(任意一个三角形) 二次函数,a的数值越大,抛物线的开口越小,为什么?考虑y=10x^2+3x+1 高数小题,反函数求导. 三个平面把空间分成几个部分?画图表示各种情况.(请画图,有加赏,)6,7,8.主要是8个平面,画不来……求画,不尽感激. 为毛说二次函数中|a|越大,抛物线开口越小,|a|越小,抛物线开口越大. 直线a、b不共面,且a⊂平面α,b⊂平面β,α∩β=直线m,则m与a,b的位置关系是 y=(lnx)^x的导数 水的蒸发与气压有关系吗 有一支温度计,刻度均匀但刻度线不准.用它测量冰水混合物的温度时,度数为6℃,用它测量1标准大气压下沸水的温度时,读数为96℃.(1)若该温度计某次测量显示温度是33℃,则实际温度为_____℃ y=lnx/(x^2+1)的导数,怎么求, 下列说法错误的是 A.水在任何温度下都能蒸发.B.在1标准气压下,将水加热到100℃,水就能沸腾.C.水在沸腾时,要吸收热量,但温度不升高.D.水在低于100℃时也可能沸腾. 若直线a,b异面,a‖α,则b与平面α的位置关系 y=lnx/x 的导数是多少 在HFO(次氟酸,HOF)中F显-1价,可以看作F的最高价态了,那么HFO和HClO4的酸性哪个更强?能按递变性解释 平面上有ABCD四个点,过其中每两点画直线,可以画几条?画图说明画图说明! 有一只刻度均匀的温度计,但是在冰水混合物中,温度计显示的度数为5°c ,在一个标准大有一只刻度均匀的温度计,但是在冰水混合物中,温度计显示的度数为5°c ,在一个标准大气压下的沸水温度 HFO(次氟酸)中的O真是0价么?据化学说上说只有单质为0价.如果O为0价,那么不就放出去了么?他们是怎么结合形成的,F在化合物中(有机或无机)会出现正价么 二次函数a与开口大小关系如题,分正负两种情况讨论,不要说绝对值越小 直线a,b,c在同一平面内,a//b,a与c相交于一点M,则b与c的位置关系是
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn