说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Facebook与Yahoo!的“火花”:系统间实时数据流管理工具

HTML文档下载 WORD文档下载 PDF文档下载
随着业务的延伸,许多机构的应用都已完成了多应用与服务的转变。然而随着规模的增大,如何实现各个系统间的通信,让数据全局一致已成为棘手的问题。就在上周,雅虎与Facebook分别公布了在这个领域上自己的实践。

据Gigaom消息,Facebook与Yahoo!于上周公开了多系统间实时数据流管理工具的一些细节。其中Yahoo!公布的Storm-YARN已经开源,其基于YARN(Hadoop 2.0)与Storm,实现了Storm与Hadoop集群间更紧密的集合——在需要时甚至可以通过Storm来借用Hadoop批处理集群的能力。Wormhole则集成了监视系统,执行自动修复,支持容量计划,自动化配置等众多特性,遗憾的是Wormhole并未开源。

以下为译文:

6月11日, Yahoo!开源了人气流处理框架Storm的内部定制版——Storm-YARN,用于Hadoop集群中。接着在14号, Facebook公开了名为Wormhole系统的细节,用于多个应用间的通信,当一个系统中的数据发生发变化时,可以自动同步到其它相关系统,以保证数据的实时更新。

Yahoo!:Storm-YARN

流处理框架的实时性广受大数据分析者的喜爱,其价值更是毋庸置疑,比如说Twitter的成功就证明了Storm的价值。Twitter使用Storm来处理tweet,让用户的Timelines就可以保持实时更新,Twitter还使用Storm做类似实时分析及新趋势的发现。事实上Twitter通过购买Storm建立者Backtype确实获得了技术和人才上的双丰收。


提交并执行Storm拓扑

从2011年Storm开源之后,其就作为Hadoop的流处理组件在网络公司中流行了起来。而现在Yahoo!让Storm和Hadoop的集合更加紧密,甚至已经达到Storm在需要时可以借用批处理节点能力的程度。这是个非常有价值的特性——而在上周Facebook Analytics @ Web Scale会议的一个演讲上,Twitter的工程师Krishna Gade还惋惜过Storm自动扩展的局限性。


发布Storm集群和Hadoop YARN

Storm-ARN的实现还获益于YARN的一个重要特性,也是Hadoop 2.0版本一处重大更新——允许Hadoop同时运行多个处理框架。 Twitter曾使用开源资源管理器Mesos达到相同的功能,但是Gade的同事Dmitriy Ryaboy曾申明当Hadoop更新到2.0版本时,该公司将把大数据作业转移到YARN上,并将更多的社区努力放到它的持续改进上,同时还将为其构建更多的应用程序。

Facebook:Wormhole

遗憾的是Facebook的Wormhole迄今并未开源,但是其经验是仍然值得借鉴的(而LinkedIn已经开源了类似的技术Kafka以及Databus)。Wormhole应归属于发布-订阅系统,在Facebook,Wormhole给Facebook主用户数据库发送新内容进行图搜索,从而以最快的速度得到搜索结果,同样Wormhole还可以给其Hadoop环境发送数据,让分析作业使用的数据保持最新。


就像Facebook之前的作品一样(比如新交互式查询引擎Presto),Wormhole具备着很好的扩展性。通过Laurent Demailly的tweet了解到,其延时完全控制在毫秒级:

Wormhole每天处理超过1万亿的信息,每秒1000万条以上。Wormhole被用以处理各组件的故障,具备以下几个特性:集成了监视系统,执行自动修复,支持容量计划,自动化配置及突变处理支持。

最后

虽然Storm-YARN 与Wormhole分别由不同的公司开发,但是显然他们将掀起Hadoop与Storm领域的一场飓风。随着网络公司业务的延伸,应用程序也扩展到多应用与服务混合类型,所以一场针对基础设施的运动也如火如荼的进行着。基于数据层系统的不同需求,这些公司不得不放弃他们最初的架构,转至建设类似Storm以及Wormhole去管理不同系统之间的数据流。

原文链接: A real-time bonanza: Facebook’s Wormhole and Yahoo’s streaming Hadoop(编译/仲浩 审校/王旭东)

欢迎关注 @CSDN云计算微博,了解更多云信息。

用DELPHI中Canvas特性开发图形软件 用构件变换法实现动画效果-Delphi资料 在Delphi中使用动态图标 在Delphi中显示Windows图标 在多媒体文件中批量抓取图象-Delphi资料 怎么配置才能让浏览器支持XML????? 请各位高手帮帮小弟,怎么把这样的数据发送过去啊?并得到XML,谢谢,真的很急! *****急寻有平面效果的ComboBox控件 ******** 请兼职Delphi程序员,要求有两年以上开经验。 求:intel ixp2xxx np资料及开发包,有 ixp1200也行 欢迎搞这个的朋友们交流 在quickrep中如何知道打印的总页数? 这种情况是不是该用触发器呢? 想实现类似QQ那样的界面,我想了想,也请大家来帮帮忙,讨论一下 各类控件的键盘响应事件 我以前起床很晚,但是我现在习惯早起的英文 It is a quarter p_____ th It is six o'clock in the I go tohome at a quarter 初三英语书翻译 P8页长课文 I can see ( some buses an There are akways a lot of look both ways for cars a Buses and cars are moving 朝鲜完成军方人事布局 举行2万人连级人社部:机关事业单位将建职业年金海军三大舰队首次在西太平洋预定海区展杭州临安警方破获特大涉毒涉枪案 缴获德国高层代表团将赴美 跟进默克尔被窃停牌近400天 中银绒业被斥“老赖”明天天气雨来秋寒 莫忘添衣失聪少年瞄准前100全国主要城市今天天气预报猎影师动漫卡片灌篮之宫城良田死亡飙车网游之三系哥布林辽阳白塔旅游无锡古运河旅游水浒城旅游北大荒现代农业园旅游武汉天地旅游
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘