说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Facebook与Yahoo!的“火花”:系统间实时数据流管理工具

HTML文档下载 WORD文档下载 PDF文档下载
随着业务的延伸,许多机构的应用都已完成了多应用与服务的转变。然而随着规模的增大,如何实现各个系统间的通信,让数据全局一致已成为棘手的问题。就在上周,雅虎与Facebook分别公布了在这个领域上自己的实践。

据Gigaom消息,Facebook与Yahoo!于上周公开了多系统间实时数据流管理工具的一些细节。其中Yahoo!公布的Storm-YARN已经开源,其基于YARN(Hadoop 2.0)与Storm,实现了Storm与Hadoop集群间更紧密的集合——在需要时甚至可以通过Storm来借用Hadoop批处理集群的能力。Wormhole则集成了监视系统,执行自动修复,支持容量计划,自动化配置等众多特性,遗憾的是Wormhole并未开源。

以下为译文:

6月11日, Yahoo!开源了人气流处理框架Storm的内部定制版——Storm-YARN,用于Hadoop集群中。接着在14号, Facebook公开了名为Wormhole系统的细节,用于多个应用间的通信,当一个系统中的数据发生发变化时,可以自动同步到其它相关系统,以保证数据的实时更新。

Yahoo!:Storm-YARN

流处理框架的实时性广受大数据分析者的喜爱,其价值更是毋庸置疑,比如说Twitter的成功就证明了Storm的价值。Twitter使用Storm来处理tweet,让用户的Timelines就可以保持实时更新,Twitter还使用Storm做类似实时分析及新趋势的发现。事实上Twitter通过购买Storm建立者Backtype确实获得了技术和人才上的双丰收。


提交并执行Storm拓扑

从2011年Storm开源之后,其就作为Hadoop的流处理组件在网络公司中流行了起来。而现在Yahoo!让Storm和Hadoop的集合更加紧密,甚至已经达到Storm在需要时可以借用批处理节点能力的程度。这是个非常有价值的特性——而在上周Facebook Analytics @ Web Scale会议的一个演讲上,Twitter的工程师Krishna Gade还惋惜过Storm自动扩展的局限性。


发布Storm集群和Hadoop YARN

Storm-ARN的实现还获益于YARN的一个重要特性,也是Hadoop 2.0版本一处重大更新——允许Hadoop同时运行多个处理框架。 Twitter曾使用开源资源管理器Mesos达到相同的功能,但是Gade的同事Dmitriy Ryaboy曾申明当Hadoop更新到2.0版本时,该公司将把大数据作业转移到YARN上,并将更多的社区努力放到它的持续改进上,同时还将为其构建更多的应用程序。

Facebook:Wormhole

遗憾的是Facebook的Wormhole迄今并未开源,但是其经验是仍然值得借鉴的(而LinkedIn已经开源了类似的技术Kafka以及Databus)。Wormhole应归属于发布-订阅系统,在Facebook,Wormhole给Facebook主用户数据库发送新内容进行图搜索,从而以最快的速度得到搜索结果,同样Wormhole还可以给其Hadoop环境发送数据,让分析作业使用的数据保持最新。


就像Facebook之前的作品一样(比如新交互式查询引擎Presto),Wormhole具备着很好的扩展性。通过Laurent Demailly的tweet了解到,其延时完全控制在毫秒级:

Wormhole每天处理超过1万亿的信息,每秒1000万条以上。Wormhole被用以处理各组件的故障,具备以下几个特性:集成了监视系统,执行自动修复,支持容量计划,自动化配置及突变处理支持。

最后

虽然Storm-YARN 与Wormhole分别由不同的公司开发,但是显然他们将掀起Hadoop与Storm领域的一场飓风。随着网络公司业务的延伸,应用程序也扩展到多应用与服务混合类型,所以一场针对基础设施的运动也如火如荼的进行着。基于数据层系统的不同需求,这些公司不得不放弃他们最初的架构,转至建设类似Storm以及Wormhole去管理不同系统之间的数据流。

原文链接: A real-time bonanza: Facebook’s Wormhole and Yahoo’s streaming Hadoop(编译/仲浩 审校/王旭东)

欢迎关注 @CSDN云计算微博,了解更多云信息。

VB如何获取硬盘卷标、序列号和文件系统类型? VB如何判别程序是在Win95或NT下执行? VB如何启动控制面板? VB如何取得磁盘序列号? VB如何让Window不接受键盘输入及Mouse Click VB如何让程序拥有多个热键? VB如何让用户自行输入方程式,并计算其结果? VB如何使程序不在Ctrl+Alt+Del弹出的对话框内? VB如何使用 VB 编写自动反安装的程序? VB如何用VB建立快捷方式 VB如何用VB在桌面建立快捷方式 VB如何在 VB 中控制 Modem 行为? VB如何在VB中判断Windows9x的运行模式 VB如何在Visual Basic中实现异步执行程序 VB如何在开机时自动更换墙纸? 使回车具有 Tab 的功能-VB资料 输入时,自动转换成小写? -VB资料 显示多媒体信息 -VB资料 也谈Windows 下的自动存盘 -VB资料 一个小巧精致的CPU监视器 -VB资料 应用VB4.0实现工业控制的实时曲线和历史曲线 应用程序中实现关机功能-VB资料 萤幕抓取与萤幕保护程式 -VB资料 用VB5.0创建Windows快捷方式 用VB5.0收集键盘和鼠标信息 用VBA限制非注册软件使用时间 用VB编程检测当前电池使用情况 用VB编写定时关闭计算机的程序 用VB编写键盘拦截程序 用VB函数轻松访问系统注册表 用VB设计一个定时闹钟程序 庆祝!经过公平选拔公司聘我配置管理经理! 送分!!!!!!!! 我想在DataSourceDataChange中写代码,来判断当某一字段的值输入为1时,我想让另一个字段显示! 怎样获取本机上网的DNS地址? 如何实现用JS实现首页调用 ! 请教各位大侠广告系统应怎么运作和推广?100分。附系统说明 IE不能运行JavaScript\vbScript,怎么解决这个问题? sql server ce 数据库压缩问题 我要从光盘拷贝文件出来,还有怎么获得光盘的大小等参数,谢谢。 vi中编写c程序,如何让关键字显示不同颜色 这个错误是为什么? 关于日期(Date)的问题! linux下weblogic7.0连接oracle的问题:pool和Data Resource如何配置???好难呀!!!!!! 下面一段写入数据库的代码 为什么 老出错误 急!高分求救!如何加密? 请问一个关于OpenDialog1程序运行的问题? 庆祝!经过公平选拔公司聘我配置管理经理! 在客户端打开服务器上的Word,PDF等文件时能否限制客户端COPY,另存等功能 分 多了该怎么办呢?:-) DataGrid及水晶报表问题!请高手指点!! 成功安装了oracle8.17,接下来我该怎么配置呢? .net frameword 1.1 C#语言有什么变化? 如何运行一句动态组装的sql语句?? 怪问题!高分求助!!! "面试试题"急求解答。急!!!!!!急!!!! 个人所得税计税基数由原来的800元,修改现计税基数1200元,请修改? 关于权限 javascript中怎样去掉字符串中的空格 求购基于Html的全文检索(用于光盘发布的)相关技术(控件和接口资料) 大家碰到这种问题是怎么解决的??? 如何令窗体只加载一次!Dim aa As New Form2 aa.Show() 关于下载的问题!!!!!!!!非常急!!!!!!!!!!! DB2不能一次插入多条记录么?? 能将数字记钱方式转换为大写的方式? 我没有分了,可是我还有个问题 请问也SQL2000数据库Windows身份验证,SQL Server身份验证的问题?? 关于层的问题! delphi 高难度!有没有人搞得出! 讨论:CSDN该不该分两个区?(入门级与专业级) 各大版主请进 简单问题,在线等待,解决就结稿. 用DES算法算出的注册码怎么是乱字符? <<LINUX与UNIX_SHELL编程指南>>中不懂的问题 分 多了该怎么办呢?:-) 请问怎么读取.txt文件的第n行? 如何将一个象素点设置成某一种颜色(即绘制一个象素点). 如何使一中文网站系统,转成English版的系统呢? 将dbf文件中的一部分字段数据导入到db的一张表中[斑主帮忙] 在线游戏刷新问题,高手接招 关于关闭窗口的超级难题 请各位推荐一下用.net开发的OA产品或者公司 VB.NET问题 功亏一匮是什么意思急需 坦普尔•塔特尔彗星 可以用 HIP xxxxx 表示么? 张英兰怎么样呵呵感觉很开朗可爱的女生呢给别人带来欢笑那种~为节目也付出了很多~喜欢她的笑容哈! 张英兰结婚了么? 千秋冤案莫须有,百战忠魂归去来.这幅对联说的历史人物是谁? 有没有一种灯管即明亮又节省电费呢? 7.将一个图形中各个点的坐标进行下面的变化,得到一个新图形,进行平移变换的是: A.7.将一个图形中各个点的坐标进行下面的变化,得到一个新图形,进行平移变换的是: A.横坐标乘2,纵坐 根据下列坐标变化,说明各自做了什么变换(1) (-2,3)→(-2,-3)( );(2) (5,6)→(-5,6) ( );(3) (1,1)→(1,5) ( );(4) (-3,-4)→(3,4) ( ).这是关于什么知识点? 根据下列的坐标的变化,判断它们进行了怎样的变换,在横线上写出(1)(5,-2)→(5,2)_________(2)(6,3)→(6,-7)__________帮我找出规律啊,是关于对称轴的~ 根据下列坐标的变化判断它们进行了怎样的变换 1(5,﹣2) (5,2)2(6,﹣3) (6,﹣7)3(﹣6,2) (6,2)4(﹣6,4) (﹣10,4) 关于功角的解释.有几种说法,转子在空间的角度变化,系统两端电势之间的角度差,还有就是在相量图中空载电势E和系统电压U之间的角度,我想问一下这三者如何统一起来?系统两端电势之间的 男子纽约杀亲戚5人奥巴马亲自上阵引外资蒙古国总统访朝 金正恩首迎外国元首朝鲜称将继续发射卫星朝鲜将派小球员赴欧留学德媒称奥巴马知晓“监听门”格鲁吉亚选总统最高法强调依法办案 排除权力金钱人情河北冀宝斋博物馆馆长王宗泉去世 馆方俄称愿与北约就导弹防御系统进行建设性美4囚犯上演浴室版“越狱” 2人被缉莫斯科4家麦当劳餐厅被“关停”现代瑜伽创始人主材展十发十中 十大看点迎金秋但不会提出申诉定制健康 一诺千金三被告因寻衅滋事罪获刑黄色的消火栓,你见过吗?二桥公交“一人一座”暂缓实施老外“中式英语”问路 引出喜感一连串傅博愿带国奥进亚运四强 最看重一人或北桥街道便民中心启用
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘