说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Twitter开源Summingbird:近原生编码下整合批处理与流处理

HTML文档下载 WORD文档下载 PDF文档下载
近日,Twitter开源了名为Summingbird的数据分析工具。区别于以往的更快、更准确节奏,Summingbird更注重于流处理与批处理的无缝整合,以及编程语言的原生化。

根据使用场景不同,大数据处理逐渐的发展向两个极端——批处理和流处理。其中流处理更注重于数据的实时分析,代表工具有Storm及S4。而批处理更注重于数据的长期挖掘,典型的工具则是从Google 三大论文上衍生的Hadoop。

随着数据的“爆棚”,各个公司在大数据的处理上可谓是绞尽脑汁,目的无非就是更快、更准。然而近日Twitter 开源的新工具Summingbird却打破了这个节奏,在流处理与批处理的无缝整合上更进了一步。


开发背景

众所周知,Twitter的系统基本上完成了面向服务的架构转变,而众多服务对数据处理也有着不同的需求,从而无可避免的出现这种情况:类似Trending Topics及搜索服务在开始时有实时处理的需求,而数据的价值却需要经过最终的深度挖掘——批处理。这样减少转换时开销的重要性就显而易见了,Summingbird应运而生。

Sunmmingbird

相关简介

Twitter在9月3日开源了一个名为Summingbird的大数据处理系统,通过整合批处理与流处理来减少它们之间的转换开销。

从Twitter对Summingbird的介绍还得知,开发者可以使用非常接近原生的Scala或者Java 在Summingbird上执行MapReduce作业,下面着眼一个使用纯粹Scala编写的word-counting示例:

def wordCount(source: Iterable[String], store: MutableMap[String, Long]) =  source.flatMap { sentence =>    toWords(sentence).map(_ -> 1L)  }.foreach { case (k, v) => store.update(k, store.get(k) + v) }

而在Summingbird做word-counting则需要这样的代码

def wordCount[P <: Platform[P]]  (source: Producer[P, String], store: P#Store[String, Long]) =    source.flatMap { sentence =>      toWords(sentence).map(_ -> 1L)    }.sumByKey(store)

不难看出他们有着相同的逻辑和近乎完全相同的代码,然而不同的是,你既可以使用Summingbird项目做“批处理”(Scalding),也可以使用它做“实时处理”(使用Storm);同时,你还可以使用两种模式的混合给应用程序带来无与伦比的容错性。

核心观念

Summingbird作业会产生两种类型的数据:流(stream)和快照(snapshot)。流包含了数据的所有历史,Store则是包含了系统在指定时间的快照。Summingbird核心通过众多组件实现:

  • Producer——Producer是Summingbird的数据流抽象,用以传递给特定Platform做MapReduce流编译。
  • Platform——Platform实例可以用于任何流MapReduce库的实现,Summingbird库包含了Platform对Storm、Scalding及内存处理的支持。
  • Source——Source代表了一个数据的源,每个系统都对数据源有自己的定义,比如Memory平台将Source[T]定义为任何TraversableOnce[T]。
  • Store——Store是Summingbird中流MapReduce进行“reduce”操作的场所,Store包含了所有键对应值聚合的快照。
  • Sink——不同于Store,Sink允许你形成一个体现Producer值的非聚合流,sink是流而不是快照。
  • Service——Service允许用户在Producer流中当前值上执行“lookup join”或者是“leftJoin”,被连接的值可以是来自另一个Store的快照,也可以是另一个Sink的流,甚至来自一些其它的异步功能。
  • Plan—— Plan由Platform调用platform.plan(producer)产生,作为MapReduce流的最终实现。对于Storm来说,Plan就是个StormTopology实例,用户可以通过Storm提供的方法执行。对于Memory平台来说,Plan就是个内存Stream,包含了被传递Producer提供的输出内容。

详细内容请访问:Summingbird的核心概念

相关项目

Summingbird催生了大量的子项目,其中必须关注的有:

  • Algebird——Scala的抽象代数库,Algebird中的众多数据结构都经Monoid实现,让他们能更好的进行Summingbird聚合。
  • Bijection——Summingbird使用Bijection项目的Injection在不同客户端和执行平台间共享序列化。
  • Chill——Summingbird的Storm及Scalding平台都使用了Kryo库做序列化处理,Chill是对Kryo一个很好的补充,其中包括许多可用配置选项,并且提供了Storm、Scala、Hadoop的使用模型。Chill同样也在伯克利Amp实验室的Spark中使用。
  • Tormenta——Tormenta在Storm的Scheme及Spout接口上提供了类型安全层。
  • Storehaus——Summingbird客户端通过 Storehaus的异步键值储存特性实现,Storm平台利用了 Storehaus的MergeableStore特性,以达到一些常用后备存储的实时聚合,包括memcache及Redis。

未来计划

  • 支持更多的平台, Spark及 Akka“首当其冲”
  • Producer图层的可插式优化
  • 支持可过滤的数据源,比如 Parquet
  • 为Producer基元注入更高级的数学及机器学习代码
  • 通过相关项目,实现更多扩展
  • 通过公共数据源释放更多的教程

更多详细信息访问Summingbird HomePage及Summingbird问题跟踪,Summingbird  GitHub下载页。

使程序的标题条闪烁 -VB资料 使窗口总在最前 -VB资料 使窗体右上角的X按钮失效 -VB资料 VB使用 WIN95 的选择目录对话框 使指定窗口总处于其他窗口之上 -VB资料 通用对话框专辑(全) -VB资料 透明的Form上显示背景透通图 -VB资料 图像在图片框中的滚动 -VB资料 拖动无标题窗口-VB资料 拖动无系统标准标题栏的窗口-VB资料 文本框中光标位置的获得-VB资料 无关联程序时开启“打开方式”窗口 -VB资料 显示 Combo 的下拉条 -VB资料 显示Windows系统的标准ABOUT窗口-VB资料 显示程序的版本 -VB资料 显示窗口的水平和垂直滚动条-VB资料 一劳永逸让VB自动改变控件大小 移动没有标题栏的窗口 -VB资料 隐藏Win95任务栏 -VB资料 VB用API函数打开 MS CommonDialog对话框 VB用MSGBOX函数设计版权信息: 用VB5 制作“闪烁标题栏”窗体 用VB5.0获取正在系统中运行的窗口标题 用VB实现浮动按钮 用VB5实现窗口图象缩放、滚动技巧 用VB6建立带光栅的超级开始菜单 用VB尝试新的界面风格 用VB建立字符界面的控制台程序 用VB快速读取TextBox第N行的数据 用VB 设计VCD播放器 用VB设计更好的用户界面 对不起,第一次想给给过自己帮助的人分。但都出现这样的提示,请帮忙解决。 驱动不在了,求助!! 建好表后,如何添加数据?不要导入的方法 用dbstart启动时出现Can't find init file ......请指点! 我用17"的顯示器設為1024*768顯示,但pb9開發工具的字體很小,怎麼設啊? 对于解决站点使用基本验证的自定义客户端验证界面的一篇有价值的文章 运行java3D后这样的提示,怎么回事????? 高分求 关于DLL程式异步通知,类示xmlhttp 组件的onreadystatechange事件 初学者请高手指点迷经? Form上没有缺省按钮,在控件上Enter按键时,喇叭老是响,怎样解决? 如何实现导入数据库中的数据--急,知道的请帮忙 有关dataset的问题?? 使用用户控件提示找不到许可证信息,刚才都是好好的 数据库问题:有什么好的解决办法。 请问如何避免client连接server端出现WSAENOTCONN的错误? 自动注册ODBC数据源问题 请大家注意:遇到有人骂你的时候请通知斑竹,不要回骂。 dbsrv7.exe为何长时间的占用我的CPU? 菜鸟问题,麻烦帮帮忙!!!!!!!!! 在delphi中如何做ocx,大家帮我介绍一下。最好是能放在浏览器中用的。 各位大哥,请教一个菜鸟问题!!! 我电脑里装的win2000使用的时候经常死机,就是突然鼠标,键盘都没反应,只能重起, 谁能帮我判断一下会是什么原因? 如何取得TextField的选择区域? 请问浙江有高程培训班吗? 昨天有人扎了我三针...... CallableStatement 问题 “ActiveX 不能创建对象, 错误号429”,请问谁这个问题,急切求助 为什么建立虚拟目录时这样不行? <Context path="/xuu27" debug="0" docBase="C:\jsp\xuu27" reloadable="true" crossContext="true"/> 问搞版主竞选的版主们: web服务服务器端设置 我的一个页面中有三个frame,请问如何在其中一个frame中点击连接,关闭窗口。然后整个页面就关闭了. 刚学sql语言,有点不懂 一个很弱的问题 有谁知道开书店的进书渠道吗? 我的一个页面中有三个frame,请问如何在其中一个frame中点击连接,关闭窗口。然后整个页面就关闭了. 动态链表。。。 VB,excel关于单元格的问题 谁能介绍一下mysql的数据表结构 急!急!有关Resource DLL的问题。 我想考程序员,请问该买些什么参考书看?哪个网站有这方面的资料? 用VB开发的软件,我想。。。。 寻求有关电子商务的英文文章$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$ 为什么该语句不正常了?? 我写的分页程序,很短,请教错误! 认为自己的【昵称】够个性的,欢迎进来。。。 想请高手指点一下! 你天看到一篇文章,感觉不错。贴上来供大家欣赏。 如何把Access中的图片显示在Webbrowser控件包含的Html文件中? 水晶报表中设置的参数无效? 请教Oracle错误:ORA-12560: TNS: 协议适配器错误 基础 弧长等于直径的圆弧所对的圆周角为A .360°/π B.180°/π C.90°/π D.45°/π 《人鬼情未了》英文简介翻译 “你不存在了,但生活还在.”赏析句子 天蓝色的彼岸 独坐敬亭山的中心思想帮个忙 2010年第5号热带风暴今年第4号热带风暴“电母 求《天蓝色的彼岸》中经典的句子! 澎湃是什么意思? 2010年第2号热带风暴怎么还不来 求骈偶句的定义~~~(语文作业) 热情澎湃的意思 梨花带雨不是诗是什么意思 甲与乙共谋共同杀丙但届时乙因生病而没有前往犯罪地点由甲一人杀死丙乙甲是否构成共同犯罪为什么 澎湃是什么意思啊 毛泽东的《沁园春 长沙》的“怅寥廓,问苍茫大地,谁主沉浮”这一问题的回答是? 构成共同犯罪,主体必须是二人以上,包括二人吗? 为什么夏天的太阳那么强?而冬天的却那么弱?为什么相差那么大? “云麻一号”有毒吗? 梨花带雨.是什么意思? CAD问题,想问下怎么样在一个圆弧上面取点,比如从一个已知点选取一段弧长,比如5M的弧长或十米的就是在一个画好的圆弧上面反他等分,但是不是全部等分,要从一边往为起始然后等发的长度你 彩虹云点播有毒吗? f(x)=(a(x-1)^2+1)/(bx+c-b)(abc为N,f(2)=2,f(3) 人体的各种运动大都是在什么的支配下,骨骼肌牵动骨围绕什么运动而产生的 越南云脚蜘蛛有毒么? 如题,“前不着村, 尐 这个字的拼音是什么? 人类已知最大星球 前不见村,后不着店. 已知半径为10cm的圆上,有一条弧的长是40cm,则该弧所对的圆心角的弧度数是 慈禧太后是个怎样的人物.谈谈你对其历史人物的看法.觉得她是个怎样的领导人.她做的对与错?说出你的见解.如果你有渊博的知识和独特的历史见解,那请你用精辟的语言来形容她. 前()()(),后()()() 成语 如前不着村,后不着店 主板可能被雷击了,具体怎么检测是不是被雷击了啊? 若函数f(x)的定义域为[a,b],且b>-a>0,求函数g(x)=f(x)-f(-x)的定义域 麻烦说一下方法 已知一个多边形的内角等于1440度,则过此多边形的一个顶点有几条对角线,把这个多边形分成几个三角形 人被雷击后死亡 如何证明是雷击所致, 澎湃的意思 梨花带雨是什么意识 一次函数y=kx+b的图像平行于直线y=-2x+3,且图像不经过第三象限,当该图像过点(b,b的平方)时,求该函数解析式 澎湃是什么意思啊啊 梨花带雨什么意思 RO3比RO如何 描写山水原野的成语 二次函数的关键要素是————,————. 为什么下雨打雷时不能在树下躲雨? 独坐敬亭山的主旨 老家 前几年,我曾诌过两句旧诗:“梦中每迷还乡路,愈知晚途念桑梓.”最近几天,又接连做这样的梦:要回家,总是不自由.请假不准,或是路途遥远.有时决心起程,单人独行,又总是在日已西斜 一定条件下,RO3n-和氟气可发生如下反应:RO3n–+F2+2OH-=RO4–+2F-+H2O.从而可知在RO3n–中,元素 澎湃是什么意思? 来龙去脉 莫小米 RO3-+F2+2OH-=RO4-+2F-+H2O反应中R是什么元素 澎湃什么意思? 到目前为止,人类发现的行星、恒星和星系最大的各是什么 为何打雷时不能站在树下?难道站在树下比站在空旷的地方更危险吗? 谁有的英文影评?有急用先谢谢了 醋,水,米水,盐水浇花,哪朵花活得长? 为什么打雷的时候不能站在树下? y=ax的平方+bx+c中,b和c变化会使图像形状发生的变化? 共同犯罪必须区分主从犯吗 胸怀——宽大( ) 潮声——澎湃( ) 唱着——歌声( ) 读着——文章( ) 灵巧的——眼睛( )美丽的——大海( )做事——偷偷摸摸( ) 鼾声——断断续续( ) 二次函数y=ax^2+bx+c的图像过(-1,4),(2,8)两点,且与二次函数y2x^2的图像开口方向相反形状一样,只是位置不求该二次函数表达式是过(2,-8)y2x^2改为y=2x^2 《绝顶》和《天蓝色的彼岸》中深刻的句子和好段(长一点).急其他描写生命的书都行,(写书名和作者)谢啦 韩国人战殁者遗属要求靖国神社取消合祀调查称希腊民众生活质量比经济危机前显以情报部长质疑伊朗谈判诚意 吁美制裁2047年:全球高温临界点?挪威称应联合国要求将协助销毁叙利亚化美专家:进口产品及食品易导致美国儿童俄空降兵部队摸黑赶路不慎引爆炸弹 致日本“无性症候群”涌现 恐陷“绝种”报告称美国600万年轻人无所事事 不安倍7小时长会后品尝软柿子 满足称“法国媒体再曝美国监听法国驻美和联合国安倍称日本拟限制外国人在国防设施附近伊朗死囚受绞刑后未死 司法部长称没必数据显示日韩航路日本乘客骤减 创历史美影院拟设“手机短信专用区”防手机光英14岁少年被控5次性侵 3宗案件发普京指责俄地方政府官员失职导致严重民美秘密窃听法公民惹怒法总统 法紧急召纽约华埠便衣警察扮匪调查抢劫案吓坏金叙总统称叙会议日期未定 联合国特使将奥巴马健保网面临感恩节大限 逾期恐将男孩被玻璃割伤 热心小伙急送医这是夺冠前兆吗? 阿根廷主帅将隐退□漫画世界杯一本资格证在手 国外生活更惬意珍爱家园 别再走污染的老路因一块猪肉 哥哥捅死弟弟罗本 发飙了!昨成品油价格未作调整建阳:朱子归隐处 斜阳带晚晴双胞胎姐妹都斜视 遗传还是后天影响?热水器“喝”井水 受碱腐蚀漏水3天募集近6万福州两技校更名多名初中女生遭“地痞”性侵福建海事上半年 成功救助484人一个人的广场舞甲状腺结节能自愈?台前高官爆料 大陆曾为台发射卫星《变4》中国票房破14亿今年买房好时机将在下半年?砸小区墙开后门 物业拍照被阻
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘