说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

MapReduce谢幕,谁将成为最终的接棒者?

HTML文档下载 WORD文档下载 PDF文档下载
随着需求的增加及各种计算框架的完善,MapReduce亦走下了通用大数据处理引擎这个神坛。那么在未来,谁将异军突起成为下一个接棒者,我们拭目以待。

【编者按】MapReduce,曾Hadoop的杀手级组件,被广泛运用于海量数据分析场景。然而时过境迁,随着新型资源管理器YARN的发布,Spark等各种计算框架的应用场景增多,即使在离线数据处理中,MapReduce亦不乏可与其匹敌的对手。同时,限于其批处理设计,在实时计算中,MapReduce更显狼狈。着眼未来,谁将成为数据处理最终的通用平台尚不得知,但MapReduce的前景已然堪忧。那么,在MapReduce谢幕后,谁又能成为真正的接棒者,近日Andrew J. Brust在Gigaom进行了简要分析。


免费订阅“CSDN大数据”微信公众号,实时了解最新的大数据进展!

CSDN大数据,专注大数据资讯、技术和经验的分享和讨论,提供Hadoop、Spark、Imapala、Storm、HBase、MongoDB、Solr、机器学习、智能算法等相关大数据观点,大数据技术,大数据平台,大数据实践,大数据产业资讯等服务。


下为译文

Hadoop的早期应用以及初次被人们注意都离不开MapReduce,当初,MapReduce是令人敬佩的大数据处理算法。然而时至近日,局势已经发生了明显的变化。随着Hadoop 2.0的发布,MapReduce开始为新技术让步。那么,纵观全局,谁又会成为下一个接棒者?

大数据历史中的MapReduce

初期的MapReduce算法基本是根植于Hadoop核心集群管理设施,大数据先锋们在享受其便利的同时,还必须忍受MapReduce的众多缺点。起先,MapReduce与Hadoop的深度集成也并无不合理之处,因为MapReduce足够强大,可以将数据与查询工作拆分到集群中的多个服务器,并促进机器间的协作,然后得到结果。

然而,这套原理背后存在的问题也显而易见:需要连续、快速的执行多个短查询时,MapReduce的批处理机制并不能对任务进行截取,然后并发执行。Hadoop 2.0引进了YARN作为集群管理层的独立算法,它可以执行MapReduce任务,也可以容纳其他的引擎任务。

Spark的出现

在YARN发展的同时,AMPLab开发了一款基于内存的分布式处理引擎——Spark。Spark可以在Hadoop集群中运行,通过使用内存而非硬盘避免了MapReduce的批处理问题。重要的是,经Hartonworks证实,Spark已具备“YARN Ready”特性。

到目前为止,一切进展都很顺利,YARN提供了一个通用框架,用于批处理与交互引擎在Hadoop集群中处理数据;而Spark作为一种流计算引擎,可利用内存快速处理某些工作负载。

然而其他的Hadoop组件也不容忽视,像是SQL查询层Hive或者数据转换脚本环境Pig,这种依赖于MapRedeuce的组件该如何处理?要如何利用Hadoop的架构转变来改造这些组件呢?

升级

Hortonworks,牵头做YARN的公司,在YARN之外,还创建了一个夹在Hive和Pig之间的组件Tez。Hortonworks将Tez的源代码作为Hive的升级版加进了Apache软件基金会的源码中。

在最新的Hive和Hadoop版本中,用户就可以使用它们的交互性进行迭代查询工作。与此同时,一个包括Cloudera和MapR的行业协会宣布将改进Hive和Pig,以及其他的Hadoop分布式组件,使它们可以直接执行。

共生的敌人

Spark和Tez,两个原本没有什么可比之处的产品,由于受到MapReduce退出及Hadoop主流趋势的影响,突然变成了竞争对手,消费者们应该警惕他们竞争将带来的分裂风险。

内存引擎在一些负载工作中确实能很好地工作,但是让内存引擎来默认执行大部分工作,特别是那些需要PB级(或更高)数据量的工作,似乎很不专业。

面向批处理的MapReduce并非针对企业级设计,YARN、Tez和Spark也都出现了亟待解决的缺陷。讽刺的是,基于相同Hadoop分布式组件上的多种使用方法,却都不是特别适用于企业。

引擎,合并?

如果YARN的开放式架构能够支持多个相似而且重叠的解决方案,那么我们将需要一个针对给定查询的优选程序,让客户更简单的操作。有选择是件好事,但分裂并复杂的选择却并不是件好事。

在20世纪80年代,Unix操作系统出现了严重分裂,并因此阻碍了该操作系统的市场扩展。近些年,Hadoop已经成为了一个数据操作系统,希望它不会重蹈Unix覆辙。

原文链接: Spark and Tez, out of phase(编译/仲浩 审校/魏伟)

移动支付帝国战:谷歌、苹果、Facebook、亚马逊孰胜孰负? 十大响应式Web设计框架 Giraph助力Facebook打造亿万用户间关系链 跪求出名:让应用在App Store中出人头地的12种方式 束文辉:Intel如何玩转OpenStack Facebook社交业务进军中国内地,困难重重 《近匠》透镜:代码级定位,让App性能监控更从容! 联想移动与云新战略 重点深耕企业移动方案 美国高通公司在深圳召开参考设计及无线创新峰会 提供“一站式”整合服务 友盟正式推出消息推送平台 iOS 8新功能再曝光:或推出分屏多任务功能 Framer:开源原型设计工具,巨头们的心头好 亚特兰大峰会精彩看点:软件吞噬世界,OpenStack是变革核心 数据中心基础设施是大数据战略成败的关键 实时大数据分析:网络分析的一种新方法 最新消息:iPhone 6将采用更大、更清晰的1704x960分辨率屏幕 吴毅挺:OpenStack是开源IaaS平台大势所趋的集大成者 做好扁平化设计-交互篇 狙击Google Glass?三星将推基于Tizen系统的Gear Glass GamePlay:跨平台开源3D游戏引擎,黑莓的努力你不懂 “少即是多” 高通QRD大会精华汇总 天云盾:构筑在云端的Web安全防护 解析大数据时代的数据库集群技术 莫里航海图,最早的大数据实践 弥补空缺!HappyFox面向iOS开发者发布开源移动HelpDesk SDK Chitika北美网络流量报告:WP KO黑莓、iOS超Android 《近匠》秦时明月:知名IP光环下的生存之道 微软研究院正式发布编程学习游戏Code Hunt 走近讲师:Memblaze刘爱贵讲述云计算中的闪存应用 【云先锋】ClouDil云方案:PB级大数据解决方案 一周消息树:这是要“发”啊?Google Brain之父正式加盟百度 此类问题如何查询? 请教个问题:每次启动机器都会打开IE跳到我们这边的一个内部网站去,本来启动就慢----火死了,怎么去掉---在注册表了改么? combo控件问题. 问一个关于刚开机的win.com的问题。请高手帮帮忙呀! dbs.Execute "SELECT * INTO 在校学生 FROM [Excel 8.0;DATABASE=" & App.Path & "\MyExcel.xls].[WorkSheet1] "报错,在线等待 请问我如何在注册网站成功后,在exchange中也建立一个与注册网站时同名的帐号呢? ASP(javascript)自动回复问题?? ★★母亲的生日★★ 哪位有没有用spcomm控件进行串口通讯的例子? 大家帮我看看这是用哪个做的? 关于打印... 两路由器的使用方法比较,哪个好些? 在线求助:有没有改变电脑所连的打印机打印属性方向的API函数?多谢 我要送分 设置ejb的几个接口时,我有点弄不明白 有没有什么办法把ACCESS的表打印出来?格式改变一下? 烦啊~~~~ 谢谢!如何让对话框的大小不受屏幕分辩率的影响??? 请问怎样避免多用户同时访问数据库中的表? 简单问题:怎样用url打开一个文档?多谢 怎么控制小数的位数? 这个QQ炸弹好厉害,是什么原理呢? 我的问题怎么老是出现在这个地方。。。。 一个对话框程序调用dll中函数的问题! 请教有关类的扩展 请问WIN2000专业版IIS为什么连接限制是10 急,为什么我的数据库会出现这样的错误? 寻求一个好的全屏翻译软件(在线等候,在线给分) 寻找《编译原理与时间》电子文档下载url 升级了,散分小庆.认识的朋友进来捧个场,不认识的也进来热闹热闹!忠心感谢:-) 奇怪的问题 如何解决在一个表单中多个提交按钮的问题? 请问怎样关闭135端口 Photoshop7.0的一个简单问题,大师们帮帮忙! 关于动态查询的问题? 请问如何验证代理服务器? 超过半个小时不作任何操作就把这个连接KILL掉,改如何做呢? 如何才能做出只存在于托盘栏的程序! 搜集VB绘图源代码,多多益善 北京市里有没有支持asp.net的服务器空间提供吗? GGJJDDMM 帮帮我啊~~~~ 新手的问题--如何作到点击页面中的提交按钮,只刷该页面的DataGrid部分,而其它部分控件值不变?(在线给分) 大家帮忙,要取得客户端的信任,用服务器控件对客户端进行读写文件的资料? 谁说我们要和兄弟会和解了? 一直都是你们在攻击我们,靠还和解?道歉差不多。 版本的差异造成的问题,ADO连接SQL Server。求教!!! 海宜派(NSU Pie) 为什么insert into语句不能完成添加? 在线等一个简单的问题! 能用DOS盘启动然后用GHOST 备分LINUX分区吗?我想备份我的LINUX系统。 SQL中能否用CopyMemory这样的函数??? 我的猫竟拨不上号 水蒸气蒸脸能杀菌吗 海星吃什么 为什么恒星都是轻元素组成为什么太阳上的主要元素是大约70%的氢元素和20%的氦元素? 蒸汽拖把杀菌效果如何? 海星吃什么东西? 朋友在遇到困难的时候我该怎么样安慰他? 英语翻译杨震年已五十余到密愧而出 海星可以吃吗快 用似乎造句,不是比喻句 某机械厂要制作一个容积为17576cm2的无盖正方体过滤水槽,多大面积的钢板 海星爱吃什么? 造句:新鲜①没有变质:②清新的:③少有的,不多见: clamp现在在画什么 海星到底是什么东西? 造句(比较特殊)人类也许(应该从旅鼠身上学到点什么)例如,如果人类(也毫无节制地繁衍下去),也许(有一天不得不走旅鼠的道路).用括号外面的词造句,括号里面的是要补充的部分急 下列哪项不是对细胞内自由水的描述A 吸附、结合在蛋白质等物质上B 能够流动和易蒸发C 是生物体代谢活动的介质D 是良好的溶剂 如何记忆细胞器分工 还有有几层膜 我老是记不住 星云不是由气体和尘埃组成的吗?.那为什么会燃烧呢?如果它没有燃烧,那为什么能发光呢? 对细胞内自由水的下列描述中,错误的是A 含量最多,是细胞结构的主要成分B 是极性化合物能溶解多种极性或离子化合物C 能参与全部水解反应D 能与其他物质结合,转化为结合水求解析TOT答案 记忆B细胞可以继续分裂增殖吗? 关于你的朋友在英语上遇到困难想放弃的一篇劝说信 氧化钙在空气放置硬块状固体,固体的成分是什么? 手偶然碰到针尖时产生的反应是( ) •A.痛和缩手同时出现 •B.先感觉到痛,接着缩手 •C.先缩手,接着感觉到痛 •D.无法确定先后顺序 灼烧不能区别丝和羊毛?郁闷,C.压缩天然气和液化石油气是两类常见的清洁燃料,都属于碳氢化合物 D.用灼烧的方法可以区别丝和羊毛 哪个对?理由,我纠结丝的本质. 海参和海星都属于棘皮动物门吗ma 七大洲的英文单词怎么说啊 还有它们的读音? 羊毛和纯棉可以用灼烧的方法鉴别吗? 为什么人要一只手长五个手指头? 海星是在什么海中生活的动物 下列关于恒星叙述正确的一项是?A恒星都是由炽热的气体组成的能自己发光发热的天体B恒星的质量体积比地球小 C恒星在星空中的位置是固定不变的 英语翻译秦王坚自河东还,以骁骑将军邓羌为御史中丞.八月,以咸阳内史王猛为侍中、中书令,领京兆尹.特进、光禄大夫强德,太后之弟也,酗酒,豪横,掠人财货、子女,为百姓患.猛下车收德,奏未 海星如何生存 蝙蝠是如何看见东西 思月节能灯有在合作的吗?节能灯市场前景好吗? 用典型造句.用典型的2种解释造句,1具有代表性的 2具有鲜明的个性特征 蝙蝠如何看见东西 肺水肿怎么治疗?肺水肿是怎么形成的?该怎么治疗好些或者吃点什么比较好… 水进入细胞是自由扩散还是协助扩散? 我家养了两只蝙蝠、它们吃什么的? 1、在输液的步骤中家兔流血不止,未能及时止血,对实验结果又什么样的影响?2、在输入肾上腺素后直至输完都没出现粉红色泡沫液体从家兔口中或气管插管中溢出,说明什么原因?最终的肺系数 如何补充人体各种所需的营养物质例如买维生素药物,或者像补充蛋白、钙铁锌等等的这些药物,一般人都应该补充哪些,饮食这方面天天吃什么补充营养比较全面,我身体不算强壮,总是想买点 电厂CFB锅炉 煤仓堵煤问题怎样解决注意 震打装置没用 液压疏通没用 空气疏通没用 煤仓内壁加高分子板才没用 希望给点改造建议 家兔实验性肺水肿中各种现象发生的原因是什么? 蔗糖为身体补充的营养素是什么 关于2012年世界末日的说法 发生肺水肿的原因? 圆形水槽里有100厘米深的水,水槽的底面积是300平方厘米.将凌长6厘米的正方体铁块放入水里,水面上升几厘 做平抛运动的物体是处于超重状态还是处于失重状态?还是都不属于? 小鼠实验性肺水肿的实验结论是什么? I like sports.1、变一般疑问句,并否定回答.2、用“Mke is brother”改写句子.3、对sports提问 请问.说是2012.世界末日这种说法是真的吗 手长脚长的人代表什么我的手指和脚趾都超长.所以给人的感觉手和脚都很大.这样的人代表什么? 食用菌的常温消毒炉是怎么造的?他有什么原理? 2000年时也曾有传过世界末日的说法吗?为什么听到别人说曾在2000年时也曾传过有世界末日的说法?我都没听说过呢.可能是当时我太小了,那现在的2012世界末日也只是一种谣言吗?会不会真的是 手会随着人变高而变长吗 食用菌栽培代使用锅炉送气灭菌和土蒸锅直接灭菌的优缺点是什么? 下蹲过程中,人是处于失重状态还是超重状态? 请问一下灭菌后的培养皿有水蒸气可以直接做吗? 请问食用菌灭菌锅炉一般在1700-2000元左右,在哪里能买到,我怎么发现没有这么便宜的 做如下运动的物体,处于失重状态的是(1)加速上升(2)加速下降(3)减速上升(4)减速下降可多选 纽约遭飓风袭击一周年 数千灾民仍无家德国380公斤女子出门就医 消防队出小猫将斗牛犬尾巴当做逗猫棒玩 网友直俄吁欧盟勿逼迫独联体国家在二者之间做突尼斯发生自杀式袭击 造成袭击者自身德国锁定美情报部门窃听站位置 位于使美国安局总监否认曾非法窃取谷歌和雅虎为躲避意大利繁冗昂贵程序 180对夫泰辣椒酱工厂被指呛辣气味扰居民 在美德国派代表团赴美 要求签署协议保证不卡梅伦首次跌出权力榜前十 遭英媒体嘲叙反对派称副总理遭解职或为叙政府“化法国称去年查处医保舞弊诈骗金额超一亿日本参议员当面向天皇递书信 官房长官印度一大客车凌晨起火爆炸 造成睡梦中印度一客车爆炸起火44人死 司机清洁朴槿惠称决不容忍腐败 要求根除核电腐男子扮高富帅专门诈骗按摩女 谎称投资俄罗斯一火山喷发 烟柱高万米持续50媒体曝美全球监听地图 澳大利亚是美监近3成日本大学毕业生3年内离职 疑被大牌们的工匠标准今年年底限行黄标车辽宁名将误服药被罚竟被家人当客人油价明日上调“板上钉钉”微精彩央视《开学第一课》,9月1日记得看“二环西”桥下划线通车启用警用直升机疏导高峰日交通过程公开透明,我们更轻松了劣质汽车贴膜的危害贻笑大方的“土政策”奢侈品或被纳入消费税征收范围韶关驾校学员网上扬言“炸校长”被拘留驻克罗地亚大使申知非拜会克总理新任外驻土库曼斯坦大使肖清华接受中土两国媒一男子驾驶证暂扣期间仍酒驾“中国式幼升小”:愁白了多少家长的头园林书法大讲堂明日开讲日本历史观倒退当受到国际谴责福岛核污水泄漏升至严重等级
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘