说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

MapReduce谢幕,谁将成为最终的接棒者?

HTML文档下载 WORD文档下载 PDF文档下载
随着需求的增加及各种计算框架的完善,MapReduce亦走下了通用大数据处理引擎这个神坛。那么在未来,谁将异军突起成为下一个接棒者,我们拭目以待。

【编者按】MapReduce,曾Hadoop的杀手级组件,被广泛运用于海量数据分析场景。然而时过境迁,随着新型资源管理器YARN的发布,Spark等各种计算框架的应用场景增多,即使在离线数据处理中,MapReduce亦不乏可与其匹敌的对手。同时,限于其批处理设计,在实时计算中,MapReduce更显狼狈。着眼未来,谁将成为数据处理最终的通用平台尚不得知,但MapReduce的前景已然堪忧。那么,在MapReduce谢幕后,谁又能成为真正的接棒者,近日Andrew J. Brust在Gigaom进行了简要分析。


免费订阅“CSDN大数据”微信公众号,实时了解最新的大数据进展!

CSDN大数据,专注大数据资讯、技术和经验的分享和讨论,提供Hadoop、Spark、Imapala、Storm、HBase、MongoDB、Solr、机器学习、智能算法等相关大数据观点,大数据技术,大数据平台,大数据实践,大数据产业资讯等服务。


下为译文

Hadoop的早期应用以及初次被人们注意都离不开MapReduce,当初,MapReduce是令人敬佩的大数据处理算法。然而时至近日,局势已经发生了明显的变化。随着Hadoop 2.0的发布,MapReduce开始为新技术让步。那么,纵观全局,谁又会成为下一个接棒者?

大数据历史中的MapReduce

初期的MapReduce算法基本是根植于Hadoop核心集群管理设施,大数据先锋们在享受其便利的同时,还必须忍受MapReduce的众多缺点。起先,MapReduce与Hadoop的深度集成也并无不合理之处,因为MapReduce足够强大,可以将数据与查询工作拆分到集群中的多个服务器,并促进机器间的协作,然后得到结果。

然而,这套原理背后存在的问题也显而易见:需要连续、快速的执行多个短查询时,MapReduce的批处理机制并不能对任务进行截取,然后并发执行。Hadoop 2.0引进了YARN作为集群管理层的独立算法,它可以执行MapReduce任务,也可以容纳其他的引擎任务。

Spark的出现

在YARN发展的同时,AMPLab开发了一款基于内存的分布式处理引擎——Spark。Spark可以在Hadoop集群中运行,通过使用内存而非硬盘避免了MapReduce的批处理问题。重要的是,经Hartonworks证实,Spark已具备“YARN Ready”特性。

到目前为止,一切进展都很顺利,YARN提供了一个通用框架,用于批处理与交互引擎在Hadoop集群中处理数据;而Spark作为一种流计算引擎,可利用内存快速处理某些工作负载。

然而其他的Hadoop组件也不容忽视,像是SQL查询层Hive或者数据转换脚本环境Pig,这种依赖于MapRedeuce的组件该如何处理?要如何利用Hadoop的架构转变来改造这些组件呢?

升级

Hortonworks,牵头做YARN的公司,在YARN之外,还创建了一个夹在Hive和Pig之间的组件Tez。Hortonworks将Tez的源代码作为Hive的升级版加进了Apache软件基金会的源码中。

在最新的Hive和Hadoop版本中,用户就可以使用它们的交互性进行迭代查询工作。与此同时,一个包括Cloudera和MapR的行业协会宣布将改进Hive和Pig,以及其他的Hadoop分布式组件,使它们可以直接执行。

共生的敌人

Spark和Tez,两个原本没有什么可比之处的产品,由于受到MapReduce退出及Hadoop主流趋势的影响,突然变成了竞争对手,消费者们应该警惕他们竞争将带来的分裂风险。

内存引擎在一些负载工作中确实能很好地工作,但是让内存引擎来默认执行大部分工作,特别是那些需要PB级(或更高)数据量的工作,似乎很不专业。

面向批处理的MapReduce并非针对企业级设计,YARN、Tez和Spark也都出现了亟待解决的缺陷。讽刺的是,基于相同Hadoop分布式组件上的多种使用方法,却都不是特别适用于企业。

引擎,合并?

如果YARN的开放式架构能够支持多个相似而且重叠的解决方案,那么我们将需要一个针对给定查询的优选程序,让客户更简单的操作。有选择是件好事,但分裂并复杂的选择却并不是件好事。

在20世纪80年代,Unix操作系统出现了严重分裂,并因此阻碍了该操作系统的市场扩展。近些年,Hadoop已经成为了一个数据操作系统,希望它不会重蹈Unix覆辙。

原文链接: Spark and Tez, out of phase(编译/仲浩 审校/魏伟)

Swift没有异常处理,遇到功能性错误怎么办? 基于Python的测试驱动开发实战 不能守株待兔!移动互联网时代:产品找用户 淘汰传统屏幕,虚拟现实新纪元何时开启? 《近匠》SENSORO CTO赵东炜:解密iBeacon生态 我由Angular转向React,为什么? 产品设计中的九个注意事项 昂贵、复杂、不可靠!智能家居产品的尴尬现状 Facebook的CIO都做些什么? 穷游网CTO黄向阳:成果与价值是最好的驱动力 2015移动游戏行业方向标:创业者必须关注的几个领域 基于Python的行为驱动开发实战 面向WP和Android!微软车库发布多款免费应用 GRPC:谷歌发布的首款基于HTTP/2和protobuf的RPC框架 革命,就是现在!——CES 2015行纪 HTML5游戏引擎排行榜 Construct 2最受欢迎 2015手游营销新趋势:电视广告,及其投放逻辑 详解下一代开源混合应用框架Reapp 应用内一键交易!Google公布Android Pay项目 Timehop为什么要放弃Rails,转向Go? 无线充电技术走入客厅 宜家推出“Home Smart”系列 发布仅一年,虚幻引擎4宣布完全免费! HTML5初学者福利!11个在线学习网站推荐 Qualcomm发布Snapdragon 820与超声波指纹识别技术 App Store应用僵尸化:没品质没资本的必然走向 Unity 5正式发布:支持21种平台、个人版免费! 创新高性能移动UI框架——Canvas UI 框架 取精华、去糟粕!适合iOS开发者的15大网站推荐 Swift如何优化性能? 【程序员电子刊精选】明道CEO任向晖:企业也需要养成好习惯 你信吗?重构软件并不会改善代码质量 php下的xml问题? 内部网TCP/IP失效问题求解!在线等候 怎样将有scroll的form全部抓成图片?我用GetFormImage只能抓屏幕上显示的部分,请帮我。高分求助!不够再加!! 客户端的函数怎么样用客户端用户输入的信息... 怎样改变MC的颜色。 病毒邮件。请问有什么办法解决 帮帮我这个菜鸟! PCI Device 驱动程序? 救我吧. link的时候提示cannot open file "mfc42u.lib"的问题。怎么解决? 如何才能上网呢 请问如何重绘一个应用程序的窗体或内部 Object 的边缘,就像 SPY++ 的 FindWindow Tool 实现的样式?? 救救我,给100分 NT4.0为主域控制器,有办法降级为独立服务器吗? VBA 如何调用 DotNet's WebService ?? dbexpress为什么在插入带自增长字段时候出错? 为什么不同的查询语句会有不同的效率? 我现在要开发一个游戏大厅,谁能帮我提供一些技术参数>?在线等待。 不是水贴:请求帮助,有上海师范大学的请进 紧急!那位有clearcase winnt 4.2 的注册码,高分相送!!!!! 论坛的表格要在注意什么?《我是个菜》 大家帮忙介绍一本书 帮帮我怎么把系统还原占用的空间还给我——老鸟们帮忙! 过滤问题:Query需要先选择一个表(通过ComboBox)然后从2个Edit内输入两个条件 关于stringgrid的翻页问题 寻找电脑方面的朋友 大家好,帮忙做做这题 大家如何保存自己地提问?? JTable怎样一行一行地显示? 我的程序 无边框窗口显示问题 求教各位大虾 VB数据库 如何知道某字段有这个姓名记录? 我想学一种C++的集成环境,是C++BUILDER还是VC 我完全没基础,请帮我走出第一步:汇编工具在哪下载?我想试试那个“两只老虎” 如何在还原Cookie中的中文字? 制做彩色立体阴影怎么做啊! 我的程序 请问有没有这样的公司? 2000 server 无法使用ADSL????? 我要和她分手。。。。。。。。 一个不错的网站,进来看一下吧! map 使用的几个小问题 請大家幫我做這個的標準譯文,謝謝!!! 就像做考題一樣,不要只說它在概意思! 新手上路第一问!Hello World都不能运行 这样的SQL语句怎样转化成能在mysql下运行的 学汇编,应用在什么地方?单从功能来说,汇编强大还是C++强大 replace语句的使用方法: 一个不错的网站,进来看一下吧! 关于软加密的问题???? 左键盘123456789上的符号怎么打谢谢了,大神帮忙啊谁知道做键盘1234567890上面的符号怎么才可以打出来 石灰水和氯化铜溶液反应的离子方程式详细过程, 表2是从表1中截取的一部分,则a=多少 用质量2字组成语大神们帮帮忙请用质量2字组词、 比如:质量过期 质量保证 质量安全 组这样的、越多越好 与维持内环境稳态无关的A.剧烈运动时血液中的乳酸上升B.干渴时尿量明显减少C.人少量失血后,血量很快恢复正常D.炎热的夏天,人体内产生的热引起发汗而使体温不至于上升我们老师说选A,可 地球怎么会产升呢?我们生活在地球上,但奇怪的是,为什么地球一开始就存在呢? 向200mlNa2SO4和Na2CO3的混合液加入过量的BaCl2溶液,得到10.57g白色沉淀,加入过量的稀硝酸,处理后沉淀量减少到4.66g,并有气体放出,(1)原混合溶液中Na2CO3和Na2SO4的物质的量浓度(2)产生的气体在 自己怎么区别到底是藏银还是925银呢? 电影 造地球我在电视上看过一点,就是地球上的人都死了,就有一个人还活着,然后发生一系列的事情最后有个人又重造了地球,这是什么电影啊 有关化合价的问题氯在什么化合物中呈+2 +3 +4 +5 +6 +7价Br和I在什么化合物中呈-1 +1 +3 +5 +7价Mn在什么化合物中呈+1 +2 +3 +4 +5 +6 +7价如有知者,速请告知, 藏银、苗银、925银有什么区别?哪一种好一些?怎样知道是否是真货? 在造一个地球 有关化合价的题M元素和氧形成的化合物为MxOy,如果保持M的化合价不变则M与氯形成化合物化学式为______,与硫形成化合物化学式为______, 在任意三角形ABC中有一点P使得2AP+BP+CP最小最好有图.. 盐溶液的电离程度大小怎么判断? 关于化合价的问题,O的化合价为-2,是不是也就是说在O在反应中要得到两个负电荷?和O反应的那种物质是不是就一定要失去两个负电荷?为什么?能不能进一步解释一下化合价的具体意义? 在等腰直角三角形ABC中,∠BAC=90°,连接AD,求证BP的平方+CP的平方=2AP的平方P在B,C之间 万智牌 什么算生物咒语 化合价和什么有关? 澄清石灰水与氯化铜反应离子方程式 地球是谁造的? 请按提示写几条提示语1 草坪(运用拟人手法)2 保护耕地(运用名言)3 4 图书馆5 教学楼 为什么我家的插座零线与地线之间有70V电压,而且火线与地线之间只有160V电压? 石灰水与氯化铜的反应有离子方程式吗 怎么写环提示语 Ca(ClO)2能改写吗 氯化铜溶液为什么不能和氢氧化铁反应 什么盐不溶于酸和水,具体点 由水电离出的[H+]或[OH-]均为10^-12时,溶液可能为酸溶液,也可能为减溶液,为什么呢?在常温下,两者乘积=10^-14 为什么浓度会相等? 一道题问xxx的化合价为_____.这个时候,这个空需要些是+?价,还是直接写+?,加不加‘’价”这个字? 某化合物在25°C时溶解度为25克,要制的该温度下的饱和溶液250克,则需水和该化合物各几克?要有运算过程 万智牌共有几个系列 氯化铜和盐酸化学反应式 氢氧化铁和氢气化学反应式A+HCl→CuCl2+H2O 这里A是什么? 铜的化合物的溶解性 万智牌的几个问题1.先指定目标,目标再被(瞬间)带辟邪,目标合法么?2.在生物发动启动式异能进入堆叠时,被点死异能的效果会执行么?3.移转多个目标的咒语时,是改变所有目标还是其中一个? 化合价基本练习题Na2FP03.已知F为-1价那么P的化合价为多少怎么做的详细点.讲得好的另外加分,一定要说明白点本人很笨.还有不是说化合价和不为零就交叉拉化合价吗? 自己的父亲.应该个病句吧.为什么不直接说父亲,而是要加上自己的呢? 万智牌如何加速 关于化合价的试题 描写绿色湖水的四字词语求大神帮助 大神帮下忙,心累、孤单,也要坚持.汉译英 问几个化合价亚硝酸根 亚硫酸根 的化合价 有关高一的氧化还原反应!在氧化还原反应中,+2价的Cu比+2价的Fe氧化性强,Fe比Cu还原性强! 姚什么魏什么成语 1、氯元素有多种化合价,他在高氯酸中线最高价,则高氯酸的化学式为2、下列5种物质中均含有碘元素,他们按下列顺序排列,(1)KI (2)I2 (3)HIO (4)X (5)NAiO4根据这种排列规律A、Agl B、NA 中国金融书网怎么样 姚什么魏什么 打一颜色成语 收入分配改革方案什么意思内容详解. 黑洞的出口是白洞吗? 什么魏什么赵的成语 细胞凋亡对内环境稳态的影响为什么说细胞凋亡能保证内环境稳态?稳态的概念是通过调节作用啊? 数字123456789语文字怎么写 带魏的成语 PH计不稳定怎么弄 经典的悲伤语段100字左右求大神帮助一些悲伤的爱情经典语段,但又不要太明显是讲的是爱情,100字左右.很急很急…… 人体内对内环境稳态起调节作用的系统是 【化学】问一个有关化合价的问题今天看重难点手册 看到这样一个化合物 O3F2(二氟化三氧?) 不是O和F都没正价么?那这个化学式的化合价怎么回师呀? 什么是化合价啊? 请从下列词语中至少选用四个以上的词语,写一段以“云”为话题的文字,要求用上一种修辞手法(50字以内)峰峦 预兆 轻盈 匀称 崩塌 弥漫 一霎间 姿态万千 变化无常 PH计不稳定,数值老变,怎么办?就是PH计不管是测蒸馏水还是其他的标准溶液还是样品溶液都不稳定 ,数值一直变动…… “今日中国 中国电影周”于曼谷开幕国新办副主任崔玉英谈德国“中国西藏文河北宣化600年古城墙被开凿成窑洞 综述:反击霸王条款 消保法修改强化经美国消费者信心10月份大跌美国8月份企业库存环比上升0.3%韩国否认容忍日本推进解禁集体自卫权北京58项措施控制机动车排污 201埃及穆兄会领袖庭审 3名法官开审前请美国9月商品零售额环比下降0.1%埃及穆兄会领导人案庭审法官辞职一武装直升机在莫斯科市区坠毁走近维纳斯故乡――访塞浦路斯能源商工泰国会将二读审议特赦条例草案埃及穆兄会领袖庭审 3名法官开审前请飓风袭击德国致多地交通瘫痪 乘客被困波兰国家法律顾问称该国养老金制度改革一架直升机在莫斯科坠毁 未致地面人员埃及穆兄会领袖案开审 三名法官请辞俄罗斯总理说“俄入世崩溃论”未成真强风暴席卷北欧地区 造成大面积交通瘫取钱起纠纷 两男子挨刀中央3184辆公车将拍卖 官员谈如何比利时击毙俩恐怖嫌疑人恒大出手再引强援端粒酶 抗衰老 健康长寿不足奇恒大出手再引强援《词典》记忆出租房受损 中介赔了1万多历史10道样题 两道涉传统文化爸爸的“雅趣”别迷信玛卡它只是一种菜《鸟人》领跑奥斯卡提名“京考”公布分数线收官盛典听大佬说青春来自法国普罗旺斯的茶人政治局常委会听取党组汇报口碑公司高管有偿删帖受审希拉里·哈恩献技大剧院蓝天下的壮美全视频之夜EXO成大赢家 连唱三曲受男子露头就被警棍打中人质被成功解救
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘