说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

MapReduce谢幕,谁将成为最终的接棒者?

HTML文档下载 WORD文档下载 PDF文档下载
随着需求的增加及各种计算框架的完善,MapReduce亦走下了通用大数据处理引擎这个神坛。那么在未来,谁将异军突起成为下一个接棒者,我们拭目以待。

【编者按】MapReduce,曾Hadoop的杀手级组件,被广泛运用于海量数据分析场景。然而时过境迁,随着新型资源管理器YARN的发布,Spark等各种计算框架的应用场景增多,即使在离线数据处理中,MapReduce亦不乏可与其匹敌的对手。同时,限于其批处理设计,在实时计算中,MapReduce更显狼狈。着眼未来,谁将成为数据处理最终的通用平台尚不得知,但MapReduce的前景已然堪忧。那么,在MapReduce谢幕后,谁又能成为真正的接棒者,近日Andrew J. Brust在Gigaom进行了简要分析。


免费订阅“CSDN大数据”微信公众号,实时了解最新的大数据进展!

CSDN大数据,专注大数据资讯、技术和经验的分享和讨论,提供Hadoop、Spark、Imapala、Storm、HBase、MongoDB、Solr、机器学习、智能算法等相关大数据观点,大数据技术,大数据平台,大数据实践,大数据产业资讯等服务。


下为译文

Hadoop的早期应用以及初次被人们注意都离不开MapReduce,当初,MapReduce是令人敬佩的大数据处理算法。然而时至近日,局势已经发生了明显的变化。随着Hadoop 2.0的发布,MapReduce开始为新技术让步。那么,纵观全局,谁又会成为下一个接棒者?

大数据历史中的MapReduce

初期的MapReduce算法基本是根植于Hadoop核心集群管理设施,大数据先锋们在享受其便利的同时,还必须忍受MapReduce的众多缺点。起先,MapReduce与Hadoop的深度集成也并无不合理之处,因为MapReduce足够强大,可以将数据与查询工作拆分到集群中的多个服务器,并促进机器间的协作,然后得到结果。

然而,这套原理背后存在的问题也显而易见:需要连续、快速的执行多个短查询时,MapReduce的批处理机制并不能对任务进行截取,然后并发执行。Hadoop 2.0引进了YARN作为集群管理层的独立算法,它可以执行MapReduce任务,也可以容纳其他的引擎任务。

Spark的出现

在YARN发展的同时,AMPLab开发了一款基于内存的分布式处理引擎——Spark。Spark可以在Hadoop集群中运行,通过使用内存而非硬盘避免了MapReduce的批处理问题。重要的是,经Hartonworks证实,Spark已具备“YARN Ready”特性。

到目前为止,一切进展都很顺利,YARN提供了一个通用框架,用于批处理与交互引擎在Hadoop集群中处理数据;而Spark作为一种流计算引擎,可利用内存快速处理某些工作负载。

然而其他的Hadoop组件也不容忽视,像是SQL查询层Hive或者数据转换脚本环境Pig,这种依赖于MapRedeuce的组件该如何处理?要如何利用Hadoop的架构转变来改造这些组件呢?

升级

Hortonworks,牵头做YARN的公司,在YARN之外,还创建了一个夹在Hive和Pig之间的组件Tez。Hortonworks将Tez的源代码作为Hive的升级版加进了Apache软件基金会的源码中。

在最新的Hive和Hadoop版本中,用户就可以使用它们的交互性进行迭代查询工作。与此同时,一个包括Cloudera和MapR的行业协会宣布将改进Hive和Pig,以及其他的Hadoop分布式组件,使它们可以直接执行。

共生的敌人

Spark和Tez,两个原本没有什么可比之处的产品,由于受到MapReduce退出及Hadoop主流趋势的影响,突然变成了竞争对手,消费者们应该警惕他们竞争将带来的分裂风险。

内存引擎在一些负载工作中确实能很好地工作,但是让内存引擎来默认执行大部分工作,特别是那些需要PB级(或更高)数据量的工作,似乎很不专业。

面向批处理的MapReduce并非针对企业级设计,YARN、Tez和Spark也都出现了亟待解决的缺陷。讽刺的是,基于相同Hadoop分布式组件上的多种使用方法,却都不是特别适用于企业。

引擎,合并?

如果YARN的开放式架构能够支持多个相似而且重叠的解决方案,那么我们将需要一个针对给定查询的优选程序,让客户更简单的操作。有选择是件好事,但分裂并复杂的选择却并不是件好事。

在20世纪80年代,Unix操作系统出现了严重分裂,并因此阻碍了该操作系统的市场扩展。近些年,Hadoop已经成为了一个数据操作系统,希望它不会重蹈Unix覆辙。

原文链接: Spark and Tez, out of phase(编译/仲浩 审校/魏伟)

用Delphi开发“瘦”单机数据库应用系统 用Delphi如何实现VFP中的Cache特性 用Delphi设计数据库应用的几点体会 在我们日常工作中,常会碰到这样一个难题:一大堆-Delphi资料 用DELPHI制作应用软件 用Dephi 程 序 维 护Paradox 数 据 表 的 索 引-Delphi资料 用Dephi程序维护Paradox数据表的索引-Delphi资料 用InstallShield制作数据库应用系统的安装程序-Delphi资料 在BDE中使用ASCII-Delphi资料 在DBMemo中查找文字-Delphi资料 在Delphi 程序中维护DBF 数据库 在Delphi 中 利 用 Tbatch 组 件 完 成 数 据 批 处 理 在Delphi 中使用计算出的字段 在Delphi3 程 序 中自 动 检 测、 建 立 数 据 库 别 名 和 表 格 在Delphi3程序中自动检测、建立数据库别名和表格 在Delphi4 BDE中配置Access数据库 在Delphi5 中修改了Delphi自带的VCL Source文件后怎样重建Delphi的库文 在DELPHI程序中动态设置ODBC数据源 在DELPHI程序中使用ADO对象存取ODBC数据库 在DELPHI程序中自动设置ODBC数据源 在Delphi的DBGrid中插入其他可视组件 在Delphi的Socket编程中如何从服务器向指定的客户机发送信息? 在Delphi动态生成定义数据库 在Delphi中处理数据库日期型字段的显示与输入 在Delphi中简单实现多重查询 在Delphi中建立和使用别名 在DELPHI中使用ADO对象存取ODBC数据库 在Delphi中使用DBF数据 在Delphi中随意控制DBGrid 每一行的颜色 在Delphi中自动检测、建立数据库别名和表格 在存储过程中使用use database-Delphi资料 请问如何去掉测试版软件的“购买”提示框???急急急急!!! 有关获取HTML中Frames的问题? 给分!!!!!啊 给分!!!!!啊!! 给分!!!!!啊!!!!!! 给分!!!!!啊!!!!!!!!!!!!! 给啊!!!!!!!!!!!!! 不是俺蓄意谋两位帮主的反,实在是 ... APPLET连接数据库。。。(我已经每粉了) 千分散尽不复来!!! 千分散尽不复来!!!! 千分散尽不复来!!!!! 千分散尽不复来!! 千分散尽不复来!!!!!!!! 千分散尽不复来!!!!!!!!! 千分散尽不复来!!!!!!!!!!!!! 用分把灌水乐园咽死!!!!! 千分散尽不复来!!!!!!!!!!!!!!!!! 千分散尽不复来!!!!!!!!!!!!!!!!!! 千分散尽不复来!!!!!!!!!!!!!!!!!!! 千分散尽不复来!!!!!!!!!!!!!!!!!!!!! 千分散尽不复来~ 千分散尽不复来~! 请教数据窗口的问题 千分散尽不复来? 千分散尽不复来?! 有LVS_OWNDATA属性的CListCtrl 加图标的问题,25分 在做会员注册时,在添加新数据页,程序一运行就在RS.updata出错,为什么(原程序) 高手请你回答我啦!!!! 我要回家了,第一个给300 哪有msproxy下载????? 请问要怎么样才能在自己写的程序运行时让用户无法使用开始菜单? jdbc的版本 发分!!!!!!!!! 对于初学者,应该学些什么样的数据库? Java的优点 化功大法第一章--散分。 吸星大发第一章--散分 i need help 葵花宝典第一章--散分 求哈密而顿路的算法 我是新手请问下面程序哪错了!为什么提示我有1处错误! ???????????请问怎样将.h连入.CPP中 richtextbox控件的什么方法能实现打字功能 小弟想在假期开始学习PHP不知该从何学起呢? Keyboard stuck key detected 机子启动时出现这样的提示并有F1(设置)或ESC(BOOT) 谁是第100个?!?!?!? :???????????请问怎样将.h连入.CPP中 着火啦!快请来帮帮忙吧!越快越好!!!!! MD,野球拳第一章--散分 那里能搞到Visual FoxPro 写的人事管理的原代码,师弟毕业设计,急需,高分答谢,其它代码也行,只要完整 年龄可以这样表示 30岁 40岁 50岁 60岁 70岁 800乘800等于多少? 3分之22除以三分之四等于? 古代年龄的代称1,二十岁2,三十岁3,四十岁4,五十岁5,六十岁6,七十岁 (200+40)除以4-2= 1除以三分之跟号三等于多少?要详细步骤谢谢了,大神帮忙啊 一个数的80%是40,这个数是多少 一个数是90,它的25%是多少 一个数的50%是40,它的75%是多少甲数是30,它的5分之1与乙数的15%相等,乙数是多少一个数的12.5%是20,这个数的5%是多少一个数是45,它 (1-7/15)x+40=200-x+7x/15.你这里的/表示除以还是? 378*8+21*8+8简算怎们算 一个数减少它的20%后是80,这个数是多少?甲数的25%与乙数的75%相等,乙数是40,甲数是多少? 200+40除40-20,如果要最后算除法,算式应为 ( ) 378*21-378简算 一个数减少它的20%后是80,这个数是多少?帮我做做吧等用谢谢 50吨的20%比80吨少()% ()吨比50吨的20%多20% 200+40除40-20,如果要先算加法,再算除法,最后算减法,算式应为 ( ) 1.一种洗衣机,现在每台550元,比原价涨了150元,价格上涨了几分之几?2.修一条路,第一周修了40%,第二周修了252米,两周共修了这条路的85%,这条路全长多少米?3.一个数增加20%,在减少20%后是80%,这个 25比20多( )% 20比25%少( )% 20是25的( )% 25是20是( )% 30是50的( )% 60是80的( )%去年产粮4吨,今年产粮5吨,今年比去年多产( )%今年比去年多产( )%去年比今年少 按要求在以下一道 200+40÷40-20的算式中的的地方填上小括号1.先算加,在算除,最后减的算按要求在以下一道200+40÷40-20的算式中的的地方填上小括号1.先算加,在算除,最后减的算式是200+40÷40-20 2. 3分之20大于6,小于6,还是等于6 30千克比50千克少( )%?( )米比20米多30%? 200-200÷20+20,如果要先算加法,再算除法,最后算减法,算式应为( ) 什么数乘6等于20分之3 一个数增加它的25%是40,这个数是()? 20除以()=()分之36=():60=百分之8 什么数与6相乘等于20分之3 如果1等于5,2等于10,3等于15,4等于20,那么5等于25还是等于1 八十分之几=二十四分之几=几分之二十五=八分之五=几分之十=五除以八 古人称男子20岁称?30岁称?50岁称?60岁称?70岁称?100岁称? EXCEL2003中,该列数据中大于或等于90时,用A来表示,在80和90之间用B来表示,70和80之间用C来表示ABC在另一列中显示,这是学生成绩统计.急, ( )除以20分之1=( )除以30分之1=( )除以四十分之一=2 古代男子20,30,40,50,60,70,80~90,100岁分别叫什么? 80+12-1等于多少,谢 0.123除以0.15=( )除以15 十岁,二十岁,三十岁,四十岁,五十岁,六十岁,七十岁,八十岁,九十岁,一百岁用古语怎么说? 10+12移动一位数字 怎么能等于 11? 有哪些四位数除以80后小数点后等于0.2 20岁,30岁,40岁,50岁,70岁的人叫什么?【根据60岁的人叫花甲来回答】 甲数比乙数的12倍少20,乙数是80,甲数是多少? 哪个4位数先除以80,再减去整数,剩下的小数(小数点后面的数),乘以80,等于1、3、5 为什么20岁的女人是足球,30岁的女人是篮球,40岁的女人是乒乓球,50岁的女人是高尔 乙数是甲的80%,则甲数:乙数等于():(),如果乙数是20,甲数是多少? 四个数字,先除以八十,再减去其整数,剩下的小数(小数点后面的数字)乘以八十等于三 求这个四位数字帮忙算一下! 20岁30岁40岁50岁60岁70岁的人在古代各自的称谓?称呼 两个自然数的积是492,其中一个数在20和80之间,这两个数分别是多少? 哪个4位数先除以80,再减去整数,剩下的小数(小数点后面的数),乘以80,等于18 二十岁、三十岁、四十岁、五十岁的女人分别叫做什么啊比如说花样年华啊,风韵少妇啊,或者什么什么的, 两个自然数的积是492,其中一个数在20与80之间,这两个数分别是 有一个四位整数,在它的某位数字前面加上一个小数点,再加上一个小数点再与这个四位数相加,得数是2000.81用方程解得数2000.81,两数相加 中国古人分别称10岁、20岁、30岁……是什么呢?就是而立之年、花甲啦…… 两个自然数的积是492,其中一个数再20与80之间,这两个数分别是多少?最好是用五年级的水平来回答! 一个四位数,在它的某一位数字前面加上小数点,在于四位数相加,得2000.81,这个四位数是多少 50,60,70,80,90岁古代语叫什么,比如30岁叫而立,40岁叫不惑? 两个相邻的自然数之积是1980,这两个相邻的自然数是.帮偶 按周易81理数 算手机号吉凶 我的尾数是1280 除以80得16 到底是吉还是凶 古代称男子20为___之年,30岁为____之年,50岁为____之年,60岁为____之年,70岁___之年,100岁为____之年 八十加八十等于多少? 第44页49÷7可以读作(四十九除以七),也可以读作(?). 我国传统把三十岁称为什么 80毫米等于几米 (0.48*0.49*1.5)除以(0.05*0.24*0.7)
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn