说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

MapReduce谢幕,谁将成为最终的接棒者?

HTML文档下载 WORD文档下载 PDF文档下载
随着需求的增加及各种计算框架的完善,MapReduce亦走下了通用大数据处理引擎这个神坛。那么在未来,谁将异军突起成为下一个接棒者,我们拭目以待。

【编者按】MapReduce,曾Hadoop的杀手级组件,被广泛运用于海量数据分析场景。然而时过境迁,随着新型资源管理器YARN的发布,Spark等各种计算框架的应用场景增多,即使在离线数据处理中,MapReduce亦不乏可与其匹敌的对手。同时,限于其批处理设计,在实时计算中,MapReduce更显狼狈。着眼未来,谁将成为数据处理最终的通用平台尚不得知,但MapReduce的前景已然堪忧。那么,在MapReduce谢幕后,谁又能成为真正的接棒者,近日Andrew J. Brust在Gigaom进行了简要分析。


免费订阅“CSDN大数据”微信公众号,实时了解最新的大数据进展!

CSDN大数据,专注大数据资讯、技术和经验的分享和讨论,提供Hadoop、Spark、Imapala、Storm、HBase、MongoDB、Solr、机器学习、智能算法等相关大数据观点,大数据技术,大数据平台,大数据实践,大数据产业资讯等服务。


下为译文

Hadoop的早期应用以及初次被人们注意都离不开MapReduce,当初,MapReduce是令人敬佩的大数据处理算法。然而时至近日,局势已经发生了明显的变化。随着Hadoop 2.0的发布,MapReduce开始为新技术让步。那么,纵观全局,谁又会成为下一个接棒者?

大数据历史中的MapReduce

初期的MapReduce算法基本是根植于Hadoop核心集群管理设施,大数据先锋们在享受其便利的同时,还必须忍受MapReduce的众多缺点。起先,MapReduce与Hadoop的深度集成也并无不合理之处,因为MapReduce足够强大,可以将数据与查询工作拆分到集群中的多个服务器,并促进机器间的协作,然后得到结果。

然而,这套原理背后存在的问题也显而易见:需要连续、快速的执行多个短查询时,MapReduce的批处理机制并不能对任务进行截取,然后并发执行。Hadoop 2.0引进了YARN作为集群管理层的独立算法,它可以执行MapReduce任务,也可以容纳其他的引擎任务。

Spark的出现

在YARN发展的同时,AMPLab开发了一款基于内存的分布式处理引擎——Spark。Spark可以在Hadoop集群中运行,通过使用内存而非硬盘避免了MapReduce的批处理问题。重要的是,经Hartonworks证实,Spark已具备“YARN Ready”特性。

到目前为止,一切进展都很顺利,YARN提供了一个通用框架,用于批处理与交互引擎在Hadoop集群中处理数据;而Spark作为一种流计算引擎,可利用内存快速处理某些工作负载。

然而其他的Hadoop组件也不容忽视,像是SQL查询层Hive或者数据转换脚本环境Pig,这种依赖于MapRedeuce的组件该如何处理?要如何利用Hadoop的架构转变来改造这些组件呢?

升级

Hortonworks,牵头做YARN的公司,在YARN之外,还创建了一个夹在Hive和Pig之间的组件Tez。Hortonworks将Tez的源代码作为Hive的升级版加进了Apache软件基金会的源码中。

在最新的Hive和Hadoop版本中,用户就可以使用它们的交互性进行迭代查询工作。与此同时,一个包括Cloudera和MapR的行业协会宣布将改进Hive和Pig,以及其他的Hadoop分布式组件,使它们可以直接执行。

共生的敌人

Spark和Tez,两个原本没有什么可比之处的产品,由于受到MapReduce退出及Hadoop主流趋势的影响,突然变成了竞争对手,消费者们应该警惕他们竞争将带来的分裂风险。

内存引擎在一些负载工作中确实能很好地工作,但是让内存引擎来默认执行大部分工作,特别是那些需要PB级(或更高)数据量的工作,似乎很不专业。

面向批处理的MapReduce并非针对企业级设计,YARN、Tez和Spark也都出现了亟待解决的缺陷。讽刺的是,基于相同Hadoop分布式组件上的多种使用方法,却都不是特别适用于企业。

引擎,合并?

如果YARN的开放式架构能够支持多个相似而且重叠的解决方案,那么我们将需要一个针对给定查询的优选程序,让客户更简单的操作。有选择是件好事,但分裂并复杂的选择却并不是件好事。

在20世纪80年代,Unix操作系统出现了严重分裂,并因此阻碍了该操作系统的市场扩展。近些年,Hadoop已经成为了一个数据操作系统,希望它不会重蹈Unix覆辙。

原文链接: Spark and Tez, out of phase(编译/仲浩 审校/魏伟)

$.getJSON(url, params, callback)-JQuery API $.getScript(url, callback)-JQuery API $.post(url, params, callback)-JQuery API ajaxComplete(callback)-JQuery API ajaxError(callback)-JQuery API ajaxSend(callback)-JQuery API ajaxStart(callback)-JQuery API ajaxStop(callback)-JQuery API ajaxSuccess(callback)-JQuery API load(url, params, callback)-JQuery API loadIfModified(url, params, callback)-JQuery API serialize()-JQuery API Accordion(settings)-JQuery API activate(index)-JQuery API button(hash)-JQuery API center()-JQuery API $.cookie(name)-JQuery API $.cookie(name, value, options)-JQuery API height()-JQuery API innerHeight()-JQuery API innerWidth()-JQuery API offset()-JQuery API outerHeight()-JQuery API outerWidth()-JQuery API scrollLeft()-JQuery API scrollTop()-JQuery API width()-JQuery API ajaxForm(object)-JQuery API ajaxSubmit(object)-JQuery API clearForm()-JQuery API clearInputs()-JQuery API 这段VB程序如何用VC实现啊? 华中师范大学计算机科学系9701班 向建刚 请进! 送分啦——————!怎么在鼠标移动到toolsbar上的每个按钮时现实hint提示?? 帮我一下 我的程序在anywhere中好用,在sqlserver中取出的数据就不对,为空值(我用cursor就这样,用sql语句取出来没错 ) 怎样做一个SCO UNIX 和 NT4 的双操作系统? 请高手编个鼠标移动的小程序,送分 360 。。。谢谢关注 菜鸟求救!!! LoadStr()怎么用? 哪里有制作VCD开始时那个选歌菜单的软件!( 请问在VB里把二进制数据转成字符串的函数是什么?谢谢 紧急求助,各位进来帮我看看!! #####很简单的问题,怎样在EXCEL中冻结窗口 紧急求助,各位大虾进来帮我看看!! 像《金山词霸》、《东方大典》等一样能说(朗读)中文! 屏蔽消息的麻烦………………求助高手 请教高手,数据库恢复的问题! 请问有没有解决d6在win98无法显示帮助索引问题的方法? 请问各位大侠关于COM的问题? 我想用可视化的Java工具VisualCafe,哪里有不限制版?或有正版注册码? 各位,我现在的操作系统是win2k professional 我现在想运行.jsp程序。我应该有什么样的准备。用什么工具做jsp.服务器怎么配置。这些东西都那里去下载。请指点。不胜感激! 急,listbox的columns设置为大于1后,它的这几个列怎样添加字符 一个弱智的问题: 怎样判断实例是否存在?? 再议 在VB中如何创建三层结构的应用程序 紧急问题!Crystal Report是否不支持中文的? 如何得到系统的开关机时间(在WIN2K下)???急 怎么实现这种嵌套的查询结果?(急急求救) 对象的handle,hwnd和指向此对象的指针之间是什么关系??? JavaBean+jsp+Tomcat4.0?把我搞醉了 一个非常棘手的问题,都吃不下,睡不着了,帮忙啊,分不够的话,再开数贴。 高分请问:会跳舞(有音乐)的圣诞老人(玩具,大约有电脑显示屏一般高度)在上海买多少钱,急急急 已有CBitmap m_Bitmap,如何求对应的HDIB 在音乐文件中加入一个代码…… 这种情况下如何用进程条控件? 看了一通sps的sdk,看的我头大的不得了,看来英语还是不过关阿 我要把格林威治平时转换成当地时间用什么函数呢???? 用SQL语句显示记录集中的倒数200条记录,及显示从第几条到第几到的记录?? 问:vb.net采用的是c#,那么在ms.net里面到底有没有visual c#.net??? 高手请进!ADO问题 给我已给在javabean里面使用HttpServletRequest对象的例子好吗?谢谢你了,具体到里面看看可以吗? 在office2000中打印来自matlab53的图形,总是提示word内存不足,word自行关闭。请问为何? 开开关关的窗口 用VC编写操纵数据库方面的COM组件有前途吗? 请问如何将CString中的字符串赋给char* ADODB.Connection问题,急!! 急急! 在javabean里面使用HttpServletRequest对象的例子好吗?谢谢你了,具体到里面看看可以吗? 河南的程序员考试成绩出来了没有?都快把大家急疯了! 一个类的四个问题?this指针等等,欢迎大家的光临。 请大家帮个忙!我的PARADOX数据库有660M,但是在读取的时候出现‘BLOB HAS BEEN MODIFIED‘!! 请问哪里有ado数据库引擎下载,谢谢~! 快车和慢车同时从相距1200km的两地相向开出,快车每小时行65km,慢车每小时行45km,几小时后两车相距430km 阿拉伯人种是什么,大多数为什么人? 两列火车同时站从甲乙两站相向而行.第一次相遇在离甲站40Km的地方.…… A、B两地相距600千米,一列慢车从A地开出,每小时行80千米,一列快车从B地开出,每小时行120千米两车同时开出 ①若同向而行,出发后多少小时相遇?②若向背而行,多少小时后,两车相距800米?③若两 AB两地相距480千米,一列慢车从A地开出,每小时行60千米,一列快车从B地开出,每小时行65千米.若两车同时开出,相向而行x小时相遇若两车同时开出,向背而行x小时后两车相距620千米慢车先开出一 阿拉伯人为什么有钱 A、B两地相距600千米,一列慢车从A地开出,每小时行80千米,一列快车从B地开出,每小时行120千米.两车同开出.若两车同向而行,慢车在快车后面,多少小时后,两车相距7610千米?对不起打错了是 两车 快车与慢车相距甲乙两地550千米,快车每时行65千米,慢车每时行45千米.两车开出几小时后相遇 AB两地相距300KM,甲乙两车从A地开往B地,当甲距离B地40KM时,乙距离B地50KM,当甲到大B地时,乙距离B地还有多少公里?怎么解 一个圆锥形麦堆,底面周长是31.4m,高是2.4m,如果把这堆小麦放入一个粮仓,只占粮仓容积的九分之二,这个粮仓的容积是多少立方米?各位好汉、美女、8托了! A.B两地相距480千米,一列慢车从A地开出.每小时60千米.一列快车从B地出发.每小时65千米.1.两车同时开出,相向而行,X小时遇,则列方程是—?2..两车同时开出,向背而行,X小时之后,2车相距620千米,则 阿拉伯人属于哪种肤色的人?是白种人,还是黄种人?或者其他 AB两地相距600千米,一列慢车从A地开出,每小时行80千米,一列快车从B地开出,每小时行120千米(1)若两车同向而行,快车在慢车后面,多少小时后,快车追上慢车?(2)若两车同向而行,慢车在快车 你为什么喜欢松鼠在哪些方面? 阿拉伯人属于什么种人 已知A、B两地相距600千米,一列慢车从A地开出,每小时行80千米,一列快车从B地开车同时开出.(1)若两车同向而行,快车在慢车后面,多少小时后,快车追上慢车?(2)若两车同向而行,慢车在快车后面 ab两地相距360千米,甲乙两辆汽车分别从ab两地出发相向而行,4h相遇,甲的速度为每小时50km,设乙的速度为x,列方程 一个澡盆大致是长方体,长,宽,高分别约为1.2m,0.5m,0.3m最多能装多少千克的水?多 已知A.B两地相距600千米,一列慢车每小时80千米,一列快车每小时行120千米.若两车都按从A到B的方向行驶,多少个小时后,两车相距760千米 甲乙两辆汽车分别从ab两地同时相向而行,已知甲车的速度是乙车的3/4他们在离两地中点的2km处相遇,求ab两地的距离? 一个澡盆大致是长方体 长 宽 高分别约1.2M 0.5M 0.3M 最多能装多少千克水? 松鼠吃什么东西 一个圆锥形的小麦堆,底面周长是12.56米,高是3米,现在把这些小麦放到圆柱形的粮囤中去,恰好占这粮囤容积的百分之八十.已知粮囤底面的周长是12.56米,求这个粮囤的高 一个澡盆大致是长方体,长宽高分别是1.2m,0.5m,0.3m,它最多能装多少千克的水? 松鼠吃食物的描写 《跑进家来的松鼠》中的松鼠有哪些生活习惯 甲乙两辆车汽车从a.b两地相对而行,甲车每行60km,乙车每小时行50km,两车在距离中点40km的地方相遇,这时两辆汽车各行了多少小时 松鼠怎么吃东西 松鼠它昼夜生活习惯有什么不同 ab两地,两车相对而行,甲车每小时60km,乙车每小时50km,两车距中点40km相遇,两辆汽车个行几小时? 关于魔王松鼠的食物我家这边的山上有好多的松鼠,非常的惹人喜爱,我想诱捕一只回来饲养,请问松鼠最爱吃什么啊,我用什么当诱饵啊? 告诉我有关松鼠的神态,饮食和生活习惯 结合材料说说古代阿拉伯人能创造出灿烂的伊斯兰文明的原因 1、甲乙两地相距240千米,从甲站开出一列慢车,速度为每小时80千米,从乙站开出一列快车,速度为每小时120千米.(1)若两车同时开出,背向而行,经过多长时间两车相距540千米?(2)若两车同时 甲乙两车同时从ab两地出发相向而行,甲车的速度是50Km/h,经过3h后相遇.甲乙两车行驶的路程之比是3比2,问甲乙两地相距多少Km,用比例解决问题. 甲乙两辆车从a地出发开往b地甲车行50km,乙车出发,甲每小时60km,乙每小时80km,乙车几小时后追上甲su du用方程 甲乙两地相距480千米,一列慢车从甲地出发速度为80千米每小时,一列快车从乙地开出速度为120千米每小时,1.如果两车相向而行,在他们同时开出xh(未相遇)时,两车相距多少千米? 甲,乙两车分别从AB两地同时相向开出,甲,乙两车的速度比是4:5,当两车在途中相遇时,甲车比乙车少行30千米.求A,B两地的距离. 古代伊斯兰文化有哪些方面的突出成就? 甲、乙两地相距210千米,从甲站开出一列慢车,速度为80千米/时;从乙站开出一列快车,速度为120千米/时.1) 如果两列火车同时开出,相向而行,多少时间可以相遇?2)如果两列火车同时开出,同向 1.一个圆锥形的小麦堆,底面周长是 12.56米,高是2.7米,现在把这些小麦放到圆柱形的粮囤中去,恰好占这粮囤容积的78.5%.意志粮囤底面的周长是9.42米,求这个粮囤的高?(得数保留两位小数)2.一 从地理的角度,简要阐述古代阿拉伯人为什么能够在短短的一二百年的时间里创造出光辉灿烂的伊斯兰文化? 1.甲乙两地相距240千米,从甲站开出一列慢车,速度为80千米/时;从乙站开出一辆快车,速度为120千米/时4)如果两列火车同时开出,同向而行(快车在后),那么经过多长时间快车可以追上慢车?设 松鼠吃什么啊 伊斯兰教的产生与阿拉伯人的扩张有什么关系 底面周长1.6m,高0.7m 写公式写出个圆柱的侧面积(写公式)1.底面周长1.6m,高0.7m2.底面半径是3.2dm,高5dm 松鼠能吃吗 古代阿拉伯伊斯兰教文化有哪些成就 松鼠身上有细菌吗? ab两地相距60千米,甲乙两人分别从ab两地同时相向而行,已知甲的速度为40km,已的速度为30km甲乙两人出发()小时时两人相距40km0.2还是2/7? 一个澡盆大致是一个长方体,长,宽,高分别约为1.2m,0.5m,0.3m,最多能装多少千克的水? 某同学在归纳细菌,松树,松鼠的生态系统各层次时列出了下表细胞 组织 器官 系统 个体 种群细菌 具有 具有 不具有 不具有 具有 具有 群 生 生松树 具有 具有 甲乙两车从ab两地相向而行,甲车每时行60千米,乙车的速度是甲车的五分之四甲乙两车从ab两地相向而行,甲车每时行60千米,乙车的速度是甲车的五分之四,经过六分之五小时后两车相遇,AB 一个澡盆大致是长方体,长、宽、高分别约为1.2m、0.5m、0.3m,它最多能装多少千克的水? 松鼠吃什么的? 一个圆柱形油桶,底面周长是12.56dm,高15dm.如果每升油重0.69千克,这桶油重多少千克 一个澡盆大致是长方体,长,宽,高分别是1.2m,0.5m,0.3m它最多能装多水. 细菌和松鼠和松树 西亚的阿拉伯人属于____种人 一个澡盆大致是长方体,长,宽,高分别约为1.2m,0.5m,0.3m ,最多能装多少千克的水?
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn