说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

MapReduce谢幕,谁将成为最终的接棒者?

HTML文档下载 WORD文档下载 PDF文档下载
随着需求的增加及各种计算框架的完善,MapReduce亦走下了通用大数据处理引擎这个神坛。那么在未来,谁将异军突起成为下一个接棒者,我们拭目以待。

【编者按】MapReduce,曾Hadoop的杀手级组件,被广泛运用于海量数据分析场景。然而时过境迁,随着新型资源管理器YARN的发布,Spark等各种计算框架的应用场景增多,即使在离线数据处理中,MapReduce亦不乏可与其匹敌的对手。同时,限于其批处理设计,在实时计算中,MapReduce更显狼狈。着眼未来,谁将成为数据处理最终的通用平台尚不得知,但MapReduce的前景已然堪忧。那么,在MapReduce谢幕后,谁又能成为真正的接棒者,近日Andrew J. Brust在Gigaom进行了简要分析。


免费订阅“CSDN大数据”微信公众号,实时了解最新的大数据进展!

CSDN大数据,专注大数据资讯、技术和经验的分享和讨论,提供Hadoop、Spark、Imapala、Storm、HBase、MongoDB、Solr、机器学习、智能算法等相关大数据观点,大数据技术,大数据平台,大数据实践,大数据产业资讯等服务。


下为译文

Hadoop的早期应用以及初次被人们注意都离不开MapReduce,当初,MapReduce是令人敬佩的大数据处理算法。然而时至近日,局势已经发生了明显的变化。随着Hadoop 2.0的发布,MapReduce开始为新技术让步。那么,纵观全局,谁又会成为下一个接棒者?

大数据历史中的MapReduce

初期的MapReduce算法基本是根植于Hadoop核心集群管理设施,大数据先锋们在享受其便利的同时,还必须忍受MapReduce的众多缺点。起先,MapReduce与Hadoop的深度集成也并无不合理之处,因为MapReduce足够强大,可以将数据与查询工作拆分到集群中的多个服务器,并促进机器间的协作,然后得到结果。

然而,这套原理背后存在的问题也显而易见:需要连续、快速的执行多个短查询时,MapReduce的批处理机制并不能对任务进行截取,然后并发执行。Hadoop 2.0引进了YARN作为集群管理层的独立算法,它可以执行MapReduce任务,也可以容纳其他的引擎任务。

Spark的出现

在YARN发展的同时,AMPLab开发了一款基于内存的分布式处理引擎——Spark。Spark可以在Hadoop集群中运行,通过使用内存而非硬盘避免了MapReduce的批处理问题。重要的是,经Hartonworks证实,Spark已具备“YARN Ready”特性。

到目前为止,一切进展都很顺利,YARN提供了一个通用框架,用于批处理与交互引擎在Hadoop集群中处理数据;而Spark作为一种流计算引擎,可利用内存快速处理某些工作负载。

然而其他的Hadoop组件也不容忽视,像是SQL查询层Hive或者数据转换脚本环境Pig,这种依赖于MapRedeuce的组件该如何处理?要如何利用Hadoop的架构转变来改造这些组件呢?

升级

Hortonworks,牵头做YARN的公司,在YARN之外,还创建了一个夹在Hive和Pig之间的组件Tez。Hortonworks将Tez的源代码作为Hive的升级版加进了Apache软件基金会的源码中。

在最新的Hive和Hadoop版本中,用户就可以使用它们的交互性进行迭代查询工作。与此同时,一个包括Cloudera和MapR的行业协会宣布将改进Hive和Pig,以及其他的Hadoop分布式组件,使它们可以直接执行。

共生的敌人

Spark和Tez,两个原本没有什么可比之处的产品,由于受到MapReduce退出及Hadoop主流趋势的影响,突然变成了竞争对手,消费者们应该警惕他们竞争将带来的分裂风险。

内存引擎在一些负载工作中确实能很好地工作,但是让内存引擎来默认执行大部分工作,特别是那些需要PB级(或更高)数据量的工作,似乎很不专业。

面向批处理的MapReduce并非针对企业级设计,YARN、Tez和Spark也都出现了亟待解决的缺陷。讽刺的是,基于相同Hadoop分布式组件上的多种使用方法,却都不是特别适用于企业。

引擎,合并?

如果YARN的开放式架构能够支持多个相似而且重叠的解决方案,那么我们将需要一个针对给定查询的优选程序,让客户更简单的操作。有选择是件好事,但分裂并复杂的选择却并不是件好事。

在20世纪80年代,Unix操作系统出现了严重分裂,并因此阻碍了该操作系统的市场扩展。近些年,Hadoop已经成为了一个数据操作系统,希望它不会重蹈Unix覆辙。

原文链接: Spark and Tez, out of phase(编译/仲浩 审校/魏伟)

继七年iPhone、四年iPad后,苹果的下一城:Healthbook 普元CTO焦烈焱:专注于基础软件 在Spark上的深入实践 Python 3.4.0正式发布 未添加任何新语法特性 谷歌受困邮件挖掘丑闻,企图抹掉庭审记录 Python 3.4.0发布,增加了多个功能模块 美的+阿里,“云端”战略第一把火是智慧家居 对产业互联网战略的战术思考——争夺企业信息入口的战争 加入Cassandra,OpenStack发力DBaaS生态圈 死磕Google Keep,微软正式发布Mac免费版OneNote 《近匠》安管云CTO石磊:降维安全的开放平台 2014 Unity亚洲开发者大会&#183;中国站讲师名单议题全部出炉 【独家专访】红旗Linux元老:猎猎红旗永飘扬 借助三大技巧 助你提升API状态页面 集成GemFire,Hadoop生态圈的又一把火 次世代光照体验:Unity 5面世,功能系统全升级 深入浅出,以咖啡店为例演示Web应用程序扩展 百度Clouda:可依赖的实时JavaScript开发框架 Oracle发布Java 8正式版及JDK 8 编程语言中一些令人抓狂的规则 廉颇未老,微软股价创14年新高 中国云计算大会PPT集萃(三):核心架构及应用实践 特性是增多了,但是Google的云服务仍然不温不火 全国云计算大数据创新项目评选活动正式启动 【独家专访】Perl发明者首次来华:将在OSTC大会分享其编程人生 腾讯核心创始人张志东半年后卸任首席技术官 改任终身荣誉顾问和学院讲师 咱们约会吧,Web设计师教你不一样的语言 开发者不容错过的10款免费JavaScript游戏引擎 付费授权、开放源码,全新虚幻引擎4正式发布! Larry Page未来计划:用科技创造美好生活 AWS 8周年,收入超四主要对手之和 分析:北京网络广播电视台私有云实践 golive6,如何解决中文问题???在源码中无法显示中文,如何解决??? 请看看这两条代码是否一样? 寻---陈建春之<visual C++高级编程技术---开发实例剖析> 想学学UML…… 现在工作好烦!!!!!! 关于combobox很简单的问题 各位大夏,我用JBUILDER做EJB时已经编译了,可是为什么那个TOOL菜单里面的EJB DEPLOYMENT子菜单是灰的啊?也就是我怎么生成部署描述设置 教材 谁看了《我的野蛮女友了》,是不是和《不见不散》有点像阿 怎样定义自己的消息? 菜鸟问题:有关vs7.0与vs6.0的Session传递问题.(来者有分) 如何改变窗口的图标? 都有哪些方法? 报表的格式化问题? 英文win 2000 +英文IIS 联接 中文win 2000 +中文Sql Server 出现乱码的问题,在线等待 哪位有realplayer 8.0的序列号?是否可告知小妹:) 各位大侠,我想把网站的部分链接放到局域网的其他机子上,需要怎么设置 我要租房(深圳华侨城附近,1000元之内,30分钟车程之内) 请教各位,系统如何自动获取编号 转贴:回忆最有人缘的28个电视人物(1) 我要找一本叫《软件工程》的书! 网上赚钱的事会是真的吗 , 谁介绍一下 , 有没有不错的网站. 转贴:回忆最有人缘的28个电视人物(2) 大家都用的什么开发工具啊?? 如果我的DOMINO服务器坏了,我重新安装后,如何让原有的用户ID都继续使用呢?还是必须要重新注册? 高手请教!如何向oracle中读写二进制文件! 我要找一本叫《软件工程》的书! 有谁重载过CListCtrl控件?? 数据库统计的问题!!在线等待! 在Notes中,如何用LotusScript取得Notes的安装目录? 如何修改弹出菜单的内容! 突然的感慨:) [求助]在控制台程序中怎么用定时器??? 非扩充话题移动贴子就扣信誉分!究竟信誉在这里怎么解释。 我想问问大家,在哪里有一些好的软件提供下载,我想看看人家的界面,向别人学学 xsl中能进行条件选择或循环吗??? 300底线!!——如何在asp代码中实现客户端自动下载 关于MSSQL SERVER的一个存储过程并发性,请指正,谢。 各位大虾,谁有mfc42d.dll,给我一份好吗? 如何在.net下發送xml document ! 我与sasacat(傻傻猫)的婚礼于4月2日在天主教堂举行,喜宴在东来顺举办,欢迎广大CSDN水友赏光! 如何通过INTERNET 远程联接ORACLE服务器,SERVER端IP地址是固定(ADSL),客户端是通过电话线上网的 高分寻求能够在win2000下录制DEMO的工具! 关于word2000风格的工具栏设计问题 Test My CSDN Helper 分还要加,请问如何做 把一个函数传给另一个函数,使其能调用另一个函数。 浏览器不能用,但是QQ可以用,为什么? 关于SOCKET的问题求教!!在线等待.............. 请问高手,要得到如下报表,如何设计数据库,如何显示结果 那里有好书下载?(一定要能下载的) 一个容易拿分的问题 快来,救命啊!!!!马上死人了。。。。。。。。。。 小学人教版语文六年级上与诗同行的第一题 优化版每课一练 第五、六单元的测试答案 描写时间的作文精美开头 一个圆形花坛,直径是10m,如果围绕花坛铺宽2m的草皮,则要买多少平方米的草皮? 作文 快乐时刻开头结尾关键要扣住文中的 快乐 选择典型的,能有吸引内心愉快的事来写.....跪求各位帮帮忙啊!!! 形容时间过得很快的作文开头 圆柱的表面积的题目 在一块长方形草地的正中心有一个圆形花坛,它的周长直径半径的总长度是278、4米.要求:使图上半径长度为整厘米 我要比例尺和半径的长度数 知道的快说啊 关键时刻作文开头和结尾 以享受为话题的作文1.2.不少于800字 校园里有一个直径是8.4米的圆形花坛,现要在它的周围铺一条宽1米的小路,这条小路的面积是多少平方米? 在一个圆形花坛边每隔40厘米摆放一盆花,一共摆了25盆花这个花坛的周长是多少米? 若将光垂直照到平面镜上,则入射角是——度,反射角是——度. 1.太阳光传到地球约需500S,由此可知日地距离约为__米.2.已知太阳光线与地面间夹角为45度,5m.则竿在地面上的影长是__m.3.晴天,常常在茂密的树下看到一个个圆形的小亮斑,这些小亮 一个圆形花坛的周长是3米,如果每隔30厘米放一盆花,那么最多可以放()盆花. 光线与镜面呈45度角射在平面镜上,入射角是多少?试画出反射光线,标出入射角和反射角. 红星小学有一圆形草坪,量得直径是30米,如果沿草坪的周围每隔1.57米摆一盆菊花,要准备多少盆? 与诗同行同步练习题六年级语文试卷的答案 我的梦想作文800字里面要有一句名言.或者是诗句. 圆柱的表面积,体积把一个高为15cm的圆柱分割成若干份,再拼成一个近似的长方形,表面积增加了90平方厘米.那么这个圆柱的体积是多少?3.14×9×9×15=38151怎么会等于怎么大 一个圆形花坛,在他的一圈每隔3米摆一盆花,共摆了40盆,这个花坛的周长是多少米? 有没有数学学的好一点的 一个圆形草坪周长为60米,每隔6米摆1盆花,一共需要多少盆花? 求八年级2012年寒假作业上册数学填空题答案 填空题!急求啊!!!!!!!! 我今天才补。。。 要人教版的 求下面圆柱的表面积和体积高4dm半径2.4dm 这道题实在看不懂,不知是不是出错了.40□6的积的中间有0,“□”里应填( ). 六年级课堂作业本与诗同行修改歌词的答案与诗同行课堂作业本,没用的不要弄 在直径是3米的圆形喷水池边上每隔0.628米放一盆花,一共可以放( )盆. 2011年黄浦区数学一模考填空题最后一题怎么做?小明坐缆车,单程常委2.35千米,在钢缆上来回均匀的安装着188个吊扇,并且这些吊窗按顺序编号:1.2.3.4.187,188.小明入谷时乘坐的是45号吊窗,途中他 小学六年级上册语文课堂作业本“与诗同行”第一题第二题答案?第一题就是看电视的那个,第二题是根据一首歌的歌词改成一首诗. 求圆柱的表面积和体积.S底=3.14㎡ h=15cm 作文开头好词好句我最敬佩的一个人的好开头和结尾 两平面镜相互垂直,一束光线斜射到平面镜上,怎么证明入射光线的反射光线平行入射光线和镜面成60° “在公园的中央有一个网球场”用英语怎样翻译 2011深圳市无户五科成绩若是415,则标准分多少 英语91 科学75 我的梦作文开头和结尾 广场中央有一个直径20米的圆形花坛,节日期间在花坛周围每隔1.57米摆一盆花一共可摆多少盆 作文 我的偶像不能写身边的人 半径为4m的圆形花坛上每隔一定的距离摆一盆花,一共摆了40盆花,每相邻两盆花之间的距离是多少 如图,某大学计划在一块长80m,宽60m的长方形场地中央建一个长方形网球场,四周留某大学计划在一块长80m,宽60m的长方形场地中央建一个长方形网球场,四周留出宽度相等的人行走道(阴影部分 我的偶像作文关于权志龙的 市内有一个圆形广场,国庆节时在它的周围摆放花盆.每相邻两个花盆之间的距离是4分米,一共摆放1256盆.请明天之前就要,这个广场的直径是多少? 如图,某大学计划在一块长80米,宽60米的长方形场地中央建一个长方形网球场,四周留出宽度相等的人行走道(阴影部分).设人行走道德宽是x米,求网球场的面积 狭义相对论的一个基本原理是:真空中的光速在不同的惯性参考系中都是相同的.现在已知很多物质(比如玻璃)都可以减小光速.假设有一种玻璃,光在其中传播时,该玻璃可以把光速减小为真 在一个圆形花坛的周围摆花盆,如果每隔5米摆一个花盆,一共摆了21个盆,这个花坛周长是多少? 求八年级上册物理轻巧夺冠银版69~75答案!如题! 急需! 物理题,关于光的传播地球到月求的距离为3.8乘10的8次方M.问一束激光从激光测距仪出发,大约巾帼多长时间反射回来. 室内有一个圆形广场国庆节时在他的周围摆放花盆.每相邻两个花盆之间的距离是四分米,一共摆放1256盆这个广场的直径是多少米? 就写写最后的 第二学期期末测试题 ,抄给我把~银版(创新版)的. 《我崇拜的偶像》(偶像必须是家人或者老师)作文要350字左右,开头写外貌.性格.爱好.中间写为什么崇拜他还有举几件事情说明. 要设计一长80m,宽60m的矩形网球场,网球场占地面积3500m^2,四周有宽度相同的人行道,求人行道宽度1列出相应的方程2请你估计x的大致范围3用列表法探究x的值 夏夜,人们常常点蚊香来驱赶蚊虫,由于蚊香燃烧缓慢,往往一盘蚊香才燃烧一小段,你已进入梦乡.因此,很少有人知道一盘蚊香燃烧多长时间.你能否设计一个方案,测量出一盘蚊香燃烧的时间?(1) 两小儿辩日中谁说的是对的,太阳是早上离我们近还是远? 是人教版的语文六年级上册的白桦,和太阳的话,七单元的,再求一首现代诗和古代诗,短一点的古代诗八行以上 你能让一束平行光的传播方向改变180°吗?如果能说出需要的器材和具体的做法. 什么时候太阳离我们最近(两小儿辩日) 六年级课文“与诗同行”相似的诗歌老师要我们找,快,4首,像“致老鼠”“爸爸的鼾声”这样的,最后一句可以有趣味的! 能让一束光的传播方向改变180度吗?如果可以的话简单叙述实验方案 两小儿辩日,认为太阳离我们早上近中午远的理由是什么,认为太阳离我们中午近早上远的理由是什么?
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘