说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

MapReduce谢幕,谁将成为最终的接棒者?

HTML文档下载 WORD文档下载 PDF文档下载
随着需求的增加及各种计算框架的完善,MapReduce亦走下了通用大数据处理引擎这个神坛。那么在未来,谁将异军突起成为下一个接棒者,我们拭目以待。

【编者按】MapReduce,曾Hadoop的杀手级组件,被广泛运用于海量数据分析场景。然而时过境迁,随着新型资源管理器YARN的发布,Spark等各种计算框架的应用场景增多,即使在离线数据处理中,MapReduce亦不乏可与其匹敌的对手。同时,限于其批处理设计,在实时计算中,MapReduce更显狼狈。着眼未来,谁将成为数据处理最终的通用平台尚不得知,但MapReduce的前景已然堪忧。那么,在MapReduce谢幕后,谁又能成为真正的接棒者,近日Andrew J. Brust在Gigaom进行了简要分析。


免费订阅“CSDN大数据”微信公众号,实时了解最新的大数据进展!

CSDN大数据,专注大数据资讯、技术和经验的分享和讨论,提供Hadoop、Spark、Imapala、Storm、HBase、MongoDB、Solr、机器学习、智能算法等相关大数据观点,大数据技术,大数据平台,大数据实践,大数据产业资讯等服务。


下为译文

Hadoop的早期应用以及初次被人们注意都离不开MapReduce,当初,MapReduce是令人敬佩的大数据处理算法。然而时至近日,局势已经发生了明显的变化。随着Hadoop 2.0的发布,MapReduce开始为新技术让步。那么,纵观全局,谁又会成为下一个接棒者?

大数据历史中的MapReduce

初期的MapReduce算法基本是根植于Hadoop核心集群管理设施,大数据先锋们在享受其便利的同时,还必须忍受MapReduce的众多缺点。起先,MapReduce与Hadoop的深度集成也并无不合理之处,因为MapReduce足够强大,可以将数据与查询工作拆分到集群中的多个服务器,并促进机器间的协作,然后得到结果。

然而,这套原理背后存在的问题也显而易见:需要连续、快速的执行多个短查询时,MapReduce的批处理机制并不能对任务进行截取,然后并发执行。Hadoop 2.0引进了YARN作为集群管理层的独立算法,它可以执行MapReduce任务,也可以容纳其他的引擎任务。

Spark的出现

在YARN发展的同时,AMPLab开发了一款基于内存的分布式处理引擎——Spark。Spark可以在Hadoop集群中运行,通过使用内存而非硬盘避免了MapReduce的批处理问题。重要的是,经Hartonworks证实,Spark已具备“YARN Ready”特性。

到目前为止,一切进展都很顺利,YARN提供了一个通用框架,用于批处理与交互引擎在Hadoop集群中处理数据;而Spark作为一种流计算引擎,可利用内存快速处理某些工作负载。

然而其他的Hadoop组件也不容忽视,像是SQL查询层Hive或者数据转换脚本环境Pig,这种依赖于MapRedeuce的组件该如何处理?要如何利用Hadoop的架构转变来改造这些组件呢?

升级

Hortonworks,牵头做YARN的公司,在YARN之外,还创建了一个夹在Hive和Pig之间的组件Tez。Hortonworks将Tez的源代码作为Hive的升级版加进了Apache软件基金会的源码中。

在最新的Hive和Hadoop版本中,用户就可以使用它们的交互性进行迭代查询工作。与此同时,一个包括Cloudera和MapR的行业协会宣布将改进Hive和Pig,以及其他的Hadoop分布式组件,使它们可以直接执行。

共生的敌人

Spark和Tez,两个原本没有什么可比之处的产品,由于受到MapReduce退出及Hadoop主流趋势的影响,突然变成了竞争对手,消费者们应该警惕他们竞争将带来的分裂风险。

内存引擎在一些负载工作中确实能很好地工作,但是让内存引擎来默认执行大部分工作,特别是那些需要PB级(或更高)数据量的工作,似乎很不专业。

面向批处理的MapReduce并非针对企业级设计,YARN、Tez和Spark也都出现了亟待解决的缺陷。讽刺的是,基于相同Hadoop分布式组件上的多种使用方法,却都不是特别适用于企业。

引擎,合并?

如果YARN的开放式架构能够支持多个相似而且重叠的解决方案,那么我们将需要一个针对给定查询的优选程序,让客户更简单的操作。有选择是件好事,但分裂并复杂的选择却并不是件好事。

在20世纪80年代,Unix操作系统出现了严重分裂,并因此阻碍了该操作系统的市场扩展。近些年,Hadoop已经成为了一个数据操作系统,希望它不会重蹈Unix覆辙。

原文链接: Spark and Tez, out of phase(编译/仲浩 审校/魏伟)

HTML5初学者福利!11个在线学习网站推荐 Qualcomm发布Snapdragon 820与超声波指纹识别技术 App Store应用僵尸化:没品质没资本的必然走向 Unity 5正式发布:支持21种平台、个人版免费! 创新高性能移动UI框架——Canvas UI 框架 取精华、去糟粕!适合iOS开发者的15大网站推荐 Swift如何优化性能? 【程序员电子刊精选】明道CEO任向晖:企业也需要养成好习惯 你信吗?重构软件并不会改善代码质量 融合VR与AR:uSens推出虚拟现实手机头盔 4月17-18日,OpenStack、Spark、Container齐聚OpenCloud 2015 第四代CSS选择器,那些让你激动的新特性 联通WO+开放平台“App计费 ” 保障手机应用付费安全 Valve推Lighthouse技术,欲解决VR设备眩晕感 全球移动开发者报告:Swift崛起,物联网大火! 不圈地自萌!10个UX设计经验分享网站推荐 苹果继续改改改!Swift语言何时能稳定? 封闭还是开放?Android Wear离iOS究竟有多远 TIOBE 2015年3月编程语言排行榜:CoffeeScript首次进入TOP 100 2015网页摄影图的六大流行趋势 原生体验挡不住!JavaScript开源跨平台框架NativeScript 自行车,恰到好处的“智能” 联通WO+开放平台:保护消费者权益就是保护移动互联网生态 2015年Google Code Jam编程挑战赛开始报名 Impression Pi:VR头盔的进阶形态 King.com和Halfbrick Studios成功背后的21款工具 五大实用技巧 帮设计师实现高效会议沟通 机遇与挑战并存 Testin进军众测 新增多SIM卡API,Android 5.1 SDK正式发布! 谷歌代码托管平台Google Code将正式关闭 提升Sketch使用效率的6个实用技巧 谁能告诉我下面程序代码在内存中被编译器实际做出来的结果是什么? 很急:关于msgget的调用 vb 连接数据库 是不是SQLserver2000不支持些SQL 请问如何用程序控制使FORM最大化,最小化? 如何在datatable中再查找符合条件的数据? 为什么打印宽度最大为21厘米? 请问我在一个.js文件中怎样调用其它.js文件中的资源 这样做到不刷新,获取application的变化? 请教状态栏的问题 vfp问题?急~(关于控件的使用) 破解bios开机密码 如何自己编写代码结束所有的应用程序呢?请教! 请问如何在C#中对字符串或byte[]进行crc32校验。有现成的调用吗? 菜鸟的一个有关数据库的疑问?有谁知道吗? 神啊,救救我吧! 神啊,救救我吧! 神啊,救救我吧! 菜鸟提问,如何知道MDB数据库中是否存在一个指定表,谢谢!急…… 关于用DBGRID向数据库添加主细表的问题?高分奖赏! 关于窗体菜单的问题? 很急!!!!!!!! 欢迎大家推荐好的学习JSP的网站! 数据库 vfp->sql server? 问一个最好的查漏方法 ARM Develop Suite eval version的破解方法或者破解文件 一个word文件,怎么让用户一打开它时 出现保存对话框? ie6.0的快捷键问题 这里人气旺,借贵宝地一用。熟悉网站搜索引擎的朋友请进! 交换机和路由器有什么区别?? csdn怎么回事啊!!昨天登陆后竟然显示别人的用户名,今天竟然连我的注册信息也改了.TMD 关于SQL SERVERS2000 建数据库的问题--请进 请问哪有讲算法的好书啊! 关于单片机??? 向各位大侠请教:怎样在JAVE中调用文件 SYBASE 数据库设备删除后 Vitual Device Number 不能释放? 高分诱惑(痛苦莫过于分太多) RichEdit中的COM问题!!! 各位师兄师姐,帮帮我,好吗? 一个图形文件,如一个JPG图形文件,怎么才能通过流读进来,然后转化成一个字节数组。 关于Activeform中INF文件的问题。(解决问题者有分) 我不算是ASP的学习者,但想请教个问题,一小段ASP代码 请推荐国外(or 国内)优秀的编程网站,for delphi 或vc等等 请指教:关于管理软件权限制作方面的问题 求救:关于从XML文档中抽取文本的方法!!! 怎样读取系统时间,日期?急! 请推荐一两本shell编程方面的好书。UNIX,LINUX不论。 ~◎大虾们,在linux下怎么得到一个进程的cpu mem的使用情况,用从c/c++程序! 我想学JAVA,请问如何开始阿。 键盘有一power键,按下就会关机,怎样编程使按下该键时不执行关机动作? 请问如何控制SourceSafe的物理权限 ? 【麦哨】课文两次提到麦哨,你从其中体会到了什么? 读书故事的征文怎么写 母爱是一缕阳光,让我感到温暖,母爱是 ,母爱是 ,(补充完整 课文为什么用麦哨做题目 《十六年前的回忆》阅读答案(哥哥姐姐们帮帮忙!)1.这篇文章主要写了李大钊同志( ),表现了李大钊同志( ).2.找出与“我蹲在旁边,看他把书和有字的纸片投到火炉里去”照应的句子, 母爱是( )例:母爱是一缕阳光,让你的心灵即使在寒冷的冬天也能感到温暖 模仿姥姥的剪纸写一篇(谁)的(什么东西)的作文!比如奶奶的饺子作文,但一定一定要表达一种亲情! 我上初中时为什么总想起小学同学下课爱想小学的趣事 母爱是一缕阳光,让你即使在寒冷的冬天也感到温暖如春.仿写母爱是什么 谁能模仿《姥姥的剪纸》写一篇作文!急 好听的分组名小学同学....前面要有相同字的..相同格式..最好没有符号 麦田的守望者的含义?麦田的守望者 出了又表示还有希望之外,还有其他的含义吗? 模仿《姥姥的剪纸》写一篇作文不少于四百字.在我们的人生中,有着许多像《姥姥的剪纸》中的姥姥一样的人,他们的特殊才能,以及对我们的浓浓深情时常进入我们的梦境,值得我们回忆.打开 小学同学和初中同学比起来,到底哪个最好?请高手帮我选一个,只选一个, 麦田的守望者是谁写的啊? 武大附中怎么样 汉字的谐音 麦田的守望者的好词好句.我要好词好句.关键的是好词.别给我乱发. 武汉大学附属中学 怎么样 关于"远离毒品,珍爱生命"的演讲稿1839年,林则徐领导了著名的虎门硝烟;20实世纪80年代,林则徐的后代成为联合国禁毒委员会的官员,请你结合有关史实,代林则徐的后代起草一篇在6月26日"国际 作文 我心中的雷锋 或着 我身边的雷锋 550字左右 请用“湖水”“月亮”“笛声”三个词写一段话,要求表达不同的心境高兴的心情和忧伤的心情 求一篇“预防艾滋病”为主题的演讲稿 初一课文三峡.急SHI我了 契科夫的《变色龙》的主角,反派,冲突,故事背景,情节,高潮和结局? 珍惜生命,远离毒品的发言稿怎样写 趣品人生的评价 用“月亮”“树影”“笛声”编一段话帮我用“月亮”“树影”“笛声”这三个词编一段话,最好用上修辞手法,50字以内 十六年前的回忆阅读答案 初一课文三峡,急帮我出 加点字注音5个,解释加点字词20个,翻译句子10句,问答题一个, 谁知道用汉语怎么写以下几个词?beforegethroughannouncement 给汉字注音18.铁铉( ) 19.炮制( ) 20.硌牙( ) 21.内疚( )22.吓懵( ) 23.沏茶( ) 24.面颊( ) 趣品人生读后感 关于赞汉字的诗歌 自己写的 求汉字注音 关于信念的叙事作文,写画画的为了心中的信念,写绘画的,可以不需要开头和结尾哦!如果觉得写得好的话还会加至100分哦! 语文用3个词写段啊快啊求快啊用用眼花缭乱,莹光千点,苦雨孤灯,合了拢来,爱的调和,飘飘漾漾其中3个词写段300字左右快来人啊 历城二中35级今年寒假作业语文的 汉字 说让注音,但是注音在哪里? 以坚守心中的信念为题的记叙作文600字 一定要糸记叙文 初一语文课文地毯下的尘土读后感 五年级读书征文怎么写我不要整篇文章的,告诉我第一段写什么,第二段写什么……就行了 汉字是如何注音的 好中学能代表一切吗?是不是不管在怎样的中学读书,只要读得好就说明你有能力。中学(初中)不怎样(学校)都没关系。请网友们帮帮忙,也请看到问题的老师给与帮助。 2013年《阅读年选》征文比赛 写什么好 最好给个例子作文 并解释这个词 想学文的话什么是必须补得 仿照《人民英雄纪念碑》写武汉的抗洪抢险纪念碑的文章.(500字左右) 英语翻译喧嚣的都市,匆匆的人群,重重的压力……华灯初上,一切又归于平静.床头灯光柔柔的洒下,静静坐下来,让我们享受那久违的宁静.翻开智慧的篇章,徜徉在优美的文字中,品读一个个优美 初中的酸碱盐方程式很重要吗?需要全部背会吗? 初中的化学基础差,怎么补习?影响高中的学习吗? 十六年前的回忆的阅读答案 求英语读后感和中文翻译最好是爱丽丝梦游仙境 和小王子的 高中朋友很重要吗 这“宣告”、“声音”具体是指哪句话?课文《开国大典》. 十六年前的回忆朗读的基调应该是 麦哨课文 契科夫变色龙变色龙构思有何特点?至少两百字,分数不少,老大, 母爱是一缕阳光,让你时刻感受到温暖仿写两句.母爱是一泓清泉,( ).母爱是( )要对齐 麦哨这篇课文讲了什么 变色龙 契诃夫 阅读 急求!六年级上册语文课文老人与海鸥读后感!
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘