说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

MapReduce谢幕,谁将成为最终的接棒者?

HTML文档下载 WORD文档下载 PDF文档下载
随着需求的增加及各种计算框架的完善,MapReduce亦走下了通用大数据处理引擎这个神坛。那么在未来,谁将异军突起成为下一个接棒者,我们拭目以待。

【编者按】MapReduce,曾Hadoop的杀手级组件,被广泛运用于海量数据分析场景。然而时过境迁,随着新型资源管理器YARN的发布,Spark等各种计算框架的应用场景增多,即使在离线数据处理中,MapReduce亦不乏可与其匹敌的对手。同时,限于其批处理设计,在实时计算中,MapReduce更显狼狈。着眼未来,谁将成为数据处理最终的通用平台尚不得知,但MapReduce的前景已然堪忧。那么,在MapReduce谢幕后,谁又能成为真正的接棒者,近日Andrew J. Brust在Gigaom进行了简要分析。


免费订阅“CSDN大数据”微信公众号,实时了解最新的大数据进展!

CSDN大数据,专注大数据资讯、技术和经验的分享和讨论,提供Hadoop、Spark、Imapala、Storm、HBase、MongoDB、Solr、机器学习、智能算法等相关大数据观点,大数据技术,大数据平台,大数据实践,大数据产业资讯等服务。


下为译文

Hadoop的早期应用以及初次被人们注意都离不开MapReduce,当初,MapReduce是令人敬佩的大数据处理算法。然而时至近日,局势已经发生了明显的变化。随着Hadoop 2.0的发布,MapReduce开始为新技术让步。那么,纵观全局,谁又会成为下一个接棒者?

大数据历史中的MapReduce

初期的MapReduce算法基本是根植于Hadoop核心集群管理设施,大数据先锋们在享受其便利的同时,还必须忍受MapReduce的众多缺点。起先,MapReduce与Hadoop的深度集成也并无不合理之处,因为MapReduce足够强大,可以将数据与查询工作拆分到集群中的多个服务器,并促进机器间的协作,然后得到结果。

然而,这套原理背后存在的问题也显而易见:需要连续、快速的执行多个短查询时,MapReduce的批处理机制并不能对任务进行截取,然后并发执行。Hadoop 2.0引进了YARN作为集群管理层的独立算法,它可以执行MapReduce任务,也可以容纳其他的引擎任务。

Spark的出现

在YARN发展的同时,AMPLab开发了一款基于内存的分布式处理引擎——Spark。Spark可以在Hadoop集群中运行,通过使用内存而非硬盘避免了MapReduce的批处理问题。重要的是,经Hartonworks证实,Spark已具备“YARN Ready”特性。

到目前为止,一切进展都很顺利,YARN提供了一个通用框架,用于批处理与交互引擎在Hadoop集群中处理数据;而Spark作为一种流计算引擎,可利用内存快速处理某些工作负载。

然而其他的Hadoop组件也不容忽视,像是SQL查询层Hive或者数据转换脚本环境Pig,这种依赖于MapRedeuce的组件该如何处理?要如何利用Hadoop的架构转变来改造这些组件呢?

升级

Hortonworks,牵头做YARN的公司,在YARN之外,还创建了一个夹在Hive和Pig之间的组件Tez。Hortonworks将Tez的源代码作为Hive的升级版加进了Apache软件基金会的源码中。

在最新的Hive和Hadoop版本中,用户就可以使用它们的交互性进行迭代查询工作。与此同时,一个包括Cloudera和MapR的行业协会宣布将改进Hive和Pig,以及其他的Hadoop分布式组件,使它们可以直接执行。

共生的敌人

Spark和Tez,两个原本没有什么可比之处的产品,由于受到MapReduce退出及Hadoop主流趋势的影响,突然变成了竞争对手,消费者们应该警惕他们竞争将带来的分裂风险。

内存引擎在一些负载工作中确实能很好地工作,但是让内存引擎来默认执行大部分工作,特别是那些需要PB级(或更高)数据量的工作,似乎很不专业。

面向批处理的MapReduce并非针对企业级设计,YARN、Tez和Spark也都出现了亟待解决的缺陷。讽刺的是,基于相同Hadoop分布式组件上的多种使用方法,却都不是特别适用于企业。

引擎,合并?

如果YARN的开放式架构能够支持多个相似而且重叠的解决方案,那么我们将需要一个针对给定查询的优选程序,让客户更简单的操作。有选择是件好事,但分裂并复杂的选择却并不是件好事。

在20世纪80年代,Unix操作系统出现了严重分裂,并因此阻碍了该操作系统的市场扩展。近些年,Hadoop已经成为了一个数据操作系统,希望它不会重蹈Unix覆辙。

原文链接: Spark and Tez, out of phase(编译/仲浩 审校/魏伟)

用VB实现聊天讨论室和点对点会话 用VB写一个定时PING某IP的程序 用VB制作浏览器 用Visual Basic 5.0设计E-mail程序(MAPI) 用Visual Basic6.0编写客户服务器程序 用Visual Basic创建FTP组件 用Visual Basic开发数据库浏览器 用Visual Basic轻松地设计Browser及Ftp程序 VB用Winsock控件发信Email VB用Winsock实现点对点通信 邮件检查程序(二) -VB资料 邮件检查程序(一) -VB资料 在VB程序中怎样挂断拨号网络 在VB中利用UDP协议编写聊天程序 在VB中模拟实现邮件传输 在VB中实现文件上传 在VB中使用UDP协议 在VB中用Outlook发电子邮件 在程序中打开 Internet 拨号连接窗口 -VB资料 在一个单位内部或通过广域协议(如X.25)互联的行业内部都有几十或上万台计算机互联,用Intrane 在应用中集成浏览器-VB资料 在桌面上建立一个 Internet 快捷键 -VB资料 VB怎样接收电子邮件(POP3协议简介) VB怎样用VB得知系统当前是否处于internet链结状态 VB制作自己的网络搜索软件 自动更新工作站的应用程序-VB资料 自己的IE——用VB制作浏览器 VB6制作Win98风格的工具栏 VB实现窗口的弹出式菜单 用VB做个漂亮的进度条 Cool 3D 浮動按鈕的模擬作法-VB资料 如何配置网卡! 简单问题 今天高兴,散分啦!! 读取服务器上文件的办法 简单问题 求简单木马代码(vc)来者有分 如何将CString类型的字符串转换成Char *型的 求Crystal Reports8.5版本下载(不要9) 请帮忙看一下!! 在vb里调用我动态库的一个函数,结果发现在动态库中的局部变量未被正确初始化,这是为什么呢?其它语言都正常。 如何动态生成弹出式菜单???有点急! 9.12 阅读理解 (Unit 8) 如何动态生成弹出式菜单???有点急! 十六进制数与二进制数如何互换 請問團隊開發同一個系統代碼該怎樣管理(包括開發中) 请问各位,SUN公司是怎么个盈利模式? 打包以后问题多多. 在sql中怎么不能插入毫秒级的数据啊 急!!!如何得到上一个页面的ID值 使用axis写web services,生成客户端出错 ejb不能执行的问题? 关于showModalDialog方法生成的窗口问题 关于网上邻居 在vb里调用我动态库的一个函数,结果发现在动态库中的局部变量未被正确初始化,这是为什么呢?其它语言都正常。 SQL Server的恢复(100分相送) 哪里有BoundsChecker下载!带注册码的!知道的进来!然后给100分!不知道的不要来! 如何在SQL 语句中加入参数? 如何统计服务器上面的session实例的个数 中病毒,症状:打开很多应用程序,系统无反应,运行金山毒霸,系统无反应;点击“开始”-“关机”-“重新启动”,死机! 这是scanf的漏洞吗? 哪一个网站可以很好地查图书资料? web service 及 net remoting中调用com组件问题 当老师了,教计算机,有哪个的小孩敢拿来让我教 当老师了,教计算机,有哪个的小孩敢拿来让我教 控件被其他控件覆盖 听说JFreeChart的文档都是收费的,哪位高人用的熟,整理一个说明拿来看看.小弟谢过了 那为师兄能详细的介绍以下javasmart怎么用吗? 想换心情! 求救,硬盘故障!!! 高手快来!!不知是什么错误!! 讨论架构 求救,硬盘故障!!! 从一个TQuery中的数据如何快速的存放到另一个表中? 创建临时表空间时出错了 VC6的命令行工具 unix下 oralce 8.0.5 连接unix 下8.1.6的问题 帮助中的一段话 关于delphi中类之间成员的访问问题 请教一条sql语句 IE 不能正常浏览applet? SQL语句的简单问题 哪些理论的建立标志着近代地质学的成熟 众莫之解 之是何意 地质学某理论.忘记叫什么了我记得内容大概是地球遭受小行星撞击后 会在对应点引起火山喷发. 为什么说“地质学是一门古老而年轻的科学”?哪些理论建立标志着近代地质学的成熟? RITAS PIZZERIA怎么样 GINOS PIZZERIA怎么样 圆的内接四边形的对角线相互垂直且交点坐标为(1,根号2)什么时候面积最大圆心在原点,对角线交点为(1,根号2)不和圆心重和.用函数我会求,用几何帮我求求, 面积为2的四边形ABCD内接于圆o,对角线AC过圆心,若角BAD=45°,CD=根号2,求AB长 ROCCOS PIZZERIA怎么样 SLICES PIZZERIA怎么样 关于背GRE的时间求助!你们在大学期间有课的情况下,是怎样安排时间的.早上什么时候起床?晚上什么时候睡觉?起床后先背文章还是先背单词?睡觉之前干什么?不甚感激! 美国防机构研发光微型传感器 可助导航业界称马来西亚限购新规无助降低房价安倍声称日本已作好了制衡中国的准备叙利亚向禁止化武组织提交销毁化武计划安倍竟把中日关系逼到了死胡同?英国一女士患巨结肠病 腹部肿大好似怀德国组阁谈判紧张进行 新联合政府或增缅甸商家开始接受信用卡付款 硬件不足德媒:美窃听默克尔手机已长达十年 奥英国内阁部长称BBC不透明 拨款资金格陵兰拟向中澳开放铀矿与稀土 仍需丹流浪狗堵门 房主不敢回家“海都公众卖服务,卖得好!”雨夜抓毒贩 民警被狠咬福州遇今年来最强暴雨雨减弱 阵雨多小善大爱《致青春》“女神”演菊美的妻子黄健翔解说《爸爸2》5月70城房价 半数环比下降南京市六合区委书记、纪委书记2人因顶斯里兰卡议会投票决定抵制联合国调查其我的神仙妹妹主界异神帝战召唤群仙奇门散手灭界残兵众天降世录之战天变苍皇老鼠儿子会打洞娱乐之天皇茫茫修仙道卓克基土司官寨旅游西索民居旅游圣心大教堂旅游南海影视城旅游南国桃园旅游东湖醋园旅游尊胜寺旅游矶崎海水浴场旅游卡拉麦里有蹄类自然保护区旅游御马头旅游重阳阁旅游
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘