说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Cloudera CTO:取代MapReduce 未来会加大Spark等框架投入

HTML文档下载 WORD文档下载 PDF文档下载
过去两年,Hadoop社区对MapReduce做了很多改进,但关键的改进只停留在了代码层,Spark作为MapReduce的替代品,发展很快,其拥有来自25个国家超过一百个贡献者,社区非常活跃,未来可能取代MapReduce。

【编者按】作者之前曾发表一篇文章——Hadoop生态圈中Cloudera的SQL战略,文章中,作者就已经提出了专用分布式查询处理引擎在性能上更优越,MapReduce将被取代的观点,本文作者又将MapReduce与Spark对比,MapReduce的高延迟使其无力支持交互式应用,而Spark则可以运行更多的负载,速度更快。Google、FaceBook已逐步采用Pregel和Dremel等新框架,MapReduce是否还有前途?Cloudera的首席战略官Mike Olson为我们带来了精彩分析。

以下为译文:

MapReduce的高延迟已经成为Hadoop发展的瓶颈,为当前的MapReduce寻找性能更高的替代品已成为Hadoop社区的一个共识。

MapReduce

有关MapReduce框架,最早要追溯到Google,Google将这个框架与灵活、可扩展性存储结合到一起,用以解决各类数据处理和分析任务。后来Doug Cutting和Mike Cafarella在2005年联合创立了Apache Hadoop时,采用的就是这个架构。

类似的项目,比如Apache Pig和Apache Hive,它们将专门的查询转化成可以运行在多功能MapReduce框架上的任务,同时也继承了MapReduce的可扩展性、容错能力、良好的吞吐能力还有糟糕的延迟,特别是Hive,延迟使其无力应付交互式应用。

关于MapReduce的抱怨使人们对企业数据中心和Hadoop项目的热情渐渐减少,MapReduce延迟太高,批处理模式响应也难以应对大量需要处理分析数据的应用。

Hadoop生态圈需要的是一个比MapReduce更加强大、更加灵活、更具实时性的系统。

Spark

如今MapReduce的主要替代者是Apache Spark。和MapReduce一样,它也是一个多功能引擎,但是Spark设计之初就考虑到运行更多的负载,而且速度更快。

最初的MapReduce通过简单的方式执行任务,但是本身结构严格:处理或者转化(map);同步(shuffle);以及在集群中将所有结点的结果整合到一起(reduce)。你必须将问题变成一系列MapReduce任务,然后按照顺序执行这些任务,延迟很高。在前一个任务执行完成之前,任何一个任务都无法开始,运行复杂、多阶段的应用程序很让人头疼。

一种替代方案是让开发者构建有关任务的复杂、多步有向非循环图(DAG),一次执行所有这些图,而不需要一个一个按照顺序来。这个方案避免了MapReduce中麻烦的同步问题,也使得应用程序的构建更加简单。对于DAG引擎的研究,微软在早些时候已经开始了,比如:Dryad,Dryad一直在微软内部使用,针对Bing搜索和其他托管服务。

在Spark中既包含了上述一些思想,也有一些重要的创新,比如:Spark支持跨DAG的内存数据分享,使不同任务可以以非常高的速度处理相同数据。Spark甚至支持循环数据流,这使得它能很好地处理迭代图算法(社交网络分析中常用)、机器学习和流处理,这是通过MapReduce或者其他DAG引擎是很难做到的。

Spark包含了流处理、快速故障还原、语言集成API、优化调度和传输数据等许多高级的功能。内存使用是Spark最引人注目的地方,MapReduce需要经常处理存储在磁盘上的数据,相比之下,Spark可以利用分散在集群中所有节点的大量RAM,它能够智能利用磁盘,解决溢出数据和持久性问题,这使Spark在应对负载时有了巨大的性能优势。

为什么不改进MapReduce,而要取代它?

在过去两年,Hadoop社区对MapReduce做了很多改进,但这些改进大多只是停留在了代码层,软件开发者把这称为原有代码基础上的“技术债务”,这些负债导致在原有基础上的改进只能解决一时的问题,从这个意义上讲,MapReduce实在是已经负债累累。

创建全新的代码库(无技术负债),针对当前和未来可预见的负载进行设计,这个过程相对还比较简单、风险较小。需要考虑的问题是:我们是不是真的有必要创建一个全新的项目?

作为MapReduce的替代品,Spark已经比较发展得比较成熟,拥有来自25个国家超过一百个贡献者,社区非常活跃,实际上已经没有必要去创建一个全新项目。

从长远来看,我们期望减少在MapReduce上的投入,相应增加在新框架上的投入,比如:Impala和Spark,理所当然,运行在该平台上的负载将逐渐转移到新的框架上。Google已经开始将负载从MapReduce转移到Pregel和Dremel上,而FaceBook则将负载转移到Presto上。

原文链接:MapReduce and Spark (翻译/毛梦琪 责编/魏伟)

以“ 云计算大数据 推动智慧中国 ”为主题的 第六届中国云计算大会 将于5月20-23日在北京国家会议中心隆重举办。产业观察、技术培训、主题论坛、行业研讨,内容丰富,干货十足。 需要购买的朋友,请抓住这最后的机会,点击报名!

束文辉:Intel如何玩转OpenStack Facebook社交业务进军中国内地,困难重重 《近匠》透镜:代码级定位,让App性能监控更从容! 联想移动与云新战略 重点深耕企业移动方案 美国高通公司在深圳召开参考设计及无线创新峰会 提供“一站式”整合服务 友盟正式推出消息推送平台 iOS 8新功能再曝光:或推出分屏多任务功能 Framer:开源原型设计工具,巨头们的心头好 亚特兰大峰会精彩看点:软件吞噬世界,OpenStack是变革核心 数据中心基础设施是大数据战略成败的关键 实时大数据分析:网络分析的一种新方法 最新消息:iPhone 6将采用更大、更清晰的1704x960分辨率屏幕 吴毅挺:OpenStack是开源IaaS平台大势所趋的集大成者 做好扁平化设计-交互篇 狙击Google Glass?三星将推基于Tizen系统的Gear Glass GamePlay:跨平台开源3D游戏引擎,黑莓的努力你不懂 “少即是多” 高通QRD大会精华汇总 天云盾:构筑在云端的Web安全防护 解析大数据时代的数据库集群技术 莫里航海图,最早的大数据实践 弥补空缺!HappyFox面向iOS开发者发布开源移动HelpDesk SDK Chitika北美网络流量报告:WP KO黑莓、iOS超Android 《近匠》秦时明月:知名IP光环下的生存之道 微软研究院正式发布编程学习游戏Code Hunt 走近讲师:Memblaze刘爱贵讲述云计算中的闪存应用 【云先锋】ClouDil云方案:PB级大数据解决方案 一周消息树:这是要“发”啊?Google Brain之父正式加盟百度 最受欢迎的游戏引擎集结号:小白篇 多盟总设计师邢开捷:四两设计拨千金 Cocos2d-x游戏《Monster Strike》终结《智龙迷城》霸榜神话 高通物联网技术解决方案:从汽车到智慧城市 我真是很愤怒,我是广州连新路(即时广东省软考办)那里报名的,他们的工作水平真是低 一个头痛的问题:客户要求显示所有符合条件的字段和纪录,就是说,对于一张表,要可以让客户选他要看的字段,并且可以对所有字段进行查询 各位前辈请指教几个问题,我什么都不懂 『转帖』为什么要更换ID---好久没来,顺便散点分 请教: Weblogic牌号6。1下运行JSP程序附带标签库的问题? 求解过滤和统计问题,急用,谢谢! 凤凰是我的男朋友(淡月儿) 求解过滤和统计问题,急用,谢谢! 【社论】痛批妹妹,女人都是些什么东西,tmd 我真是是很气愤,我是在广州连新路(即使广东省软考办)那里报名的 为什么不能创建同义词,哪里错了??? 为什么不能创建同义词,哪里错了?????? 有关Dll中资源释放的问题 烦恼的问题,为什么服务器装了sql server package3之后,客户机都不能浏览网页了? 新手问题,字符串中如何传入字符 笔记本如何外挂光驱? 救命呀!!毕业论文摘要翻译 急! 关于读文件的一个小问题? 一个挺弱的问题 MVC的工具除了struts还有什么 我打算学习.Net,请大家帮忙给点好的初学入门的资料下载或者好的网址! 又是IE的小问题..以前没有遇见过!请指教! 关于子类调用父类构造器的问题 怎样用VC语句获取所有的打印机名称(如果机器上连有多台)? 请能给我讲解一下堆栈与堆!!! 关于udp的线程问题 怎样用代码实现按下鼠标左键一次 如何产生随机负数 朋友们请帮忙:考试教材中并没有下午的考试内容,该看哪些书呢?如何学? 问个ACCESS的简单问题 建议收藏夹增加总条数提示或者能重排编号。地址栏输入URL无法打开但不知标题怎么办? access在获取外部数据是出现"ACTIVEX不能创建对象"错误.怎么办?? 为什么ping不通web服务器? 我的KDevelop不能新建??? 为什么我用跳转菜单无法在读取变量,一定要用提交按钮才可以呢 求教单机串口通信 求助:如何用MFC控制多个Check Box(单选框) 请指教。 MSDN中的一句话,什么意思,谁帮翻一下@! 如何使IE的地址栏在填入中文的情况下使用google的搜索功能?而不是3721! or 微软借用的3721智能搜索? 装c++build需要的时间 如果您有网上购票系统,有源代码,并在上海,请进。 现有基于ASP的评语软件500元开发,有意的朋友与我联系! 求助! 现有基于ASP的评语软件500元开发,有意的朋友与我联系! 请问如何才能得到机器的序列号? 在ASP中导出EXCEL的页面中,为什么SESSION值无空了呢? 某个varchar(10)的字段里存有'12','13','1234','1235',123456',如何把所有字符数为2的select出来 在局域网中,要实现两台机子互发信息............................. 堕落的2002届毕业生——请进! JSP中如何将字符串转为整型数啊?有没有类似C中字符串操作的函数啊? 如何把现有的图标作为按钮插入到工具栏的按钮? 背诵英语词根有什么好处?或者作用? 一本书,浩浩第一天读全书的30%,第二天读剩下的50%,已知第一天比第二天少读20页,这本书共多少页?这个题怎么做要写算式 半径为根号20的圆过点A(3 5),且在两点坐标轴上的截得的弦长相等,则圆的方程为是作业上的一题 我想不大出 某地上网有两种收费方式,用户可任意选:a每小时计时3元,b包月制50元每月,此外每一种上网方式都得加收通讯费,1.2元一小时,某用户某月的上网时间为x小时,请分别用代数式表示两种收费方式下 某项工程,单独做甲要4小时,乙要6小时.现在甲先做30分钟,然后甲乙合做.甲乙合做多少小时才能完成此项工程 一项工程,甲乙合干6是完成,家先做4,3一项工程,由甲乙合干需6小时,如果甲先做4小时,乙再做3小时,还剩一项工程,由甲乙合干需6小时,如果甲先做4小时,乙再做3小时,还剩全部工程的2/5没完成,如 某市电话拨号上网有两种收费方式,A种计时制:每分0.05元,B种:每月50元,此外每一种上网方式都得加收通信费:每分0.02元.某用户某月上网X分钟,按A种方式应付多少元?按B种方式应付多少元? 大学英语四级怎么复习才容易过,本人基本比较差? 怎样用盐和酒做咸蛋 英语:介绍昨天放学后但当你在做作业时,你的父母在干什么,在假设一下当时你的好朋友张兰在干什么. 英语四级怎么复习,基础超差的 一项工程,甲乙合作6天完成,甲单独干2天加乙单独干4天,干了总工程的12分之5,问:乙几天完成 校园会作文五年姓级400字 一个月之类英语四级复习,基础比较差 英语词根有什么用?怎么背?怎么念? 常用的英语词根,最好说下怎么记忆 mathematica 求正态分布p值,例如:p=P(N(13950,616827.286)>=16160)为多少?以下这段程序哪里出错了:N[\[Integral]\_ \(-\[Infinity]\) \% y 1 \/ \@\(2\ \[Pi]\)\ \(E \^ \(\(-x \^ 2\) \/ 2\)\) \[DifferentialD]x,10] 求作文《生活,我读懂了你》700字. 高中语文必修二梳理探究姓氏源流与文化寻根该怎么讲? mathematica多值比如y=3x,我的x=【10,20,30,...,100】怎么用mathematica写呢?另外怎么能让这么多的值都在一个图上面体现呢?用Table就可以了,但是我图片里面的程序怎么才能出图,横轴是ct,纵轴是B “生活中,我读懂了__”能写有关什么的作文 急求《生活中的数学》《废旧电池对人类的危害及其处理》《一次性筷子的利于弊》《姓氏源流与文化寻根》2500字左右,只要其中一篇就好,是调查报告, 求三道用mathematica求最值的代码~~急~~~!最大值最小值都可以、要确定了输得出结果才给分、急~~!谢谢了~~~ 过点A(1,-2)且平行于直线2x-3y-1=0的直线方程 鲁滨逊遭海难漂流到无人岛后,他在岛上做了些什么,最后结局如何?(50字内) 关于mathematica 软件求e的准确值问题先用泰勒公式将E^x在x=0处展开得 2 3 4 5 6 7 x x x x x x f=1 + x + -- + -- + -- + --- + --- + ---- 2 6 24 120 720 5040 ,则x=1时,这个式子就是e的准确值n = 1; eps = 10^(-7); t = 1; t1 = 点P在∠AOB的角平分线上,PE⊥OA于点E,若PF⊥OB于点F,且PE+PF=8,则PE=( ) 鲁宾逊之所以能在无人岛上生存28年是因为什么原因? 某地电话拨号上网有两种方式收费,用户可以任选其一:(A)计时制:0.05元/分钟 (B)包月制:50元/月此外,每一种上网方式都得加收通信费0.02元/分钟.(1)某用户某月上网时间x消逝,请你写出 过点A(2,1)与直线l:2x-3y+4=0平行的直线方程是 鲁滨孙流落到的岛屿叫什么? 泡辣椒盐隔水的比例是多少 求过点A(1,-4),且与直线2x+3y+5=0平行的直线方程 求各种手工皂的配方! 湖泊补给问题读图,回答下题.关于两图中河湖补给关系的说法,正确的是( )A.甲河补给A湖 B.A湖补给甲河C.B湖补给乙河 D.乙湖属于外流湖 英语微型课初二3—5分钟 手工皂配方后面的百分比是什么意思?芝麻油米糠油 一件难忘的事开头怎么写 五人 三至五分钟 英语 剧本 四个应用题怎么做.还要具体说下思路.我的身高是1.2米,影长是0.8米.路灯影长6米,路灯高多少米?方程华美公司生产电视机,计划每天生产400台,25天可以完成,实际用20天完成了任务.实际每天生产 小明看一本书,第一天看了30页,第二天看了50页,第一天比第二天少看了全书的10%,这本书一共有多少页?急、帮帮忙. 某地电话拨号上网有两种方式收费,用户可以任选其一:(A)计时制:4元/分钟 (B)包月制:100元/月(限一部个人住宅电话入网)1:用户某月上网时间为xh,请你写出两种收费方式下该用户 对于基础不好的,四级该如何复习?我都要急死了.考了几次都过不了我的大学,四级是我最不完美的一件事。 一件难忘的事开头 作文我读懂了生活 事例 英语很差 可以用无基础来形容 12月份 考四级 有什么好的复习建议 时间如何安排 英语很差 可以用无基础来形容 12月份 考四级有什么好的复习建议 时间如何安排 写一件难忘的事如何开头 如何读懂人生,人生究竟是为了?到头来,不还是为了死吗?但为何?生易,活易,生活难! 某水文站测量河水深度,插入河中,1/8插入泥中某水文站测量河水深度,把一根竹竿插入河中,1\8插入泥中,1\10露出水面,水面上升到18厘米时,水深正好占标竿长的7/8,原河水深度为多少 某地电话拨号上网有两种收费方式,用户可以任意选择一种:第一种是计时制/分;第二种是包月制,69元/月(限一部个人住宅电话上网).此外,每一种上网方式通讯费0.02元/分.(1)若小明 看一本书,第一天看了全书的40%,第二天看了全书的30%,比第一天少看20页,这本书 某河段为了架桥需要测量河水深度,测量员在枯水期把一根标杆插入河里,6分之1插入了河底的淤泥中,露出水面.在丰水期,水面上升了20厘米,此时河水深度正好占标杆全长的5分之4,问在枯水期河 某地电话拨号上网有两种收费方式,用户可以任选其一:(A)计时制,0.05元∕分;(B)包月制,50元∕月此外,每种上网方式都附加通信费0.02元∕分.在哪一个时间,会出现两种收费方式一样? 每天只吃鱼肉蛋不吃蔬菜会怎么样? A计时制:0.05元/分 B包月制50元/月 两种上网方式都外加通讯费0.02元/分,根据上网时间分析哪种缴费合算列一元一次不等式 某地电话拨号上网有两种收费方式,用户可选其 一.(A)计时制,0.05元/ 分.(B)包月 制某地电话拨号上网有两种收费方式,用户可选其一.(A)计时制,0.05元/ 分.(B)包月制:60元(限一部个人 圆C过点P(1,2)和Q(-2,3),且圆C在两坐标轴上截得的弦长相等,求圆C的方程江湖救急 某地上网有两种收费方式(A)几时制:2.8元小时(B)包月制:60元/月.此外,每一种上网方式都加收通讯费1.2元/小时.①某用户上网20小时,选用哪种上网方式比较合算?②某用户有120元钱用 一群猴子分一堆桃,每个猴子分6个桃就剩下10个桃,如果每个猴子分8个桃就还差4个桃.这群猴子有多少只?(列方程解) 备注:把不列方程的算式写出来,把列方程的算式写出来! 圆C过P(1,2)和Q(-2,3),且圆C在两坐标轴上截得的玄长相等,求圆C的方程? 港报称印中民间互视有温差美国科学家发现DNA时钟 或可重设时美国企业研发氦气球游大气层 每人旅费美报文章 中国良性通胀对世界是好事中美军方高官加快对话步伐美国企业研发氦气球游大气层 每人旅费筱原凉子永作博美 谁是日本最美熟女?美国科学家发现DNA时钟 或可重设时墨报文章 “石油人民币”时代即将到来美国脱口秀节目涉种族歧视 亚裔社团吁候选院士举报同行后退出增选 被举报人美将发放对巴基斯坦16亿美元援助款 上海警方破获百起街头掉包诈骗案:母子上海自贸试验区政府服务体验记:一月之少女卖春黄鳝血抹下体充处女 敲诈嫖客江苏11个违法用地重点地区被警示约谈江苏一诈骗团伙非法集资19亿 主犯被锯腿农民阻拦记者调查农村医保:不要管《我爱的是你爱我》发布会 风行网鼎力盐城一投资千万元地下通道荒废六年未用南京回应隧道贯通8年未通车:车流少封芜湖出台稳定就业新政被疑“救市”全国人大常委会启动气象法执法检查开学啦 长沙城24万中小学生报到海南举办司考反作弊签名宣誓十二届全国人大常委会举行第六讲专题讲表决通过修改商标法的决定等人民法院公告“精彩生活”六名高管被判刑逃票信息将反馈给征信机构贯彻落实党的强军目标提高履行任务能力表决通过修改商标法的决定等薄熙来案相关罪名证据链较完整可以网络查扣被执行人存款证监会:T+0交易制度正在积极论证并老面馆拆迁 店里打了900多个电话请菲律宾支教归来 余杭一女生感染登革热宁波地产儿童服装抽检合格率86% 婴网聊10分钟 谎称相识3年 小两口生伊萨克2球乌塔卡失良机 亚泰2 0完十二运形象大使郎朗现身沈阳王文正法官忆审判四人帮:全国一片喊“
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘