说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Cloudera CTO:取代MapReduce 未来会加大Spark等框架投入

HTML文档下载 WORD文档下载 PDF文档下载
过去两年,Hadoop社区对MapReduce做了很多改进,但关键的改进只停留在了代码层,Spark作为MapReduce的替代品,发展很快,其拥有来自25个国家超过一百个贡献者,社区非常活跃,未来可能取代MapReduce。

【编者按】作者之前曾发表一篇文章——Hadoop生态圈中Cloudera的SQL战略,文章中,作者就已经提出了专用分布式查询处理引擎在性能上更优越,MapReduce将被取代的观点,本文作者又将MapReduce与Spark对比,MapReduce的高延迟使其无力支持交互式应用,而Spark则可以运行更多的负载,速度更快。Google、FaceBook已逐步采用Pregel和Dremel等新框架,MapReduce是否还有前途?Cloudera的首席战略官Mike Olson为我们带来了精彩分析。

以下为译文:

MapReduce的高延迟已经成为Hadoop发展的瓶颈,为当前的MapReduce寻找性能更高的替代品已成为Hadoop社区的一个共识。

MapReduce

有关MapReduce框架,最早要追溯到Google,Google将这个框架与灵活、可扩展性存储结合到一起,用以解决各类数据处理和分析任务。后来Doug Cutting和Mike Cafarella在2005年联合创立了Apache Hadoop时,采用的就是这个架构。

类似的项目,比如Apache Pig和Apache Hive,它们将专门的查询转化成可以运行在多功能MapReduce框架上的任务,同时也继承了MapReduce的可扩展性、容错能力、良好的吞吐能力还有糟糕的延迟,特别是Hive,延迟使其无力应付交互式应用。

关于MapReduce的抱怨使人们对企业数据中心和Hadoop项目的热情渐渐减少,MapReduce延迟太高,批处理模式响应也难以应对大量需要处理分析数据的应用。

Hadoop生态圈需要的是一个比MapReduce更加强大、更加灵活、更具实时性的系统。

Spark

如今MapReduce的主要替代者是Apache Spark。和MapReduce一样,它也是一个多功能引擎,但是Spark设计之初就考虑到运行更多的负载,而且速度更快。

最初的MapReduce通过简单的方式执行任务,但是本身结构严格:处理或者转化(map);同步(shuffle);以及在集群中将所有结点的结果整合到一起(reduce)。你必须将问题变成一系列MapReduce任务,然后按照顺序执行这些任务,延迟很高。在前一个任务执行完成之前,任何一个任务都无法开始,运行复杂、多阶段的应用程序很让人头疼。

一种替代方案是让开发者构建有关任务的复杂、多步有向非循环图(DAG),一次执行所有这些图,而不需要一个一个按照顺序来。这个方案避免了MapReduce中麻烦的同步问题,也使得应用程序的构建更加简单。对于DAG引擎的研究,微软在早些时候已经开始了,比如:Dryad,Dryad一直在微软内部使用,针对Bing搜索和其他托管服务。

在Spark中既包含了上述一些思想,也有一些重要的创新,比如:Spark支持跨DAG的内存数据分享,使不同任务可以以非常高的速度处理相同数据。Spark甚至支持循环数据流,这使得它能很好地处理迭代图算法(社交网络分析中常用)、机器学习和流处理,这是通过MapReduce或者其他DAG引擎是很难做到的。

Spark包含了流处理、快速故障还原、语言集成API、优化调度和传输数据等许多高级的功能。内存使用是Spark最引人注目的地方,MapReduce需要经常处理存储在磁盘上的数据,相比之下,Spark可以利用分散在集群中所有节点的大量RAM,它能够智能利用磁盘,解决溢出数据和持久性问题,这使Spark在应对负载时有了巨大的性能优势。

为什么不改进MapReduce,而要取代它?

在过去两年,Hadoop社区对MapReduce做了很多改进,但这些改进大多只是停留在了代码层,软件开发者把这称为原有代码基础上的“技术债务”,这些负债导致在原有基础上的改进只能解决一时的问题,从这个意义上讲,MapReduce实在是已经负债累累。

创建全新的代码库(无技术负债),针对当前和未来可预见的负载进行设计,这个过程相对还比较简单、风险较小。需要考虑的问题是:我们是不是真的有必要创建一个全新的项目?

作为MapReduce的替代品,Spark已经比较发展得比较成熟,拥有来自25个国家超过一百个贡献者,社区非常活跃,实际上已经没有必要去创建一个全新项目。

从长远来看,我们期望减少在MapReduce上的投入,相应增加在新框架上的投入,比如:Impala和Spark,理所当然,运行在该平台上的负载将逐渐转移到新的框架上。Google已经开始将负载从MapReduce转移到Pregel和Dremel上,而FaceBook则将负载转移到Presto上。

原文链接:MapReduce and Spark (翻译/毛梦琪 责编/魏伟)

以“ 云计算大数据 推动智慧中国 ”为主题的 第六届中国云计算大会 将于5月20-23日在北京国家会议中心隆重举办。产业观察、技术培训、主题论坛、行业研讨,内容丰富,干货十足。 需要购买的朋友,请抓住这最后的机会,点击报名!

Android游戏开发之旅15 按键中断处理 Android游戏开发之旅14 游戏开发实战一 Android游戏开发之旅13 Sensor感应示例 Android游戏开发之旅12 Sensor重力感应 Android游戏开发之旅11 View中手势识别 Android游戏开发之旅十 位图旋转 Android游戏开发之旅九 VideoView类剖析 Android游戏开发之旅八 SurfaceView类实例 Android游戏开发之旅七 自定义SurfaceView Android游戏开发之旅六 自定义View Android游戏开发之旅五 Path和Typeface Android游戏开发之旅四 Canvas和Paint实例 Android游戏开发之旅三 View类详解 Android游戏开发之旅二 View和SurfaceView Android游戏开发之旅一 长按Button原理 Android程序内存管理必读 Android按键事件映射表和转义符对照 Android Intent大全更新到API Level8 Android中Intent对应的category列表大全 Android中内嵌字体实现个性化 TextView多行本文滚动轻松实现 获取和设置ListView的选择项 EditText中显示隐藏Android输入法窗口 自定义ListView行间的分割线 Android程序完全退出的三种方法 WebView使用技巧和介绍 EditText仅允许特定类型数据输入 自定义Android应用的访问权限 android.text.format文件大小和日期解析类 Android Rootkit相关揭秘 androidmanifest.xml高级属性解析 请教一下applet能干些什么? vb.net中如何使用api ,调用一个dll文件中的函数? 请教完成端口高手 如何加入COM控件 紧急求救,斑竹大侠赶紧帮忙! 从SQLSERVER过度到ORACLE的一个简单问题 interbase中如何写外连接语句? 访问存储过程与直接访问表有什么区别! 大家给推荐一下API的书 下面的语句在VBA中:AddressOf 使用无效是为什么??谢谢! richtextbox控件在winodws98下运行正常,为啥到了win2000环境运行却出现非法操作 如何将鼠标的移动,限制在一定的范围内?? 调用那个函数可以实现windows休眠啊! ★★★zyq123 (雍亲王,做人应该量力而行!) 不是大家认识的那个zyq_123(雍亲王,做人应该量力而行!)★★★ 想修改修改.NET做的webservice的界面,该在那里做啊? 求算法 怎样设置IIS自动重起??? 求助!这样做可以吗? 关于cint的问题,送分 请问怎样得到本周一或者前一天的日期(即年月日) 特急﹕XMLHTTP疑惑﹖! Delphi操作Word文档的问题 在asp.net项目各页面间传递参数的问题 是否可以用frontpage直接修改远程主机上的网页? 虚拟机的问题,有谁用过virtual pc?怎样和主机连网呢?头痛中。。。。。。 哪里有基于Windows平台的SNMP协议的网管软件源代码例子,谢谢!!! 如何知dataset某表的当前记录位置? 请教一下,什么可视化工具可以方便开发pro*c jsp不支持UTF-8字符集吗?否则为什么会用上就报错? Office工具栏的问题,请高手进来,低手不要进来,一定结帐 以前我在CSDN看过类似的贴字,现在忘了这样的sql语句怎么写,请知情者赐教!! 讨论:数据模块中数据控件的多少的问题! service 如何做成多线程的???谢谢? 如何将从此帧图像计算出的一个与前一帧图像上计算出的相应的值相加? 女程序员,它的前途在哪里啊?我感到茫然! SQL创建DB表... 简单问题:请问如何在REDHATLINUX 8.0 设置拨号程序 怎样得到本机有效串口? 怎样挂双硬盘呀 ListView怎样调整行的高度? 程序传递参数问题? 请问谁有RUP讲义吗?(PPT格式) 从数据库中读出的姓名,如何按照姓氏笔划排序?散分! 请问一个事件的问题 analysis servers中聚集的分类依据是什么? 怎样用程序打开一篇WORD文档并自动降低宏的权限? 打印问题????急急急!!! 如何設定默認值,資料在修改之後如何保存原有資料 sql server的存储过程能导入Access中去吗 请问:大虾进来看看(救命呀,上机考试中) 推荐以下,哪里有介绍VC开发SNMP网管软件的书籍或源代码? 如图所示,在△ABC中,AB=AC,AC边上的中线把三角形的周长分为24cm和30cm的两部分,求三角形各边的长. 怒吼的近义词除了咆哮! B本 如图,在三角形ABC中.AB等于AC,AC上的中线BD将三角形的周长分成24cm和30cm...如图,在三角形ABC中.AB等于AC,AC上的中线BD将三角形的周长分成24cm和30cm两个部分,求三角形的三边长. 近义词:缄默--()怒吼--()热烈--()请在两小时之内完成 NaHSO4有什么键是共价键还是离子键,还是2个都有 如图,在△ABC中,如果AB=30cm,BC=24cm,AC=27m AE=EF=FB EG\\DF\\BC FM\\EN\\ AC 那么阴影三角形周长 怒吼的近义词是咆哮谔谔的意思是 浙教版 科学作业本B熔化与凝固 用温度计测量冰水混合物的温度时,液柱先略有升高后降低? 近义词:怒吼() 反义词:出现() 一根绳子对折后是5米,减去3米,还剩几段?每段几米?是剪去3米. 盐酸肉毒碱可以减肥吗 怒吼.严肃苍白的近义词 土元怎么科学防治病虫? 什么是十四酰基肉毒碱2? 从国外引到中国的农作物有哪些?帮忙写一下(包括年代或朝代),希望知情人士对我说说感激不尽! 如图,在三角形ABC中,C为BD的中点,角BAC=90度,角CAD=45度,求角B 肉毒碱乙酰辅酶A的专一抑制剂是什么?脂肪酸代谢中的一种重要酶我想找的是专一抑制剂,不和肉毒碱辛酰辅酶A、肉毒碱棕榈酰辅酶A有抑制关系。能告诉我一些其它的抑制剂吗? 国外(包括西域)传入的水果都有哪些我知道的只有葡萄,哈密瓜~还有其他的吗?顺便~西瓜是不是呢?谢谢回答^^) 谁知道害虫该如何防治? 神庙逃亡2那个artifact的任务是什么意思? 英语翻译 这是什么害虫!怎样防治! 神庙逃亡2每个升级的技能都是什么意思啊 最新版的逃亡神庙2里使用一次“加速”这个任务怎么过?最新的版本里是全中文的,可是这个任务不知道怎么过,我选技能加速也不行,吃到了加速也不行, 在三角形ABC中,点D在BC上,BD=AD=AC,角BAC=63°,求角CAD的度数速度~~~~~~~~~~~~~~~~ ()2.Is Ben from () USA () UK?A./,and B.a,or C.the,or 侃侃而谈什么意思 土鳖是什么意思? Of the four foreigners,one is from Japan,two are from the UK ,and______is from the USA.Which one A.the other B.another “娓娓而谈、侃侃而谈、夸夸其谈、老生常谈”表达意思相同,正确吗 总听北京人说,谁谁谁“土鳖”.有什么引申意思么? 神庙逃亡2那个星星的人物能力是干嘛的 狂风怒吼着,就像.(写比喻句) 说男生是土鳖是什么意思? 神庙逃亡2特殊能力干什么用的 还有吃钱左上角特殊能力就会增加,是什么意思啊 狂风怒吼的意思今晚最好 土鳖是什么动物?是什么意思? 神庙逃亡2里的道具分别有什么用?那个像8的道具干什么的,还有那个25000人物带的星星能力干什么的 什么食物富含纤维多 1.I____(来﹚from the USA.2.Jane is a(n﹚____(学生﹚3.Do you havea(n﹚______(妹妹﹚?4.We have____(不同的﹚books.5.The boy has a(n﹚______(小刀﹚ 峡湾对挪威的影响 丰富的食物纤维有什么作用? 武汉人说的土鳖是什么意思? 挪威峡湾 哪个最好 宝贝的反义词是什么 NaHSO4电子式写出他的电子式 神庙逃亡2每日挑战是什么啊? 宝贝的反义词 7年级上册科学作业本A本第5节熔化与凝固答案!好评! 神庙逃亡2里的每日任务怎么过 宝贝的反义词是什么啊?我想知道 请问NaHSO4的电子式怎么写?可以发图, 神庙逃亡2,日挑战跑到750米,怎么完成不了? 宝的反义词是什么 融化与凝固 神庙逃亡日挑战是什么意思? 神庙逃亡2里的lifetime,体现在游戏里具体是什么表现?能说的具体些么?我不想从字面上翻译这个单词 NaHSO4电子式是H+包含在SO4里面还是在外面啊?阴阳离子比1:2那应该是在外面吧?、顺便问下:那个  氢硫酸不可以拆开吧\? 泰国咖啡摊主因招牌与星巴克标志雷同被俄外交部:叙之友文件旨在煽动破坏叙问日本导弹部队将现身宫古岛 拟搞大规模英国一新郎忘预约教堂 为遮丑谎称有炸外媒称叙政府将在24小时之内提交销毁澳洲国防部被指是林火“罪魁” 灾区官新加坡学者:“中国梦”与“东盟梦”兼中方贷款建设的科伦坡国际机场高速公路中国—东盟自贸区升级:服务业开放将成【热点观察】中国东南亚外交亟须战略自首届“亚洲美食节”在京举办 16国异德国称默克尔手机可能遭美国监听中国经济合作新路径:重建“海上丝绸之中国东南亚外交新局:学习他国经验 寻美巴领导人会晤重在“释暖”消息称韩已确定F-35A为下一代战机挪威销毁叙化武受美国热捧 坦言国内压日本6名女性涉嫌在网络上上传猥亵视频白宫助理在社交网站上匿名批评奥巴马被悉尼科技大学危险化学物泄露 5000印尼日惹苏丹嫁女办3天豪华婚礼邀总统甘孜州冬季旅游“感恩优惠” 海螺沟、艾滋病感染率环比增长连续5年下降哈达迪重返成都这次是客人存款保险“来了” 44亿资金抛弃银行四个“大盖帽”为啥拦不住一辆车?支付宝推出海外交通卡进军出境游儿童牙刷有国标妈妈们可以放心了金牛区中小学生棒球联赛举行达·芬奇母亲是中国人?第7届成都网上房交会昨日启幕成都市48个小城镇改造项目通过验收南京大屠杀死难者家祭首次举行超八成城市房价回到一年前最后一座小姐闺楼 地震难撼片瓦英议员执意赴港“调查”才是公然对抗成都“电马儿”新规明年实施 时速不能成都又诞生一项业余足球联赛换一个世界下棋!成都又诞生一项业余足球联赛海马S51.5TCVT华西区上市发展下线百余人传销头目被判刑
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘