说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

YARN或将成为Hadoop新发力点

HTML文档下载 WORD文档下载 PDF文档下载
2013年的Hadoop峰会上,YARN是一个热点话题,YARN本质上是Hadoop的新操作系统,突破了MapReduce框架的性能瓶颈。Murthy认为Hadoop和YARN的组合是企业大数据平台致胜的关键。

Yahoo!最初开发Hadoop,是为了用于搜索和索引Web网页,目前很多的搜索服务都是基于这个框架的,但是Hadoop从本质上来说还只是一个解决方案。2013年的Hadoop峰会上,YARN是一个热点话题。三年的酝酿,YARN本质上是Hadoop的操作系统,突破了MapReduce框架的性能瓶颈。

MapReduce是在HDFS下操纵数据的主要机制。对于处理和分析海量数据(如多年的日志文件和其它半结构化的数据),这是一个很好的选择,但并不适合其它类型的数据分析。三年前,Hortonworks的创始人兼架构师Arun Murthy开始着手重新架构Hadoop(Hortonworks刚刚宣布在新一轮的融资中获得了5000万美元,Tenaya Capital和Dragoneer Investment Group主导了本轮融资,前投资人Benchmark Capital、Index Ventures和Yahoo!也参与其中),以使其成为一个更通用的大数据平台。

  • Arun Murthy提到:“着手构建Hadoop2.0时,我们希望从根本上重新设计Hadoop的架构,达到可以在Hadoop上运行多个应用程序并处理相关数据集的目的。这样一来,多种类型的应用程序都可以高效、可控地运行在同一个集群上。这是以Hadoop 2.0为基础的Apache YARN之所以能够诞生的真正原因。通过YARN管理集群的资源请求,Hadoop从一个单一应用程序系统升级成为一个多应用程序的操作系统。”

Murthy所说的其它类型的应用程序包括:机器学习,图像分析,流分析和互动查询功能等。一旦YARN全面投入使用,开发者将能通过YARN“操作系统”将存储在HDFS中的数据用于这些应用程序。Hive就是由Facebook开发的HDFS上层的SQL类型的数据仓库工具,但是后台的数据处理还要通过MapReduce。Hive很消耗资源,会影响其它同时运行的作业。其它Hadoop相关的数据分析子项目也都是类似的情况。


YARN是一个真正的Hadoop资源管理器,允许多个应用程序同时、高效地运行在一个的集群上。有了YARN,Hadoop将是一个真正的多应用程序平台,可服务于整个企业。Murthy表示通过YARN可以以一种前所未有的方式与数据交互,YARN已经被用于Hortonworks的数据平台,Hadoop和YARN的组合是企业大数据平台致胜的关键。

MapReduce2.0——YARN的基本架构

MapReduce在Hadoop 0.23时已经经历了一次大规模更新,新版本的MapReduce2.0被称为YARN或MRv2。


YARN的基本思想是将JobTracker的两个主要功能(资源管理和作业调度/监控)分离,主要方法是创建一个全局的ResourceManager(RM)和若干个针对应用程序的ApplicationMaster(AM)。这里的应用程序是指传统的MapReduce作业或作业的DAG(有向无环图)。

  • ResourceManager和每个slave结点的NodeManager(NM)构成了数据计算框架。ResourceManager负责最终将资源分配到各个应用程序。NodeManager是每台机器的框架代理,负责管理容器,监控它们的资源使用情况(CPU,内存,硬盘,网络),同时向ResourceManager/Scheduler汇报。
  • 针对各个应用程序的ApplicationMaster实际上是一个详细的框架库,它结合从 ResourceManager 获得的资源和NodeManager 协同工作来运行和监控任务。ApplicationMaster同时负责向Scheduler请求适当的资源容器,跟踪它们的使用状态并监控其进展。

ResourceManager中有两个主要组件:Scheduler和ApplicationsManager。

  • Scheduler负责给应用程序分配资源。Scheduler从某种意义上说是一种纯粹的调度,它不监控和跟踪应用程序的状态,另外它也不负责重启应用程序或者硬件故障造成的失败。Scheduler根据应用程序的资源需求执行调度,这些需求基于一个抽象的资源概念Container,包括内存、CPU、硬盘和网络等。
  • ApplicationsManager负责接收作业提交,将应用程序分配给具体的ApplicationMaster,并负责重启失败的ApplicationMaster。

YARN在接口上兼容于此前的稳定版本(Hadoop 0.20.205),这意味着以前的MapReduce作业重新编译后就可以在YARN下运行。(编译/周小璐,审校/仲浩)

原文链接:Expect a Ripping Good YARN at Hadoop Summit

欢迎关注 @CSDN云计算微博,了解更多云信息。

为什么JavaScript有能力成为未来企业级编程语言? Red Hat CEO:拥抱开源 拥抱克隆 小米手机-HAXLR8on硬件黑客马拉松 开团了! 移动周报:雷军做红米的N个理由 Pangea Software CEO:08年App Store游戏降价大战的真相 揭秘MongoDB最新Java驱动:更好的JVM支持,指日可期的异步 不仅只有IE Mozilla将于发布Win8平台Metro版Firefox 360搜索发布新产品“我的搜索” 引入网民评价和网站名片功能 AppScale:Google App Engine的开源实现 近期十大优秀jQuery插件推荐 通过语音识别来编程 速度远超键盘 BrowserStack:多系统跨浏览器兼容性测试工具API发布 更加开放?Path向13家应用开发商开放API 重金力邀开发者 联想智能桌面应用开发大赛开幕 SDCC 2013大会讲师名单议题出炉 8月20日五折票价最后一天 程序员困境:底层编码能力正逐步丧失 寓教于乐 给代码审查者的几点建议 裁员4千、总裁员人数超过7.5万,难掩思科锋芒 物联网离普罗大众还有多远? 悼念斯诺登使用的加密电邮服务——Lavabit架构解析 运营商上阵OTT “一笑泯恩仇”后路在何方 [企业开源系列]后起之秀Facebook凭什么挑战互联网霸主Google? 谷歌推出免费标签管理应用Tag Manager McAfee CTO Phyllis Schneck被任命为NPPD副部长 Bootstrap 3.0发布 更好地支持移动端和响应式开发 国内创业公司QingCloud的魄力:做一个世界级的IaaS服务 从毫秒到微妙,纯硬的闪存阵列IBM Flash System来了! 中科创达邹鹏程:黑客精神逐渐被人遗忘 有点让人感伤 通过讲故事的方式来设计优秀网站 “肮脏的”IT工作排行榜 Clank:带有SCSS的高效率移动应用原型框架 监听器不能启动,高手请进 请问是不是在delphi5中的html控件,在delphi7中就没有了呢? 怎么样抓屏,把它保存成一文件! Database(BDE)+Table+DataSetProvider+ClientDataSet+DataSource+DBGrid遇到的问题 200求 怎样是女孩开心起来! .pdg和.nlc文件分别用什么阅读器打开呀? 錯誤代碼:0x80040E4D,錯誤信息:使用者登入失敗.(ASP中出現此錯誤,VB中是可以的),急!! 大家帮忙看一下,如何在删除一条记录时,弹出一个窗口,让用户确认,或取消 如何去除char类型字符中的空格 各位大哥:在下高分请教Rational Rose2002 的注册。急急急!!! 如何把.net framework和Web Application一起打包到安装程序中 一个简单问题,在一个Win32 applicaion 中如何使用CString变量! 在线等待! 如何得到动态生成的TreeView的ExpandLevel值? 在JavaScript里面怎么输出Asp里面的变量值? 追加数据 打印数据窗口 送分的菜问题!小弟我第一个servlet程序就没运行起来! 怎么样抓屏,然后把它保存成一文件! 想问一下用过jsp就会的问题!!! 两条sql语句的写法 wltsui(前途未必光明,道路一定曲折!) ,,xxx94x(岁寒三友) ,,jnxulei(石头)近来接分 这个错误怎么改阿,大家帮帮我吧 请问怎样将一个*.DLL文件,翻译成源码,谢谢/ 机器上有两个网卡(2个IP),如何使tomcat在某一个网卡的80口上运行 请问:soure inside 诗作什么的。具体功能是什么? 获取串口后数据的实时曲线绘制 请教WIN CE 与 PC 通过SOCKET进行通讯的问题(紧急) ==>Server.Transfer 和 response.rdirect 有新打开页面和控制ie显示(工具栏、地址栏)的功能吗? 输出是怪码,为什么 錯誤代碼:0x80040E4D,錯誤信息:使用者登入失敗.(ASP中出現此錯誤,VB中是可以的),急!! 请问怎样在SQL中组织一临时表?(立即给分) 关于asp和SQLSERVER2000问题!郁闷之中..... 使用showModalDialog遇到的问题,再线等候!!!!!!!! 我使用jbuilder做的软件系统包括servlet,jsp,applet,打成了war包,可是却始终不能运行applet。 ***内核的networking问题*** 讨论:大家都用什么工具进行数据库比较 ? 我的鼠标提示刷新的速度不是很快,谁能给在下提供一些好的建议? 发短信的web service 请教一个服务端和客户端交互的问题? 高手帮忙 请问谁又对第三方控件imgscan.ocx操作的例子,发给我bit_hj@163.com。小弟不胜感激 肯请各位帮忙! 应该是简单问题,求高手帮忙,100分相送,绝不食言,一下午都没弄出来,太灰心了..... linux下,mysql数据库密码怎么找回?(在线等) 新手求救:关于8086和80386的中断类型号上的冲突? sleep函数 网络难题,跨网段传输 恢复数据库 有谁的信誉分比我低阿!!我送给他50分阿!! 谁能提供一个切实可用的“防止刷新页面重复提交表单”的方法 Web安装项目中的managed.msm和stdole.dll是何东东,何用?? 香港发音像香港的姓:陈就chan 李就LEE那么“玩”应该怎样写? 车从甲地开往乙地,每小时行驶八十千米,四分之三小时正好行驶了全程的三分之一,甲,乙两地之间的公路全长是多少千米? 感人肺腑怎么造句 关于香港的读法 急!帮我翻译下"仁海" 与 "瑞海" 香港读法 例如香港不拼xiang gan 读hongkong 谢啦那么 家豪 呢? 3G 上网卡 英语怎么翻译? 把2~7六个数分别填在图中的圆内,使每个正方形上的四个数的和相等. 暮江吟怎么写? 垒换个部首是什么字怎么组词 抛物线y=x2+bx+c与x轴交于点A(-1,0),点B(3,0)两点 (1)求该抛物线的解析式 (2)设(1)中的抛物线上有一抛物线y=x2+bx+c与x轴交于点A(-1,0),点B(3,0)两点(1)求该抛物线的解析式(2)设(1)中的 《暮江吟》诗表达了 填诗句5.应怜屐齿印苍苔,——-----------.1.人面不知何处去,-----------------2.---------------,一寸光阴不可轻3.路漫漫其修远兮,--------------.4.--------------,山空色蒙雨亦奇5.应怜屐齿印苍苔,——-----------. 肝和心有没有在一起 IPAD有一个游戏是把颜色一样的方块移动到颜色一样的附近,三个就会消失.这个游戏是什么啊?急之前在地铁看到有人玩了这个游戏.就是用手指把某颜色的方块移动到别的颜色一样的地方,有三 古诗“应怜屐齿印苍苔”的下句是: 耳穴肝、心、眼、目1、目2是什么? 小游戏 打同色的球 下面有两只企鹅 用箭头射出有颜色的球,与上面的同色球三个连在一起就可以消失.有一段时间非常火的一个小游戏这个游戏叫什么名来着,在哪里可以下载 选择人物编童话故事(要选择3个不在同一篇课文里的人物)第一课有小麻雀、麻雀妈妈 第二课有乌鸦、喜鹊、鸟王孔雀 第三课有没头脑、不高兴 第四课有大拇指汤姆、国王、补锅匠 第五 我们设网卡启动在那的英文有没有得翻译一下````跪求? 问一种游戏,就是很多球排列在上面很多颜色的,然后用一个球瞄准上面的球,打到相同的球就掉下来的,求大神告诉游戏名哦 尔字下面的小改成山字怎么读 心.若.裂.肝这四个字组成个成语 寻找一个小球游戏,就是一个棋盘上,5个相同颜色的小球连成一线就会消失,然后每次操作之后随机出现3个小球最好是IPAD版的,或者告诉我怎么在IPAD上运行也可以, 恋下变换成山是什么字 蛇交配能持续多长时间 《童话二分之一》你最喜欢谁? 饶字把偏旁换成山是什么字 蛇的交配时间真的能持续12小时? 童话二分之一里的京伟喜欢的是谁说清楚 把倄左偏旁换成山是个什么字 一辆汽车从甲地开往乙地,前2小时行的路程与全程的比是3:7,如果再行80千米,就行了全程的一半,甲乙两地相距多少千米? 童话二分之一京伟到底喜欢的是谁?京伟到底喜欢谁?!这个问题好纠结!整个来看京伟貌似喜欢庭谖多点,但是大结局的时候他却又出现在庭雨的婚礼上,代替御风娶庭雨.所以他到底喜欢谁啊?!求 应怜屐齿印苍苔.这诗句中什么、什么、什么这三个字都应按什么的书写规则书写. 蛇跟蛇怎么交配的? 童话二分之一杜御风喜欢谁 从甲地到乙地,已行80千米,是剩下路程的三分之二,甲乙两地相距多少千米 观察与思考:当两个数成()关系时,它们的最小公倍数是() 用6个球设计一个摸球游戏(设定球颜色不同,其他全一样).1,使摸到各色球的概率是三分之一.2.使摸到白球的概率为二分之一,摸到其他颜色的球的概率是六分之一(过程) 一辆汽车从甲地开往乙地,每小时行80千米,3/5小时刚好到终点,甲、乙两地的路程是多少千米? (1)已知抛物线y=ax2+bx+c经过三点A(-2,0),B(4,0),C(0,4)的解析式(2)求顶点M的坐标(3)求△AMB的面积 童话二分之一庭谖到底喜欢谁庭雨呢?或者说更喜欢谁? 一辆汽车从甲地开往乙地,当行到离中点5千米时,已行的路程是未行路程的三分之二,甲乙两城相距多少千米写算式 已知:抛物线y=ax2+bx+c过点(-5,0)、(0,2/5)(1,6)三点,直线L的解析式为y=2x-3若与直线L平行的直线与抛物线只有一个交点P,求P点的坐标. 现有3个红球,3个白球,这六个球除了颜色相同外,其余特征完全相同,请设计一个摸球游戏,要求如下1.一次摸一个球,摸到的必然是红球:2.一次摸两个球,一定是一个红球,一个白球是数学问题~~~ 怎样用搜狗可以打出部首我想用搜狗打出偏旁提手旁.怎样打? 已知抛物线y=x平方+bx+c过(1,-5),(0,-10)两点,求抛物线的解析式 有12个白色的小球,大小完全一样,你可以给它们涂上不同的颜色,请你设计一个摸球游戏,让获胜的可能性为二分之一、六分之一、三分之一 AB两地相距20千米,甲乙两人分别从A,B两地同时出发,相向而行,两小时后两人在途中相遇,相遇后甲立即返回A点,乙仍向A地前行,待甲回到A地时,乙离A地还有两千米,求两人速度各多少老师说每道题 据说蛇能交配很长时间 是真的吗 有12个白色的小球,大小完全一样,你可以给他们涂上不同的颜色,请你设计一个摸球游戏,让获胜的可能性分别2分之1,6分之1,3分之1 甲乙两人分别从ab两地同时出发相向而行,行了两小时后,两人还相距40千米,又行了3小后,两人还相距10千米.AB两地相距多少千米?方程解,列的清楚些 风暴结局甚么意思 争先恐后式的词语有哪些 ab辆车同时从甲乙两地相向而行,8小时两车相遇,a车每小时46千米,b车每小时x千米,b车每小时行多少千米 一辆汽车从甲地开往乙地,行了全程的60%,离乙地还有80千米,甲乙两地相距多少千米 和争先恐后相似的词语 风波诡谲是什么意思 风暴结局是什么意思 求日常生活中的物理常识,详细一些!例子+物理知识,详细一些 细胞周期包括几个时期?有几个检验点?各检验点都分别检查什么? 一辆汽车从甲地到乙地,若每小时行60千米,则要迟到6小时;如果没小时行80千米,则甲乙两地相距多少千米? 中国房地产商在澳投资“风生水起”浙商二代展开青春对话 宗馥莉称不努力调查指:中国20年“农转非”比例仅增第九届两岸经贸文化论坛在广西南宁闭幕浙江力推“国民共进” 促“国字号”“长三角“绿色制药”协同创新中心:让百教师因婆婆不拆迁调岗至拆迁部 称曾被跨国公司巨头和学者会聚上海探讨城市“马尼拉市长最快下月底赴香港道歉 或赔上海自贸区满月在即 创新运行框架基本韩正:上海自贸区将适时引入第三方评估安倍再次表示推进探讨行使集体自卫权阿根廷学者认为克里斯蒂娜连任机会渺茫学者称克里斯蒂娜连任机会渺茫 应加强阿根廷学者认为克里斯蒂娜连任机会渺茫中央气象台发霾黄色预警 京津等局地或阿根廷学者认为克里斯蒂娜连任机会渺茫伊拉克北部摩苏尔发生自杀式汽车炸弹袭印度东北部城市发生连环爆炸5人死亡“双年展专业户”卢昊:城市化进程使多浙台经贸合作平台发展规划首次发布20万张脸被毁,为何不吸取教训自治区人大常委会机关召开党员干部大会国务院明确“棚改”目标 2014年墨玉农民:投身反恐肥也不施了 即使撂郭美美在北京“佛牌”店已关张 原址变孟加拉国沉船 近百人失踪自治区政协传达党委常委(扩大)会议精北京:两青年夜盗寺庙石刻被公诉尊重生命,国之价值所在让恐怖分子在全民反恐的汪洋大海中无处职业健康体检,结果随便改?全国、自治区人大代表声讨严重暴恐犯罪中央将重点清理挪用救灾款等资金建豪楼中国提五点倡议促巴以和平喝上达标自来水 孩子的牙不黄了美国经济数据好坏不一 金银价格走势震天宁寺内2200多平方米建筑成“违建中行带你走进国家大剧院 感受艺术与成中招录取67764人 超七成考生进高美招募年轻人赴古巴“渗透” 最低时薪李克强徒步5公里赶赴震中
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘