说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

YARN或将成为Hadoop新发力点

HTML文档下载 WORD文档下载 PDF文档下载
2013年的Hadoop峰会上,YARN是一个热点话题,YARN本质上是Hadoop的新操作系统,突破了MapReduce框架的性能瓶颈。Murthy认为Hadoop和YARN的组合是企业大数据平台致胜的关键。

Yahoo!最初开发Hadoop,是为了用于搜索和索引Web网页,目前很多的搜索服务都是基于这个框架的,但是Hadoop从本质上来说还只是一个解决方案。2013年的Hadoop峰会上,YARN是一个热点话题。三年的酝酿,YARN本质上是Hadoop的操作系统,突破了MapReduce框架的性能瓶颈。

MapReduce是在HDFS下操纵数据的主要机制。对于处理和分析海量数据(如多年的日志文件和其它半结构化的数据),这是一个很好的选择,但并不适合其它类型的数据分析。三年前,Hortonworks的创始人兼架构师Arun Murthy开始着手重新架构Hadoop(Hortonworks刚刚宣布在新一轮的融资中获得了5000万美元,Tenaya Capital和Dragoneer Investment Group主导了本轮融资,前投资人Benchmark Capital、Index Ventures和Yahoo!也参与其中),以使其成为一个更通用的大数据平台。

  • Arun Murthy提到:“着手构建Hadoop2.0时,我们希望从根本上重新设计Hadoop的架构,达到可以在Hadoop上运行多个应用程序并处理相关数据集的目的。这样一来,多种类型的应用程序都可以高效、可控地运行在同一个集群上。这是以Hadoop 2.0为基础的Apache YARN之所以能够诞生的真正原因。通过YARN管理集群的资源请求,Hadoop从一个单一应用程序系统升级成为一个多应用程序的操作系统。”

Murthy所说的其它类型的应用程序包括:机器学习,图像分析,流分析和互动查询功能等。一旦YARN全面投入使用,开发者将能通过YARN“操作系统”将存储在HDFS中的数据用于这些应用程序。Hive就是由Facebook开发的HDFS上层的SQL类型的数据仓库工具,但是后台的数据处理还要通过MapReduce。Hive很消耗资源,会影响其它同时运行的作业。其它Hadoop相关的数据分析子项目也都是类似的情况。


YARN是一个真正的Hadoop资源管理器,允许多个应用程序同时、高效地运行在一个的集群上。有了YARN,Hadoop将是一个真正的多应用程序平台,可服务于整个企业。Murthy表示通过YARN可以以一种前所未有的方式与数据交互,YARN已经被用于Hortonworks的数据平台,Hadoop和YARN的组合是企业大数据平台致胜的关键。

MapReduce2.0——YARN的基本架构

MapReduce在Hadoop 0.23时已经经历了一次大规模更新,新版本的MapReduce2.0被称为YARN或MRv2。


YARN的基本思想是将JobTracker的两个主要功能(资源管理和作业调度/监控)分离,主要方法是创建一个全局的ResourceManager(RM)和若干个针对应用程序的ApplicationMaster(AM)。这里的应用程序是指传统的MapReduce作业或作业的DAG(有向无环图)。

  • ResourceManager和每个slave结点的NodeManager(NM)构成了数据计算框架。ResourceManager负责最终将资源分配到各个应用程序。NodeManager是每台机器的框架代理,负责管理容器,监控它们的资源使用情况(CPU,内存,硬盘,网络),同时向ResourceManager/Scheduler汇报。
  • 针对各个应用程序的ApplicationMaster实际上是一个详细的框架库,它结合从 ResourceManager 获得的资源和NodeManager 协同工作来运行和监控任务。ApplicationMaster同时负责向Scheduler请求适当的资源容器,跟踪它们的使用状态并监控其进展。

ResourceManager中有两个主要组件:Scheduler和ApplicationsManager。

  • Scheduler负责给应用程序分配资源。Scheduler从某种意义上说是一种纯粹的调度,它不监控和跟踪应用程序的状态,另外它也不负责重启应用程序或者硬件故障造成的失败。Scheduler根据应用程序的资源需求执行调度,这些需求基于一个抽象的资源概念Container,包括内存、CPU、硬盘和网络等。
  • ApplicationsManager负责接收作业提交,将应用程序分配给具体的ApplicationMaster,并负责重启失败的ApplicationMaster。

YARN在接口上兼容于此前的稳定版本(Hadoop 0.20.205),这意味着以前的MapReduce作业重新编译后就可以在YARN下运行。(编译/周小璐,审校/仲浩)

原文链接:Expect a Ripping Good YARN at Hadoop Summit

欢迎关注 @CSDN云计算微博,了解更多云信息。

在Hadoop上运行SQL:程序员需知晓的13种数据工具 怎样用好Eucalyptus? AWS攻势变猛,Rackspace主动降价CDN与云存储 惠普将于下季度推出低功耗的Moonshot服务器 webOS复活!LG收购webOS用于智能电视 那些因为HTML5而将消亡的产品 初窥iWatch用户界面:开创基于时间的全新体验 如何编写出拥抱变化的代码? 20个优秀的前端框架 以AWS和vCloud为标杆看四大开源平台的定位 桌面集成开发环境五年内必将“死亡”? 助影人圆梦奥斯卡 8mm相机应用其实很平庸 苹果应用审查团队叫停Cookie追踪技术 时势造英雄:中国早期O2O创业故事 iOS开发与Android开发的四大不同 “消极抵抗”AWS OpsWork?RightScale首次宣布转售并支持GCE 2012年VC都把钱投给了哪些大数据初创公司? 耐用性将成苹果iWatch最大挑战 Sphinx:首款全硬件加速HTML5游戏引擎发布 PayPal创始人Levchin又创办了一家移动支付公司Affirm Zuck、Bill Gates、Jack Dorsey上银幕激励孩子编程 十款最新开源的开发者工具/应用(组图) Django 1.5发布,Python 3开始进入主流? [爆料]英特尔:将Hadoop“固化”到Xeon中 姗姗来迟:微软终于发布Windows 7 IE10正式版 谷歌推Google+登录系统 与Facebook争夺用户信息 微软在CodePlex上开源C++ REST SDK 代号Casablanca 论OpenAPI的起源与历史 LinkedIn开源低延时变化数据捕获系统Databus 微软发布全新WP应用 随时查看App崩溃信息 做iOS开发,我为什么弃用Objective-C而选择RubyMotion? IP控件 请教!!! isapi 奇怪问题! 配置站点问题 那有统计程序写多少行的程序? combobox控件的问题 欲购pc,求助!!(进者有分啊) 高分求教!! 建立表得问题 求javascript得到vbs产生的数组 阿菜求教!一个已经建成的dbf数据库怎么修改其字段长度呢? 请问怎么样才能开发手机游戏? 那裡有用java寫的小游戲的原馬呀﹗﹗ 请问怎才可以让图象中有网格啊? 高手指教 配机!!求助!!(进者有分啊) 这样简单的程序怎么通不过! session值修改还是未解决。 一个问题? flashget怎么用? 怎么相应动态创建的控件的事件 关于多媒体播放器的问题 快结婚了,可男朋友依旧把前女友的照片当成宝贝,我该怎么办? 建议组织一个水园老五大联盟。有支持的请up ! jspsmartupload上传100M以上的文件报错怎么办? 高分求助! 在那里下载jsp服务器的软件? 大家帮个忙,急寻南京兼职,饿死了 在unix下如何编译自己写好的c语言程序? 有个问题请教 ? 保存电脑技巧的问题。 在linux下怎么使用SAMBA使用windows下面的东西? 菜鸟级问题 我要在com+中间层返回sqlserver服务器的时间,怎么通过sql语句实现? 女友是空姐没有安全感怎么办 有几个概念不清楚, 劳驾哪位给解释一下 在unix下如何编译自己写好的c语言程序? Listbox 拖放的问题!解决就给100分! orical 我的测试连接失败! 小问题,别笑! 新手对指针的理解,大家指点指点,多谢!! 重载问题??? 高分求助! 哪里有截取vpn数据包的代码学习啊??? 怎样写贴子的标题才能吸引大家的注意?举例者一律给分! 关于API 为什么我的资源管理器反应很慢? 南京远志科技公司怎么样,马上要去面试了,请大家谈谈情况 请问这是什么意思 100分马上给 升四个▲了,散分!!!顺便问问那些两个星星的,你们升到两个星星以后的心情是什么样的?会不会有些失落感? 谁知道mediaplay控件 有没有直接到 一段视频文件结尾的方法 用quickstart出现地问题 螺旋测微器的微分筒不是50分度的吗?怎么不要乘上0.02? 左手定则、右手定则实际是磁感线还是磁感应强度方向穿过手心?如果研究匀强磁场,这两个方向一致,但如果不是匀强磁场呢?应该是磁感应强度方向吧?不然可能出现受力和磁感应强度方向不 母乳喂养提高婴儿免疫力是属于自然免疫、人工免疫、还是特异性免疫?如题要具体原因 千分尺的转筒怎么看 测电阻时把挡打到200k欧上测得的数学是001.835请问怎么读这个数学,用什么公式? 为什么电容器两端电压升高 废物利用怎样用矿泉水瓶子做花瓶 锗是什么锗有什么用,作用是什么,用途方面等等详细点的解释健康用途有哪些 已知AB=OB,CO=CD,E,F,M分别为OA,OD,BC的中点,求证ME=MF如题图形 质量M=6000kg的客机,从静止开始沿平直的跑道滑行,当滑行距离为720m时,达到起飞的速度为60m/s问:若滑行过程中受到的平均阻力大小f=3.0*10三次方n,牵引力15000N,要达到上诉起飞速度,飞机的滑行 为什么有些元素有很多同位素,然而有些元素却没有同位素啊?rt为什么为什么啊?不是我不知道,就算我不知道我也能查到每个元素的大致的丰度,为什么会有这么大区别!! 汽车原灯泡55w可以换100w吗 只要磁感线是直线,该处磁场一定是匀强磁场1.关于匀强磁场,下来说法正确的是()A.某磁场中只要有若干处磁感应强度相同,这个磁场就是匀强磁场B.只要磁感线是直线,该处的磁场一定是匀强 无同位素的元素有单核粒子是指什么? 已知下列各微粒的结构示意图A+17 )2)8)7 B+12 )2)8 C+18)2)8)8 D+11 )2)8)1 E+16)2)8)8F+17)2)8)8判断:属于原子的是,属于阴离子的是,属于阳离子的是,达到稳定结构的是 质量M=6000kg的客机,从静止考试沿平直跑道滑行,当滑行距离x=720m时,达到起飞速度60m/s.滑行过程中具有多大加速度若不及滑行过程中所受的阻力,则飞机受到的牵引力为多大若滑行过程中受到阻 同位素不就是元素吗? 55w灯泡可以直接换100w的吗 什么是微分头 儿童遥控车的问题我儿子的遥控车是他的姨妈从韩国带来的,遥控器里是四节五号电池,可是原装电池用完以后,再装别的电池就不再管用.我去超市看了卖的遥控车,见到上面标的有40HZ,有25HZ还 注射疫苗是什么免疫?特异性免疫?还是计划免疫? 元素“镓”字用粤语问么读? 遥控车对孩子有什么作用 “彧”这个字拼音是什么?彧这个字怎样输入? 按每5千克废纸可以产生4千克再生纸,每千克再生纸可生产2元钱的效益计算,1440千克废纸产生的效益是多少元?要脱式计算. 在左手定则中四指指向电流方向什么意思某实验小组,探究通电导线在磁场中的受力方向跟电流方向、磁感线的方向的关系时,连接的电路和导线放置的位置如图所示(为了使导线中的电流 计划免疫与特异性免疫的区别是什么 40千克废纸可生产25千克再生纸,每千克再生纸需要多少千克废纸?每千克废纸可生产多少再生纸?列式计算 左手定则能不能反过来用,判断电流方向左手定则根据电流方向可以判断运动的方向,那么能不能用左手定则反过来根据运动方向来判断电流方向呢,但是左手定则反过来所判断的电流方向和右 这个字的拼音是什么“彧”? 1吨废纸可以加工700千克再生纸,4.9吨废纸可以加工多少前可再生纸?加工4.9吨再生纸,需要多少吨废纸?只限半小时, 左手定则四指指向的电流方向,是以哪条导线的电流方向为准? 计划免疫和特异性免疫的区别 同位素和元素怎么区别好理解的 车间级机械设备的故障诊断与预知维修,采取的是振动测量,主要测量哪些设备?可以设定某一特定的车间机械. 电容器电压什么时候会变保持电源电压不变,在电路中串联一个电阻,将电容器板间距离增大时,两极板的电压为什么不变?电压不变的话什么时候会变? 元素和同位素有什么区别? 加工中心的故障诊断及振动测量用什么仪器比较好?有做过的案例吗 竹子也能做衣服吗?竹子这么硬它是怎么变成布的?原始的竹子布是绿色还是白色?是有弹性还是硬的?变成衣服的竹子是什么样的?有什么特点?它怕水缩水吗?如果你的答案超级精彩将会在中央电 同位素与元素有什么区别吗?高分悬赏 07ODS想换远光灯,原车55W能加到100W吗?不知线路.反光罩能否受的了, 特异性免疫有哪几种 是不是每种元素都有不同的同位素?具个例子好吗?例如稀有气体? 普通螺纹的螺距常用钢尺和什么进行测量 算着算着 饭算不出来 还是辅助角公式错误? 第一次收集废纸7.5千克,正好卖了6元钱.第二次收集了12.5千克废纸,按同样的价格卖给废纸收购站,第二次收 碳元素组成的单质除金刚石外,还有一种是什么?它构成的粒子是什么? 彧这个字怎么读? 用铮组词要成语 什么是PC钻石颗粒板? 为什么正常雨水酸性变强不是因为溶于水二氧化碳变多? 我不小心把数显千分尺微分筒转到头,然后转回去了,卡住了怎么办? 在磁感应强度为b的匀强磁场中,有一与磁感线垂直且水平放置的长为l的摆线,挂以质量为m,带有+q电荷量的摆球,试求摆球通过最低位置时绳上的拉力F(匀强磁场为垂直与纸面向内) 如图,ab、cd相交于点O,且bd=bo,ca=co,e、f、m分别是od、oa、bc的中点,求证ME=MF 数字微分和模拟微分的区别问答题求答案 电场那一章的 求达人画的有点粗就是一个导体球外套带电量为Q的金属球壳然后那个金属球接地金属球半径r1 球壳半径r2 然后叫你求各个区域的电势有耐心的可以看看的我的不解老师讲的时 特异性免疫包括人工免疫吗 14.如图所示,真空中三个点电荷A、B、C,电量均为+q ,两两相距L放置,求:C所受的静电力大小和方向这是一个三角形图 这组齿轮参数是否能正确齿合(参数如图)参数详见表依次为,太阳齿轮,行星齿轮,内齿圈,行星架,行星齿轮共3个 ------------------------------------------------------------------------------------------------------ 什么是天然免疫和特异性免疫.请举例说明二者之间并无截然界限重点是 请举例说明二者之间并无截然界限!不用解释什么是天然免疫和特异性免疫 金价年内仍会维持短期强势中俄联手经贸升级版中新广州知识城主题推介会在新加坡举行世界最高大狗去世 站立高度达2.2米世界浙商大会召开执委会会议 王辉忠出记者称卡扎菲曾绑架强奸数十名女子并性前美国国安局长“私聊”遭“直播”日本新保密法引政治纷争 被称是修宪的默克尔批美国应顺便“骂醒”中国人日本东北地区发生7.1级地震 暂无人美电视台节目“杀中国人言论”被删 签专家:美脱口秀节目折射美国人欠债不还伊朗停丰度20%铀浓缩 伊朗政府尚未学者:美国软实力遭遇一场“9 11”俄罗斯免费医疗陷入两难境地 有效果难墨西哥一糖果厂爆炸 1死20人失踪各国领导人都钟爱什么手机?美媒体称俄外交官在美招间谍 费用俄方英媒:中国“由陆向海”战略面临三个挑港媒:中国令人垂涎又无人问津的公务员前美国国安局长“私聊”遭邻座“直播”李克强:人民币不存在持续贬值的基础中国高铁和农用拖拉机携手下南洋纪念国际和平日 “2015和苑和平节足球课的“可持续发展”张琳芃明年将无偿租借皇马 每年至少两多国驻华使节参加2015年全国科普日“绿哈达”再为西藏捐种千亩草地 预计热身赛-中国女足1-2遭西班牙读秒绝梅威瑟49战全胜 宣布正式退役梅威瑟收官之战 遭到帕奎奥、霍亚的讽澳洲拳坛半年内两人命丧拳台业内人士分析:梅威瑟还会复出拳击档案网站排名 梅威瑟排历史第七卡汗欲对阵帕奎奥卡汗、莫斯利12月对决迪拜张家玮夺得APB世界拳王金腰带撬盗沿街门市作案30余起 行唐三名嫌24小时国际要闻TOP10:挪地方法中超神判罚看醉了:界外球算越位 排球中国危化品物流从业人员信用评价平台上八旬法籍华人五年拍数千照片 呼吁保护
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘