说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

YARN或将成为Hadoop新发力点

HTML文档下载 WORD文档下载 PDF文档下载
2013年的Hadoop峰会上,YARN是一个热点话题,YARN本质上是Hadoop的新操作系统,突破了MapReduce框架的性能瓶颈。Murthy认为Hadoop和YARN的组合是企业大数据平台致胜的关键。

Yahoo!最初开发Hadoop,是为了用于搜索和索引Web网页,目前很多的搜索服务都是基于这个框架的,但是Hadoop从本质上来说还只是一个解决方案。2013年的Hadoop峰会上,YARN是一个热点话题。三年的酝酿,YARN本质上是Hadoop的操作系统,突破了MapReduce框架的性能瓶颈。

MapReduce是在HDFS下操纵数据的主要机制。对于处理和分析海量数据(如多年的日志文件和其它半结构化的数据),这是一个很好的选择,但并不适合其它类型的数据分析。三年前,Hortonworks的创始人兼架构师Arun Murthy开始着手重新架构Hadoop(Hortonworks刚刚宣布在新一轮的融资中获得了5000万美元,Tenaya Capital和Dragoneer Investment Group主导了本轮融资,前投资人Benchmark Capital、Index Ventures和Yahoo!也参与其中),以使其成为一个更通用的大数据平台。

  • Arun Murthy提到:“着手构建Hadoop2.0时,我们希望从根本上重新设计Hadoop的架构,达到可以在Hadoop上运行多个应用程序并处理相关数据集的目的。这样一来,多种类型的应用程序都可以高效、可控地运行在同一个集群上。这是以Hadoop 2.0为基础的Apache YARN之所以能够诞生的真正原因。通过YARN管理集群的资源请求,Hadoop从一个单一应用程序系统升级成为一个多应用程序的操作系统。”

Murthy所说的其它类型的应用程序包括:机器学习,图像分析,流分析和互动查询功能等。一旦YARN全面投入使用,开发者将能通过YARN“操作系统”将存储在HDFS中的数据用于这些应用程序。Hive就是由Facebook开发的HDFS上层的SQL类型的数据仓库工具,但是后台的数据处理还要通过MapReduce。Hive很消耗资源,会影响其它同时运行的作业。其它Hadoop相关的数据分析子项目也都是类似的情况。


YARN是一个真正的Hadoop资源管理器,允许多个应用程序同时、高效地运行在一个的集群上。有了YARN,Hadoop将是一个真正的多应用程序平台,可服务于整个企业。Murthy表示通过YARN可以以一种前所未有的方式与数据交互,YARN已经被用于Hortonworks的数据平台,Hadoop和YARN的组合是企业大数据平台致胜的关键。

MapReduce2.0——YARN的基本架构

MapReduce在Hadoop 0.23时已经经历了一次大规模更新,新版本的MapReduce2.0被称为YARN或MRv2。


YARN的基本思想是将JobTracker的两个主要功能(资源管理和作业调度/监控)分离,主要方法是创建一个全局的ResourceManager(RM)和若干个针对应用程序的ApplicationMaster(AM)。这里的应用程序是指传统的MapReduce作业或作业的DAG(有向无环图)。

  • ResourceManager和每个slave结点的NodeManager(NM)构成了数据计算框架。ResourceManager负责最终将资源分配到各个应用程序。NodeManager是每台机器的框架代理,负责管理容器,监控它们的资源使用情况(CPU,内存,硬盘,网络),同时向ResourceManager/Scheduler汇报。
  • 针对各个应用程序的ApplicationMaster实际上是一个详细的框架库,它结合从 ResourceManager 获得的资源和NodeManager 协同工作来运行和监控任务。ApplicationMaster同时负责向Scheduler请求适当的资源容器,跟踪它们的使用状态并监控其进展。

ResourceManager中有两个主要组件:Scheduler和ApplicationsManager。

  • Scheduler负责给应用程序分配资源。Scheduler从某种意义上说是一种纯粹的调度,它不监控和跟踪应用程序的状态,另外它也不负责重启应用程序或者硬件故障造成的失败。Scheduler根据应用程序的资源需求执行调度,这些需求基于一个抽象的资源概念Container,包括内存、CPU、硬盘和网络等。
  • ApplicationsManager负责接收作业提交,将应用程序分配给具体的ApplicationMaster,并负责重启失败的ApplicationMaster。

YARN在接口上兼容于此前的稳定版本(Hadoop 0.20.205),这意味着以前的MapReduce作业重新编译后就可以在YARN下运行。(编译/周小璐,审校/仲浩)

原文链接:Expect a Ripping Good YARN at Hadoop Summit

欢迎关注 @CSDN云计算微博,了解更多云信息。

有道周枫和他的“放养”团队 看IE11如何助力AAF推动公益事业 SUSE总裁Nils:将SUSE Cloud 2.0打造成“零影响的云安装程序” Windows 8之父Steven Sinofsky:2014年科技界的十大趋势 电视盒子还没智能化?看Fan TV们怎么玩 畅游启动“必赢计划” 十亿巨资代理优质产品 数据控使用Hadoop的三种最常用方式 值得创始人学习的五大企业文化管理方式 圣诞节快乐:来自程序员们的问候 宏碁任命新CEO Jason Chen:曾任职英特尔14年、台积电8年 史上第一次越狱发布会与Evad3rs太极助手罗生门 新东方在线CTO曾明:已用Cocos2d-html5开发出150余款产品 Facebook 2013年的9个开源项目 开源力量公开课2013年度庆典:我们的开源项目 看雪学院“走进企业看安全”活动走进安全管家 视频+PPT:苹果iOS7 Tech Talks大会演讲内容 iPhone 6和Galaxy S5暂不会采用弯曲屏技术 当程序不工作时,开发者常用的借口 携程技术副总裁叶亚明:三次重大技术改进的故事及背后原因 Google抛弃C语言,采用Go语言重写Go编译器 jQuery Mobile 1.4.0正式版发布,着重性能改进 IBM收购Aspera加速大数据传输 各式各样的极品程序员,你属于哪一种 Google员工离职前必做的14件事情 GitHub上最火的开源项目及编程语言是什么? 2014的12个大数据趋势:Hadoop继续升温,R将进入主流 研究称三星手机可能存在安全漏洞 初创IT公司里开发者最容易犯的九种错误 还有多少开发者在为IE6做兼容性测试? 解读华三“新IT易之道”理念下的云计算和数据中心 回顾苹果2013:硬件几乎无突破 热衷收购 如何卸载rose 分虽小,结得快的啊!讨论一下…… option explicit是什么意思 大哥大姐们!看一下嘛!帮帮我! 又一次被奶牛拒掉,而且有了注册机。 simple question 60 points wait for your picking (菜鸟的问题)在EditBox中怎么换行? 超级难题 SQL如何写??? 如何让WinCE支持DVDROM 請問如何在ASP.NET中實現從客戶機上傳文件到服務器? 新手问:我声明api,但是参数里有我没有定义的类型,pb报错,怎么办 关于Tclientdataset中commandtext的问题 关于按扭的简单问题 调用ejb的错误,请帮忙看看,帮我顶顶也给分,谢谢 关于lei的配置问题 java中 ,换行为\r\n ,空格为什么呢???? 关于快速排序的问题?在线等待!!! 如何在网页上显示动态图表?(送100分) 高兴,散分,收集故事喽,多讲多得,不讲不得。请斑竹留情,不要删除。 一个文件上传的bean编译成功了,但不会使,哪位用过,请给出使用的源代码,或者其它能实现上传的也行,越简单越好并附说明的 我想在触发器中得到对当前表的SQL操作的内容,应该如何实现??v$sql视图中有相关的信息,如何提取?? 心情好好,散分,各位谈谈LINUX和UNIX的感受啊:) Can u help me? 在B/S下如何根据不同用户来相应的mail库 insert into 求解! 各位高手帮帮忙,关于存储过程的问题 请教:VFP6在表单1中,关闭表单1打开表单2。结果显示表单2后,表单1又显示了一下才关闭。怎样让表单1直接关闭呢?谢谢! 很简单的问题--可是我不懂如何用javascript实现弹出窗口(无菜单和工具条的) 请高手帮忙有关“邮件多播”的问题。 《Oracle Pro *C/C++设计》的下载 哪位有最简单的SERVLET的里子,包括添加,查询。。。 水园的人有没有搞过聚会啊? SOS,用脚本连接数据库问题,100分求助,请帮忙。 救救我!SOS!SOS! 请问谁有恩雅的Mp3下载地址吗? 提示wscript未定义?该如何改呢? 关于C#遍译可执行程序问题 请高手看看,这个问题很有意义!为了同时查询不同的数据库(在不同的服务器上),请问用ASP怎么样实现多线程查询不同的库? 我是初学者,在开发ejb中,请问update、add和delete 的操作 ,在session bean中直接写sql来updat、add、delete语句对库操作行吗?还是在e 请问如何编程实现将打印的内容控制在一页之内? 请问如何编程实现将打印的内容控制在一页之内? 微软专家来看:我的datagrid排序还不行,为什么??? ******请教,VC中重新排版源代码的功能按键怎么用???****** 请教MYSQL_RESULT()函数! 加密方法分析 我是初学者,在开发ejb中,请问update、add和delete 的操作 ,在session bean中直接写sql来updat、add、delete语句对库操作,还是在entiy 防伪编码排版 如何取的当前鼠标的X,Y值? Win2k的NETBIOS程序如何跟DOS下的纯netbios程序通信???十分紧急,谢谢 DBGrid的实时刷新 请问哪里还有好一点的VB论坛? soon finish the book write how you如何连词成句今天的作业,快点 英语作文60字左右:关于穿着(就是穿衣服)的话题、就你而言,是以舒适为主还是以时尚为主?说说你的观点 Auto-Detect Hard What is the biggest country ________(anaadC)把打乱的单词拼好What is the tallest tree?_________(ewRdood)把打乱的单词拼好 die的过去式是什么 谁让你执着?用英语怎么说 选词填空 1.are they[ ].yes,they are a.swim b.going to swimming c.swimming d.swims 动词后边接什么 英语中动词变形容词 hurry 这个词hurry 变副词为什么要在后面加ed再加ly呢?hurriedly 它是不规则的吗? Can Amy ____ A、swim B 、swimming C、swims D、to swim At the end of a letter you should write yours t_______ and your name. 用动词的适当形式填空 hurry up!we_____(wait) for you She can’t _______ in the classroom.A.swims B.swim C.swimming D.to swim我不光要答案,还要原因~ 怎么往mp3上下英语短文啊 look forward to doing/expect to do 有区别吗 北京哪有英语角 Can he___fast?A.swims B.swimming C.swim Sometimes you can write “________(sincere) yours “ at the end of your letter. 北京现在哪里还有英语角?我英语水平特别不好,可以说得从音标学起吧,所以想去英语角,感受一下氛围,最好能是周六日的,因为平时工作没有时间啊!去过的人给介绍介绍吧, 2010年12月的四级中仔细阅读的答案怎么新东方的和沪江网的不一样啊? villege怎么读 读音写汉字 北京哪里还有英语角?人大周五晚还有吗? 沪江和新东方什么关系? 根据所给单词的读音写出相应单词,并写中文 用所给词的正确形式填空Do you often go____(swim)? 新东方和沪江网校哪个更好一点? 八年级(上)数学单元测试题(三)1.在梯形ABCD中 ,AD//BC,中位线EF分别交AC,BD于点G,H,且G,H分别为AC,BD的中点,AD=3,BC=5.求GH的长. how often do you go swim?改错 这次英语六级新东方和沪江答案有哪些不一样的,到底哪个对?如题! if后加动词什么形式 ( )( )you often( )in winter?go skating (提问) 上午刚考完四级,想问下现在新东方,沪江上面给的答案准吗?我今天上午刚考完四级,用沪江上面的答案估分418(作文估的75).我想问下现在新东方,沪江上面给的答案准吗?我都不知道自己还有没 if 后面接动词什么形式听说if后面如果是虚拟语气就用动词过去式,条件状语从句就用一般现在时.那是不是意味着:翻译这句话:如果我做的话,我就会更快乐(指做将来的事情和以前的事情 he asked me ,Do you often go skiing in winter改间接引语,我就是不知道后面的go要不要变时态.纠结ING help! Do you often write letters____your sisterA for B to C with D at if作是否用时,后面跟动词什么形式I want to know if you ___(go) hiking next week 翻译:"get undressed,take a shower和take off your shoes and clothes,go to bed. 关于名人的不良行为习惯说的仔细一些 are you?(write) a letter?适当形式填空 i go to _______ a shower.A take B make 选几为什么 英语作文不好怎么办, Write me a letter and let me know how you are getting on with your stuides中为什么不用动名词Writing做主语?我要详细…… Many people love to ____a shower in the morning.A go B get C take D join 如何养成良好的行为习惯英语作文 how are you?lt's very_1_of you to write _2_me.from you letter l _3_a lot about you and your school.now l will _4_you something about me and my school.1.A nice B good C fine D firm2.A from B of C too D to3.A get B study C talk D know4.A tell B say C s 英语翻译Nothing Succeeds Without a Strong WillNo great work can be performed without will.We envy famous men and imagine that fame was due to some trock of luck.But when we know their histories,we find that it is long years of will and constant e 英语作文很不好每次作文十五分,我总被扣五分.怎么提高英语作文? 怎样练就一口标准的英语口音?我说的英语一般都不标准,怎样才能说出一口标准的英语啊?我才14岁,我居住的这地方没英国人,没钱移民。 石家庄哪里有英语角啊? 不好的行为习惯对我们有什么不好 英语:如何练就标准的美国口音!What's the best way to study English? 英语口语比赛演讲稿 十万火急!微笑参与2008 要求:3-5分钟(350词以上) 什么才算是纯正的英语口音有以下几个问题,请专家回答:1.英语有多种口音,即使在一个以英语为母语的国家的不同区域也有多种口音.比如英国就有多种口音,英格兰口音,伦敦口音,苏格兰口 如何能练就一口标准的英语贵族口音!贵族口音,就是牛津音,英国式贵族口音,如何练就? Do you swim often还是 Do you swim oftenly?哪个才是对的说法呢? 有没有训练英语发音的书,带磁带或光盘的?还有,在哪里能泛听不同口音的英语呢? 英语口音的疑问http://v.youku.com/v_show/id_XMTQ5Njk2NTA0.html请问这个是不是非常纯正的英式英语?Discovery里面的是美式还是英式(指的是广告时段的那个声音)? 新东方学四级英语有用吗..效果大不大.. 胖子和瘦子怎样穿衣.英语作文.非常急.胖子瘦子怎样穿衣.英语作文. 屏幕auto detect是什么意思
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘