说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

YARN或将成为Hadoop新发力点

HTML文档下载 WORD文档下载 PDF文档下载
2013年的Hadoop峰会上,YARN是一个热点话题,YARN本质上是Hadoop的新操作系统,突破了MapReduce框架的性能瓶颈。Murthy认为Hadoop和YARN的组合是企业大数据平台致胜的关键。

Yahoo!最初开发Hadoop,是为了用于搜索和索引Web网页,目前很多的搜索服务都是基于这个框架的,但是Hadoop从本质上来说还只是一个解决方案。2013年的Hadoop峰会上,YARN是一个热点话题。三年的酝酿,YARN本质上是Hadoop的操作系统,突破了MapReduce框架的性能瓶颈。

MapReduce是在HDFS下操纵数据的主要机制。对于处理和分析海量数据(如多年的日志文件和其它半结构化的数据),这是一个很好的选择,但并不适合其它类型的数据分析。三年前,Hortonworks的创始人兼架构师Arun Murthy开始着手重新架构Hadoop(Hortonworks刚刚宣布在新一轮的融资中获得了5000万美元,Tenaya Capital和Dragoneer Investment Group主导了本轮融资,前投资人Benchmark Capital、Index Ventures和Yahoo!也参与其中),以使其成为一个更通用的大数据平台。

  • Arun Murthy提到:“着手构建Hadoop2.0时,我们希望从根本上重新设计Hadoop的架构,达到可以在Hadoop上运行多个应用程序并处理相关数据集的目的。这样一来,多种类型的应用程序都可以高效、可控地运行在同一个集群上。这是以Hadoop 2.0为基础的Apache YARN之所以能够诞生的真正原因。通过YARN管理集群的资源请求,Hadoop从一个单一应用程序系统升级成为一个多应用程序的操作系统。”

Murthy所说的其它类型的应用程序包括:机器学习,图像分析,流分析和互动查询功能等。一旦YARN全面投入使用,开发者将能通过YARN“操作系统”将存储在HDFS中的数据用于这些应用程序。Hive就是由Facebook开发的HDFS上层的SQL类型的数据仓库工具,但是后台的数据处理还要通过MapReduce。Hive很消耗资源,会影响其它同时运行的作业。其它Hadoop相关的数据分析子项目也都是类似的情况。


YARN是一个真正的Hadoop资源管理器,允许多个应用程序同时、高效地运行在一个的集群上。有了YARN,Hadoop将是一个真正的多应用程序平台,可服务于整个企业。Murthy表示通过YARN可以以一种前所未有的方式与数据交互,YARN已经被用于Hortonworks的数据平台,Hadoop和YARN的组合是企业大数据平台致胜的关键。

MapReduce2.0——YARN的基本架构

MapReduce在Hadoop 0.23时已经经历了一次大规模更新,新版本的MapReduce2.0被称为YARN或MRv2。


YARN的基本思想是将JobTracker的两个主要功能(资源管理和作业调度/监控)分离,主要方法是创建一个全局的ResourceManager(RM)和若干个针对应用程序的ApplicationMaster(AM)。这里的应用程序是指传统的MapReduce作业或作业的DAG(有向无环图)。

  • ResourceManager和每个slave结点的NodeManager(NM)构成了数据计算框架。ResourceManager负责最终将资源分配到各个应用程序。NodeManager是每台机器的框架代理,负责管理容器,监控它们的资源使用情况(CPU,内存,硬盘,网络),同时向ResourceManager/Scheduler汇报。
  • 针对各个应用程序的ApplicationMaster实际上是一个详细的框架库,它结合从 ResourceManager 获得的资源和NodeManager 协同工作来运行和监控任务。ApplicationMaster同时负责向Scheduler请求适当的资源容器,跟踪它们的使用状态并监控其进展。

ResourceManager中有两个主要组件:Scheduler和ApplicationsManager。

  • Scheduler负责给应用程序分配资源。Scheduler从某种意义上说是一种纯粹的调度,它不监控和跟踪应用程序的状态,另外它也不负责重启应用程序或者硬件故障造成的失败。Scheduler根据应用程序的资源需求执行调度,这些需求基于一个抽象的资源概念Container,包括内存、CPU、硬盘和网络等。
  • ApplicationsManager负责接收作业提交,将应用程序分配给具体的ApplicationMaster,并负责重启失败的ApplicationMaster。

YARN在接口上兼容于此前的稳定版本(Hadoop 0.20.205),这意味着以前的MapReduce作业重新编译后就可以在YARN下运行。(编译/周小璐,审校/仲浩)

原文链接:Expect a Ripping Good YARN at Hadoop Summit

欢迎关注 @CSDN云计算微博,了解更多云信息。

深度学习新算法,完成字里行间的情绪识别 如何在开发项目里和难缠的程序员合作? 移动周报:七大无需编程的DIY开发工具 手把手教学,用jQuery Mobile创建Web App 别惊讶,Android绿色机器人标志灵感来自于卫生间标识 Google TV更名为Android TV 智能电视的路不好走 CTO如何避免决策失控(四)——通盘考虑 做到技术业务不分家 重塑世界!历届MDCC重磅嘉宾演讲大回顾 从贝佐斯的14句言论看商业成功之道 5大宠物可穿戴式设备 Google CIO Ben Fried谈内部工具文化 【开源专访】Fourinone创始人彭渊:打造多合一的分布式并行计算框架 API优先架构或者胖瘦服务器之争 Windows Phone 8迎来Update3更新:支持更大屏幕 更多磁贴 AMD院士站台 异构计算与OpenCL编程师资培训首站清华开讲 Twitter、Square开创者Jack Dorsey的奇趣人生 利用CSS、JavaScript及Ajax实现图片预加载的三大方法 经典电影里的数学 15亿美元!软银联合GungHo收购手游巨头Supercell Oracle“炮轰”开源:称其永远无法在军事领域取得一席之地 零客户端:下一代计算分布模型 苹果聘奢侈品公司巴宝莉CEO Angela Ahrendts为零售主管 看看你会几个?9大最火的移动开发技能 为了进一步拴住用户:传亚马逊与HTC合作开发智能手机 三年?又三年!今年MDCC2013大不相同! 杨远骋:聚美优品与百度云推送的故事 糗事百科王坚:百度云推送让我们省心 10个最热JavaScript开源框架的社区活跃度对比 2013福布斯中国富豪榜:李彦宏第三、马化腾第五、马云第八 Storm又获东风,Hortonworks计划将其整合到Hadoop企业版 IBM CEO:预测高新技术 五个我最喜欢的方式 敬一杯“情人醉”给MM_mimi(人淡如菊),别人不要进来呀! 谁有过同样的遭遇??? 长整数除法的算法?? 关于Java Plug-in和Applet的一个问题 请求推荐有关SDK的好书!!!!!!! 我受不了了 个人主页链接如何让鼠标变成手形?谢谢! 老话题:三层结构中blob字段的存取出问题了? run-time类是怎么回事? 当多个程序对同一个文件进行读写操作,如何防止同时写入造成混乱? 求银行家算法的c程序! 请问W2K下面鼠标阴影的效果是用哪个API实现的? 我提议有编程经验的朋友们,一起来研究一种真正符合我们实际开发工作的模板 我用上kylix了!!!!!!! 请教,关于NT域用户的问题!NT账号,怎么设定唯一性呀?比如有aa的用户,我用aa登陆后,别人不能用aa同时登陆了?应该在那儿设置呀? Mfm1992?是个什么东西呀! 如何在informix/esql c中使用大事物? 如何保存收下來的email呢???!!!!! 关于一个网站建设的问题,望高手指点。 求救;如何建立一个登陆页面? 谁能给出一个远程访问互联网ACCESS数据库的经典代码?有28分送上! 怎样将-个十六进制数转换为十进制? 如何将java程序编译成dll文件 cannot focus a disabled or invisible window 一表我想通过文本框来增加记录,为何不能发送到表中,不要告诉我是没有post的原因。 奇怪,borland的开发能力这么强,为什么几乎没有一个象office那样流行的应用软件呢?如果它的应用软件很多,就不会象现在这样穷了吧? Delphi 数据库不如Power Builder 吗? 请问怎么安装新的控件? B样条曲线:如何由经过点反算控制点? Berzer曲线:如何由经过点反算控制点? 关于activereport的字符集问题 有没有计算曲线长度和交点的好方法? Install Shield For VC6怎么用???????????????????? ODBC数据库 ****有没有计算曲线长度和交点的好方法? ****Berzer曲线:如何由经过点反算控制点? ****B样条曲线:如何由经过点反算控制点? 有谁知道"边缘频率"、"中间频率"、"双频分析" 请问oicq登陆以后的住界面的我的蚝油dock是如何实现的,是什么vcl,或者自己写,如何实现?请指点! pfc的好处? 一个伪程序员的自白 不但给分,还给¥ 散分给喝过酒兄弟姐妹们(今天心情很不好,我深爱的人不爱我,苦痛,郁闷,多喝了几坛,请ghj1976、3B、roani谅解,最后一坛酒,感谢水园的朋友们) 怎样准备高程考试,还有三个月! 人生自古谁无错 -- 对青年时代的林仙儿心理活动的分析 小的大三,放暑假了,现在上海找一个单位实习,各位知情者请告知,定重谢! 请问如何让我做的程序一直在最底层呢、?? Oracle的外键是否能让所有有关联的表一起改变? 创建子窗口,子窗口又创建子窗口,在创建子子窗口时如何释放子窗口? 几个问题,能解决吗? 简单C语言字符串问题 推荐一些简单的英文歌曲,适合学英语的.要好听一点的,最好是安静一点的.本人英语不太好~不要太慢的、想my love的速度差不多. 初中英语完形填空Two men were ( 1 ) in a very wild and lonely part of America.( 2 )days they had not even seen a huose,only a few huts made( 3) wood.Then one day they met an old Indian.They found that he knew their language.One of 怎样能提高英语听力、完形、阅读理解的能力?我现在已经是高二下学期了, 我从三年级起就没学过英语,我现在初二,我这个暑假学英语,我该怎么学 完形填空我是一名初中生,英语就觉得背单词和完形填空好难,特别是里面有很多生单词,请问应该怎样克服这道障碍呢? 如何做英语的完形填空和阅读理解和听力 六年级下册数学44页第一题怎么写? 七年级英语上典中点Unit11标准测试卷单项选择,完形填空阅读理解答案.感谢!别说要再买一本什么的.也别说什么自己努力.答得好再加50分 再次谢谢了! 有的时候遇到不会做的总会觉得很烦怎么保持平静的心态去做 另外希望把初二初三的重点词组稍微罗列下 六年级上册数学书100页答案 人教版七年级英语完形填空和阅读理解谁能给我一些题啊 one day,Mr.smith 1 out for a walk in the street.he 2 about a maths problem.he 3 to work it out.just then he 4 a blackboard in front of him.he 5 to write the problem with a chalk on it.then the blackboard 6 a little.Mr.smith moved with it.but the blac 人教版六年级下册数学课本100页答案我只要第7题式子.在长12.4,宽7.2的长方形纸中,剪半径是1厘米的圆,能剪几个?结果要是28,求式子. 阅读理解与完形填空练习题 英语NBA is the most famous basketball game in the world.There ① a Chinese players in this game.His name is Yao Ming.He is ② player in this game.In his spare time,Yao ③ cars.On last Christmas, 英语初中阅读理解、完形填空各5则求英语初中七年级上学期starter水平阅读理解、完形填空各5则,要适当有一些难度.如果答案很好将适当加分,注意迅速.另外,其实不是starter的也行,超教材 1:什么是十进制计数法?你能说出哪些计数单位?2:怎样比较两个数的大小?3:分数的基本性质和小数的基本性质有什么关系?4:小数点移动位置,小数大小会发生什么变化?5:因数、倍数、质 关于英语的完形填空和阅读理解题考英语的时候有一毛病,基础可以一点不错,但是完形和阅读我就惨了啊!各位提提做这些阅读题的方法吧! 有没有初中的阅读理解和完形填空啊? 六年级下册数学书第77页答案写详细 完形填空练习书浙教版英语九年级完形填空的练习书有什么比较好的可以推荐的?英语基础还是不错的,但是完形方面不是很好。还有就是选词填空的练习书。推荐好的话我会再给分的;另 我现在初三,做阅读和完形的时候,有好多句子看不懂,选答案时特别纠结,不知道选什么好,最后卷子发下来阅读和完形扣了好多分,我不想在中考的时候英语会拉分啊! 7页第七.求 苏教版的 请推荐一本专门练完形填空和首字母的初中练习书和英语字帖.如果没有此类专门书籍,英语阅读练习类书籍也可.英语字帖不要练连笔的,最好说下出版社,毕竟重名的是有的. 怎样做好初中完型填空和阅读理解 苏教版的六年级数学书上册的第二页第7题(2)小题 高中英语阅读理解和完形填空练习书哪个好 Different people speak different languages,but 1 have a language of their own .Anyone can play.A player’s native(本国的)language is not 2 .A football player from Japan can play with a player from England.One does not3 to understand the langrage 小学数学六年级上册练习与测试12-15页答案 第几页第级题写清楚 哪种高中完形填空的练习书是15个空的?英语完形填空 初中完型填空You cannot see (1) feel it when it is a part of the air.The water in the seas,rivers and lakes is liquid(液体).The water in the air is not a liquid (2) a gas.Clouds are made of water.They may be made of very small drops of water.w 小学数学六年级上册练习与测试111页到114页答案 英语题目(完形填空2道)1.I know it takes a (l ) more time.2.You can start your journey when you (w )to,and you don't (n ) to get to the station. 初中英语完型填空怎么才能做好? 练习与测试小学数学6年级上册第12页第2题怎么解答? ——速求“Happy Fourthe of July!"Garrett loves to hear theae words.The Fourthe of July s his favourite h____.It celebrates when America won freedom from from England.It h____ on the fourthe day of July.Every year,Garrett's family goea to the big 如何作好初中英语的完形填空 一部分也可以。1.男生人数是女生的1.2倍。如果女生有x人,男生和女生一共有()人,男生比女生多()人。2.水果批发市场运来苹果3.5吨,运来的梨比苹果的2倍多0.1吨,运来的梨有()吨。3. 英语完形填空一道~He decided to ( ) a holiday in an excellent hotel in a big town.A.spend B.have 怎样做好初中英语完形填空做好初中英语完形填空,使错误最少,有啥诀窍吗? 小学数学练习与测试6年级上册期中测试答案也就是43、44、45页答案,应用题算式尽量列出来好的给分!!! 急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急 I'm Tina.It's my birthday today.A_______of my friends come to my party.It's a very e_______party.(总归是填好的) 英语四级 阅读理解里的选词填空和完形填空哪个分值多?大谢大谢! 急 求高手做完形填空We just don't treat each other 1. as thatlike thatthe way we used to. I suppose we don't have the time, 2. orbuthowever our lives are too difficult or something. Maybe the city 3. I liveI live inwhere I live in is too big. (首字母已给)Thomas Edison was one of the greatest American i___. 英语(选词填空,阅读理解):1.(also ,as well)Mr green can_______sing the song in chinese.She is the teacher and the singer______.2.她与她的朋友们相处很融洽.She_____ _____ _____ _____ _____her friends.(共有5个空格)3.父母 初三完形填空题There are two kinds of music in the world-one is written down and the other is not.many people earn their living ____music.they write songs for pop stars and music for films and TV plays.they usually write exact institutions on _ 帮我解决2个问题:1个是完形填空,1个是根据首字母提示完成短文,完形填空:Tom is an ___ boy.He’s twelve ____He’s two years ____ than his brother,Jim.Tom is 150 cmand Jim is160 cm.Jim is 50 kilos and Tom is 60 kilos.Tom (初中英语)选词填空.谢! 问一下怎么才能把英语的阅读理解和完形做好(具体的练习方法) 小学英语完形填空(首字母完形填空)Romeo and Juliet is one of Shakespeare's most famous p_____. 2.The biggest distiction b_____ the two versions is that the new one is written by the public. 3.The specific plot is provided by 选词填空. 暑假应当怎么学英语,我是新初三. 初中英语完形填空 1篇The gir got up on the horse.It was a brown__1__ white horse.It was big horse.She__2__on the horse's back.She was taller than her father.She looked__3__ at her father."Daddy,you are shorter than __4__' she said.Her daddy s manage depend burn know art 1.There is going to be a talk on fine ____ this afternoon.2.The secrets between the two girls were _____ except themselves.3.To be _____ is a very important character of a person.4.Winning the competition led her first int 暑假学英语,广州哪里去? 初中英语一道完形填空. 选词适当形式填空1~6题初中英语 学英语有什么好方法(关于做听力、完形填空、阅读理解之类的题)今年6月份就要中考了.在英语方面,初一的时候感觉还没什么,但到了初三后,就感觉像完形填空、阅读理解之类的题有些困 一道初中英语的完型填空On the first day of school, the new teacher had a look at the list. The students’ names were written on it. 1 pleased the teacher was! Guess what she found?After each 2 name was a number, such as 138, 140, 154 a 求初中英语选词填空答案( 1 )well ,soft,second ,better ,may ,strongly,afraid,sand ,stay up,if,now,house We can’t stop an earthquake(地震),but we can do things to make sure they don’t destroy(毁坏) whole cities.First,it is not a 1 .__
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn