说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

YARN或将成为Hadoop新发力点

HTML文档下载 WORD文档下载 PDF文档下载
2013年的Hadoop峰会上,YARN是一个热点话题,YARN本质上是Hadoop的新操作系统,突破了MapReduce框架的性能瓶颈。Murthy认为Hadoop和YARN的组合是企业大数据平台致胜的关键。

Yahoo!最初开发Hadoop,是为了用于搜索和索引Web网页,目前很多的搜索服务都是基于这个框架的,但是Hadoop从本质上来说还只是一个解决方案。2013年的Hadoop峰会上,YARN是一个热点话题。三年的酝酿,YARN本质上是Hadoop的操作系统,突破了MapReduce框架的性能瓶颈。

MapReduce是在HDFS下操纵数据的主要机制。对于处理和分析海量数据(如多年的日志文件和其它半结构化的数据),这是一个很好的选择,但并不适合其它类型的数据分析。三年前,Hortonworks的创始人兼架构师Arun Murthy开始着手重新架构Hadoop(Hortonworks刚刚宣布在新一轮的融资中获得了5000万美元,Tenaya Capital和Dragoneer Investment Group主导了本轮融资,前投资人Benchmark Capital、Index Ventures和Yahoo!也参与其中),以使其成为一个更通用的大数据平台。

  • Arun Murthy提到:“着手构建Hadoop2.0时,我们希望从根本上重新设计Hadoop的架构,达到可以在Hadoop上运行多个应用程序并处理相关数据集的目的。这样一来,多种类型的应用程序都可以高效、可控地运行在同一个集群上。这是以Hadoop 2.0为基础的Apache YARN之所以能够诞生的真正原因。通过YARN管理集群的资源请求,Hadoop从一个单一应用程序系统升级成为一个多应用程序的操作系统。”

Murthy所说的其它类型的应用程序包括:机器学习,图像分析,流分析和互动查询功能等。一旦YARN全面投入使用,开发者将能通过YARN“操作系统”将存储在HDFS中的数据用于这些应用程序。Hive就是由Facebook开发的HDFS上层的SQL类型的数据仓库工具,但是后台的数据处理还要通过MapReduce。Hive很消耗资源,会影响其它同时运行的作业。其它Hadoop相关的数据分析子项目也都是类似的情况。


YARN是一个真正的Hadoop资源管理器,允许多个应用程序同时、高效地运行在一个的集群上。有了YARN,Hadoop将是一个真正的多应用程序平台,可服务于整个企业。Murthy表示通过YARN可以以一种前所未有的方式与数据交互,YARN已经被用于Hortonworks的数据平台,Hadoop和YARN的组合是企业大数据平台致胜的关键。

MapReduce2.0——YARN的基本架构

MapReduce在Hadoop 0.23时已经经历了一次大规模更新,新版本的MapReduce2.0被称为YARN或MRv2。


YARN的基本思想是将JobTracker的两个主要功能(资源管理和作业调度/监控)分离,主要方法是创建一个全局的ResourceManager(RM)和若干个针对应用程序的ApplicationMaster(AM)。这里的应用程序是指传统的MapReduce作业或作业的DAG(有向无环图)。

  • ResourceManager和每个slave结点的NodeManager(NM)构成了数据计算框架。ResourceManager负责最终将资源分配到各个应用程序。NodeManager是每台机器的框架代理,负责管理容器,监控它们的资源使用情况(CPU,内存,硬盘,网络),同时向ResourceManager/Scheduler汇报。
  • 针对各个应用程序的ApplicationMaster实际上是一个详细的框架库,它结合从 ResourceManager 获得的资源和NodeManager 协同工作来运行和监控任务。ApplicationMaster同时负责向Scheduler请求适当的资源容器,跟踪它们的使用状态并监控其进展。

ResourceManager中有两个主要组件:Scheduler和ApplicationsManager。

  • Scheduler负责给应用程序分配资源。Scheduler从某种意义上说是一种纯粹的调度,它不监控和跟踪应用程序的状态,另外它也不负责重启应用程序或者硬件故障造成的失败。Scheduler根据应用程序的资源需求执行调度,这些需求基于一个抽象的资源概念Container,包括内存、CPU、硬盘和网络等。
  • ApplicationsManager负责接收作业提交,将应用程序分配给具体的ApplicationMaster,并负责重启失败的ApplicationMaster。

YARN在接口上兼容于此前的稳定版本(Hadoop 0.20.205),这意味着以前的MapReduce作业重新编译后就可以在YARN下运行。(编译/周小璐,审校/仲浩)

原文链接:Expect a Ripping Good YARN at Hadoop Summit

欢迎关注 @CSDN云计算微博,了解更多云信息。

VB5实现窗口图像缩放、滚动技巧 VB6.0动态加载ActiveX控件漫谈 VB编程步步高-表单篇 VB编程常见问题 VB编程中如何锁定鼠标 VB创建位图菜单 VB实现按钮浮动效果 VB应用程序中的工具提示和状态显示 VB中处理长列表框项的两种方法 VB中多级下拉列表的实现 VB中防止将重复项目添加到列表框控件中 VB中实现菜单分割 VB中实现带预览的对话框 VB中实现同一窗口的多个实例及控件的动态增减 VB中阴影字体的实现 VB自定义数据结构的传输转换 Visual Basic 窗体背景花纹的实现 Visual Basic 中的界面设计原则和编程技巧 Visual Basic 中文本框处理技巧集萃 Visual Basic 中字符淡出淡入的实现 Visual Basic窗体背景花纹的实现 Visual Basic下工具条的制作 Visual Basic中的界面设计原则和编程技巧 Visual Basic中在同一界面输入大量数据的几种方法 VisualBasic中的界面设计原则和编程技巧 VisualBasic中用户界面的设计原则 把 VB 标准的工具栏变成平面式 把窗体卸载干净-VB资料 保持初始的窗体大小-VB资料 编程实现将所有窗口最小化-VB资料 不规则形状窗口详细说明 -VB资料 备份主域控制器加入后,登陆不进去了 新手上路,DDE的,绝对给分!!! 帮帮我 怎样修改一个窗口的系统菜单? 怎样将自己做的ASP.NET程序放到IIS服务器上去?服务器需要怎么配置? 在线等待一个问题!!!解决问题就散帖 关于NETANT的有不健康连接的通知????? 一个关于SQL_Server2000复制时发生的问题,请大家帮忙!(在线等待) 当我删除一条记录时会跳出错误,谁帮我看看 请囊相授求帮助 对这个程序实现上大家有什么想法? 触发器一行更新与多行更新有什么区别 请问如何能让我的Cricheditctrl最多输入100个字符???谢谢!!!!! 关于向数据库中插入时间的问题 在局域网中如何判断是否连到服务器?(用delphi) 有没有嘉兴的高手?QQ13136276mailsunrace@163.com 150分:怎样实现类似Delphi中的TClass.Create的功能? 请大家给我这个oracle初学者一些入门指点(偏重Developer 和discoverer方面) 请教! 关于winnt4的救命问题,如何共享上网? 急!!小弟现在用midas做一个三层的系统,用Dcom连接,但是在客户端连接服务器说类字符串未注册 关于选择菜单的这个功能怎么实现 高分求书:用DELPHI搞数据库的书! 关于Potoshop编程的有关问题,知道的请进! 如何改变列表题背景颜色,数据窗口控件用的是动态sql语句。 如何把unsigned long型的对方IP地址,设在ClientSocket的IP中 开发游戏软件一般要用到什么编程工具和编程语言? 为什么 semaphore 和 event variables 是不好的? 在dos下,如何用汇编语句获知XXX盘符是否为网络盘或本地盘或substed盘??? 如何实现字符串种的准确查询! 灰头土脸的问 F7 & F8 区别到底是什么? 我看着都是单步.... 如何在 windows下 破解 写保护卡? VC+ADO,怎么实现把*.DBF表导入SQLServer2k里。 一个关于库文件的问题 我在用VB编数据库SQL SERVER,想实现数据库中关键表在本地磁盘中备份,通过代码应该怎样实现 谁想与我交换主页链接 一个程序编译通过后,我把paradox数据表的某一字段由N型改为了A型,结果运行时出错,应该怎么做呢? 如何用存储过程将一个查询的结果存为本地的一个XML文件? 有人知道.DUL文件是什么东西,有什么用,怎么创建? 如何把richtext.text的内容发到直接激活的word文档中?(在线等待) 高人指点,高人救命,我急。这是我唯一的办法了。 C++中为什么析构函数可以是虚函数,而构造函数不可以是虚函数? 100分求救:谁有webeasymail的解密版本或是能用的注册机??? 寻求C++参考书 高分问一个简单问题,什么叫“RAM驱动器”? 关于运算符重载的问题,请高手进来看看 如何把unsigned long型的对方IP地址,设在ClientSocket的IP中 为什么打开防火墙后,别人不能浏览自己的主页了? 钩子函数 请问如何唤醒机器? 刚才我在厕所里发线一条,全红色的,又细又长的虫子.大约五厘米长,一毫米宽,好可怕这是什么虫子啊?后来我拿了一个纸条,点火给烧死了.烧的时候还啪一声响.这是什么虫子啊?好可怕啊.有毒 反映边塞生活的诗句一句 十加十等于几 would you like to …… 的肯定回答和否定回答what are the top five hobbies in your class?的翻译是?最好写出这句的回答At the end of this term,there will____(be/have) a stone show in our school.(需要理由)作业批下来后 描写边塞生活的诗 冰棍 英语怎么说冰棍和冰激凌 都叫 ice cream? would like 否定形式wouldn't like to do和would like not to do的区别 用什么词来形容大象?拜托各位大神 昆虫叮咬红肿怎样快速消肿 关于would like 的回答Would you like something to drink 是 用Yes ,I’d like 还是用Yes ,I’d like to 或用Yes ,I’d love 或Yes ,I’d love to 回答Would you like some eggs 是 用Yes ,I’d like 还是用Yes ,I’d like to 或用Yes ,I 十加十等于多少 十加十一等于几 养鸡场里公鸡的只数是母鸡的4分之3,母鸡比公鸡多300只,公鸡和母鸡各有多少只 十加十等于什么? 被虫子咬肿了怎么办要在小指上,硬硬的,挤一下还会有白色的液体流出来,用花露水可以吗 1.养鸡场养的母鸡比公鸡多三分之一,母鸡有2240只,公鸡有多少只2.李云看一本书,第一天看了24页,第二天看了全书的 1 ,两天共看了全书的 1 —— 某车间有两个生产小组,甲组人数比乙组多八分之三,若从甲出六人给乙,两组人相等,原来甲乙两组各几人? 一块合金含铜的比是3:4,用此合金制造成铜与锌的比为1:2的新合金396克,需要添加( )多少克?括号里填铜或锌,多少克也要求的.题目第一句话改为一块合金含铜与锌的比是3:4 养鸡场有母鸡1200只,比公鸡的5分之2多200只,公鸡有多少只? 貌似都不对哈 一年级没有这个内容哦 晕死 现在的小学生作业 无语唉。 your bag looks nice .i'd like__A.one B it C.this D.a选哪个?A和B 很纠结啊 养鸡场养的母鸡比公鸡多3分之1,公鸡有1680只,母鸡有多少只? He has a brother and a sister.(改成否定句) 韩国有首歌 歌词开头是 i like like this i like like that 是什么歌?就是最新一期天天向上开头曲几个小孩跳舞的背景音乐 2012 3月23的歌词开头是 i like like this i like like that i like this i like that ye 自来水里的红色小虫是什么?自来水放在太阳能水桶里,从水桶里放出的水里面就有这种红色虫虫,图片是我在网上搜的,形状就是这个样子,是红色的.希望知情人告知,是否会伤害身体,现在洗澡 形容大象的英文形容词 This bag is not the same as that one.(改为同义句) 水里面长的线形虫子,一碰就缩土里面了我喜欢种花,买了颗莲花,里面半水,半泥的养着,这段时间看叶子老是变黄,我仔细一看里面有好多的虫子,其中一个特别的奇怪,不知道是什么虫子(不是 十加二等于几? would you like some juice___(drink)根据首字母完成单词 a set of keys作主语是谓语动词使用单数还是复数 描写边塞军旅生活的古诗有哪些? 小米红米手机今天抢购不得,下次还有在官网有抢购吗,还有多少次这样!, 那种植物上的虫,红色的,小小的圆的,用什么东西能消灭它?不要告诉我用烟丝可以啊那个烟丝没效果的大蒜水也没效果的家庭使用的,最好环保的 a set of keys 后用单数还是复数谓语 描写边塞生活的诗句6条以上 a pair of的复数形式是pairs么. 名词复数不规则变化?谁知道名词复数不规则变化是什么啊?感激不尽啊! 描写边塞军旅生活的诗句 a pair of 可以加复数吧?a pair of jeans. 后面jeans 是复数.但还是指一件吧,只是常用做复数形态? 类似trousers?a pair of 后面能跟 单数 可数名词吗?2.A pair of shoes is worn out是不是被动? pair 的复数形式要读s 还是z 类似的怎样区分读音 描写边塞的生活诗 句有那些像出塞和凉州词的古诗描写的是边塞生活.像这样的古诗有很多,你还知道那些, Would you like的用法搭配是很多种用法,加上例句,意思, pair的复数 甲乙两个车间,共有80人,从甲车间调6人到乙车间后,两个车间的人数就相等了.原来甲乙两个车间各有多少人? 谁能详解一下What would you like的用法啊? pair改写成复数怎么写? 有甲乙俩车间,甲人数比乙的80%少30人,如乙调10人来甲,甲车间人数是乙车间的75%,原来俩车间各多少人 would you like to和would you like的区别would you like to go to school with me和would you like some coffee。是不是原型就是would you like 只不过前者加to表示目的? 甲粮仓有120吨粮,现在从甲调出15%给乙,这时甲相当于乙的80%,乙有多少吨? 10加10等于 区别Would you like 和May I回答时的用法区别Wounld you like和May I的用法 《最后一头战象》大象的叫声那个是什么字就是口子旁加个海鸥的鸥 甲乙两车间共80人 甲车间有x人 乙车间有y人 如果甲车间调5人到乙车间,则甲车间人数乙车间人数的3分之1,根据题意可列出方程组急 养鸡场公鸡比母鸡多249只,养的公鸡是母鸡的4倍,公鸡母鸡各养几只? 形容大象吼声的那个字怎么输入?一个“口”一个“欧” 一代白糖40千克用了五分之三,还剩几分之几? 黄牛尾巴断了,应该怎样给黄牛治疗 (1)反映深厚友谊的诗句?(2)反映边塞生活的诗句?(2)表现爱国精神的诗句?(1)反映深厚友谊的诗句?(2)反映边塞生活的诗句?(2)表现爱国精神的诗句?(在回答问题时,回哪一题,就先把题目的编号写好, 两个冰激凌 用英语怎么说
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘