说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

YARN或将成为Hadoop新发力点

HTML文档下载 WORD文档下载 PDF文档下载
2013年的Hadoop峰会上,YARN是一个热点话题,YARN本质上是Hadoop的新操作系统,突破了MapReduce框架的性能瓶颈。Murthy认为Hadoop和YARN的组合是企业大数据平台致胜的关键。

Yahoo!最初开发Hadoop,是为了用于搜索和索引Web网页,目前很多的搜索服务都是基于这个框架的,但是Hadoop从本质上来说还只是一个解决方案。2013年的Hadoop峰会上,YARN是一个热点话题。三年的酝酿,YARN本质上是Hadoop的操作系统,突破了MapReduce框架的性能瓶颈。

MapReduce是在HDFS下操纵数据的主要机制。对于处理和分析海量数据(如多年的日志文件和其它半结构化的数据),这是一个很好的选择,但并不适合其它类型的数据分析。三年前,Hortonworks的创始人兼架构师Arun Murthy开始着手重新架构Hadoop(Hortonworks刚刚宣布在新一轮的融资中获得了5000万美元,Tenaya Capital和Dragoneer Investment Group主导了本轮融资,前投资人Benchmark Capital、Index Ventures和Yahoo!也参与其中),以使其成为一个更通用的大数据平台。

  • Arun Murthy提到:“着手构建Hadoop2.0时,我们希望从根本上重新设计Hadoop的架构,达到可以在Hadoop上运行多个应用程序并处理相关数据集的目的。这样一来,多种类型的应用程序都可以高效、可控地运行在同一个集群上。这是以Hadoop 2.0为基础的Apache YARN之所以能够诞生的真正原因。通过YARN管理集群的资源请求,Hadoop从一个单一应用程序系统升级成为一个多应用程序的操作系统。”

Murthy所说的其它类型的应用程序包括:机器学习,图像分析,流分析和互动查询功能等。一旦YARN全面投入使用,开发者将能通过YARN“操作系统”将存储在HDFS中的数据用于这些应用程序。Hive就是由Facebook开发的HDFS上层的SQL类型的数据仓库工具,但是后台的数据处理还要通过MapReduce。Hive很消耗资源,会影响其它同时运行的作业。其它Hadoop相关的数据分析子项目也都是类似的情况。


YARN是一个真正的Hadoop资源管理器,允许多个应用程序同时、高效地运行在一个的集群上。有了YARN,Hadoop将是一个真正的多应用程序平台,可服务于整个企业。Murthy表示通过YARN可以以一种前所未有的方式与数据交互,YARN已经被用于Hortonworks的数据平台,Hadoop和YARN的组合是企业大数据平台致胜的关键。

MapReduce2.0——YARN的基本架构

MapReduce在Hadoop 0.23时已经经历了一次大规模更新,新版本的MapReduce2.0被称为YARN或MRv2。


YARN的基本思想是将JobTracker的两个主要功能(资源管理和作业调度/监控)分离,主要方法是创建一个全局的ResourceManager(RM)和若干个针对应用程序的ApplicationMaster(AM)。这里的应用程序是指传统的MapReduce作业或作业的DAG(有向无环图)。

  • ResourceManager和每个slave结点的NodeManager(NM)构成了数据计算框架。ResourceManager负责最终将资源分配到各个应用程序。NodeManager是每台机器的框架代理,负责管理容器,监控它们的资源使用情况(CPU,内存,硬盘,网络),同时向ResourceManager/Scheduler汇报。
  • 针对各个应用程序的ApplicationMaster实际上是一个详细的框架库,它结合从 ResourceManager 获得的资源和NodeManager 协同工作来运行和监控任务。ApplicationMaster同时负责向Scheduler请求适当的资源容器,跟踪它们的使用状态并监控其进展。

ResourceManager中有两个主要组件:Scheduler和ApplicationsManager。

  • Scheduler负责给应用程序分配资源。Scheduler从某种意义上说是一种纯粹的调度,它不监控和跟踪应用程序的状态,另外它也不负责重启应用程序或者硬件故障造成的失败。Scheduler根据应用程序的资源需求执行调度,这些需求基于一个抽象的资源概念Container,包括内存、CPU、硬盘和网络等。
  • ApplicationsManager负责接收作业提交,将应用程序分配给具体的ApplicationMaster,并负责重启失败的ApplicationMaster。

YARN在接口上兼容于此前的稳定版本(Hadoop 0.20.205),这意味着以前的MapReduce作业重新编译后就可以在YARN下运行。(编译/周小璐,审校/仲浩)

原文链接:Expect a Ripping Good YARN at Hadoop Summit

欢迎关注 @CSDN云计算微博,了解更多云信息。

运用MSChart,生成统计图形-VB资料 向文本框等等控件的系统右键菜单里追加自己定义的菜单-VB资料 在VB中用定时控件实现长定时操作 在Visual Basic中,在GotFocus事件中快速选定文本 在程序中注册和注销 OCX 控件 -VB资料 在运行时维护DBGRID的栏位宽度-VB资料 VB怎样使用VB开发基于Sybase的C/S软件 VB怎样在运行时动态生成多个相同的控件 直接编辑VB中网格控制项的两种方法 自制控件方面的有关知识-VB资料 Unicode vs Ansi -VB资料 VB 中调用 Word 拼写检查 VB4.0安装程序的汉化 VB中对字符串的处理及其扩展 把符串中的一子串替换为另一子串 -VB资料 把数字转成英文字-VB资料 翻转一个字符串-VB资料 混合字符串的长度 -VB资料 将阿拉伯数字转成中文字的程式 -VB资料 将包含有Null结尾的字符串转换为VB字符串 切分字符串-VB资料 清除字符串中指定的字符 -VB资料 VB如何取得计算机的所有字型? VB如何取得中英混合字符串的长度? 使VB的网格控件具有输入功能 VB如何使用未安装的字体? VB如何由两个ASC码(区位码)复原成一个汉字? VB如何转换C代码中的高字和低字 一些字符串操作的问题和回答 -VB资料 VB怎样把VC++代码转换成VB代码 字符串中包含双引号-VB资料 为什么WinXP激活后就不能重装? 困惑--判断颜色是否相同??? (急急急)寻找:win2000/xp/nt/9x 的可安装文件开发包(IFS Kit),送大分 如何在DB2(V5.2)下面实现表的ID自动增加功能? 帖子结不了,在送300分~~~~~~~~~~ 请问oracle那些版本以上叫8i,常用的是哪个版本,有WINDOWS下使用的吗? 我看过的TOOLBAR 都是横着的,可是我现在想做一个竖立这的TOOLBAR 我该怎么做啊!我翻遍了 CODEGURU 可是没有一个这样的例子! 谁有什么好例子 多谢了!! error C2065: 'end1' : undeclared identifier 我怎么用CreateDialog 建立一个对话框呢! 谁有代码!!多谢!CreateDialog(hInst,LPCTSTR"ID_",hWnd,DlgProc); 送小分:怎样在一个对话框程序中产生一个HWND视窗? 在Windows 2000 Professional 下可以装VS.net吗? 关于文件上传问题 关于微软自己的控件下载问题!! 关于打包的问题 急求答案--请教高手:有关IIS与TOMCAT...... 请问有哪为知道,weblogic提供petstore例子,什么地方有详细说明?? 怎么样利用CHtmlViw将参数用POST的方式提交给WEB服务器 不明白.. 请问遇到连接错误该如何解决? pws的日志在什么地方? 在VBA中如何使用ClipBoard 哪里可以下载mastering delphi 6,或者其他有关delphi6的书籍。 vb和access的问题 C++Builder不支持tif或tiff格式怎么办? 为何我的TQuery为只读? 用Winsock传送文件如何判断一个文件已经传送完毕?(一定给分!) VC程序方法的请教。 请问如何禁用一个页面的cache 不好意思,怎么把引号赋给一个变量?thank 关于字体的保存,用序列化 关于oracle连接的一个简单问题 一个构件地址35分,快快来吧。 如何实现实时监测注册表的变化呢??????????? 如何锁定一个SQL SERVER的表? 哪里有Rose2000? MMGG Redhat7.2Ftp,硬盘安装问题求救! 请问怎样设置phpmyadmin带用户名和密码的登陆界面? 本来打算跳楼的,想想还是先来这试试...... 下面代码有什么用? 想问一下关于BDE和ADO组件的对应关系 就是这本《VC++技术内幕》……哎……我认了…… MSSQL2000 为什么我的log文件拼命往上涨 如何将用jsp得到的数据用javascript显示出来? 关于画声音波形曲线的问题.高手请帮帮忙(效果像flash加入声音时那样) TNND , 连个回复都不行 , 真恶心 (yeti_lee) 信用卡代理网站的可靠性 关于sqlserver联接问题帮一下了在线等待 小问题,高分啦!!:) 真的没有高手么,真的没人会么? 我为了使鼠标指向SpeedButton上时它的Caption颜色改变,在SpeedButtonMouseMove()和PanleMouseMove()中写了代码,但是很不敏感,鼠标移动快一点,就会有延时? 求初1级作文 《真想做个XX》RT XX部分自己填 500-600字左右 以友谊为题的作文 读了《雷锋日记》的读后感》. 我真想XX【作文】已我真想XX为作文题,血一片400字左右的作文 以《珍藏友谊》为题的作文600字 急用 大家帮帮我啊 哪里有读后感,雷锋日记读后感或读雷锋日记有感,雷锋故事读后感的 一般现在时的英语短文My pian for next time 为题的英语短文,60~80词左右就好了, 求作文《这件事真令我自豪》要求:600—700字 读雷锋日记的感受 一般现在时的英语小作文 这件事令我骄傲 作文600字! 作文 友谊 两个人 写两件事 关于“怎么样快乐的生活”的作文从前,有一个牧童,破衣烂衫,每天赶着牛羊刀上岗郊野中放牧,常常放开喉咙唱着歌,他的思想自由自在,放牧的任务也完成的不错.有一天,他拾到了一串钱,装在 作文:一件令我骄傲的事意义深刻题材新颖与时具进一件事体现一个道理 英语作文过度词越多越详细越好 老师让我们写以班级为话题的作文,给我们几个题目,别样生活,美丽生活,累并快乐,如此生活才有意义,一切从这里开始,怎么写,选那个题目,我们每天中午几点来上黑板签到,还有家校联系本,老 我因XX而自豪 作文 600字不要我因祖国,奥运而自豪,这样的作文初二水平在线等 不要直接从网上拉,要拉也要拉好点的 我想要一篇关于“幸福广东”的英语作文,100词左右内个,我是初三的,请知道的朋友打一篇给我,不要发那么长的我是初三快要中考的人了。不要有那么多生词 找一篇题目为《初中生活的几件快乐事》的作文 求作文 令我自豪的一件事 英语写作过渡词过渡句致歉声明 上次发的时候和老妈吵了一架 心情不太好 在此表达歉意 对不起!找20个英语作文中的过渡词例如eventually finally 等等 过渡句一定要是承接上文或引起下文的句 《生活因友情而快乐》600字作文 要求:不少于六百字;有完整的一件事;开头点题结尾扣题:语句优美thanks a lot 读了荷兰散记后怎样理解第五自然段最后一句话 《雷锋日记》4000字的读书笔记 荷兰散记细细长长的运河,清澈如镜,一道一道纵横去来,弯弯的拱桥,多情地把柔美的影子留在潋滟的波光里.干干净净的屋子傍河而立,一幢一幢小巧玲珑,好像是奶油做成的,可爱绝顶.微风过处, 需要六篇英语文章,70词左右的. 求作文 “我和xx比辛苦” 要100字的 一般现在时的英语短文怎么写 荷兰散记阅读理解细细长长的运河,清澈如镜,一道一道纵横去来,弯弯的拱桥,多情地把柔美的影子留在潋(lian)滟(yan)的波光里.干干净净的屋子傍河而立,一幢一幢小巧玲珑,好像是奶油做成的,可 围绕时事热点,1500字.最好围绕高一课本的知识点……跪求~ 作文,风景作文! 《荷兰散记》句子理解站在运河旁边,我心神恍惚,根本分不清眼前的一切究竟是真实的景致,还是我不小心掉进了荷兰著名画家 高的名画里.理解这句话的意思 请帮我弄一篇有关评价低碳生活的政治论文?(800字左右)最好能告诉我论文大概的格式及写法 作文 心中的风景写出美的意境,不能太假写自己心里所想的 荷兰散记 (阅读题)细细长长的运河,清澈如镜,一道一道纵横去来,弯弯的拱桥,多情地把柔美的影子留在潋(lian)滟(yan)的波光里.干干净净的屋子傍河而立,一幢一幢小巧玲珑,好像是奶油做成的, 让我 XX 的经历 作文多来几篇. 求10篇作文啊.初中命题作文(感动 爱心 亲情 友情 青春 记叙 叙事 叙人 描写 抒情)求快啊. 作文 最XX的事暑假生活就要结束了,回首暑假生活,你一定有最开心的事,最烦心的事,最搞笑的事,最无聊的事,最有趣的事.采撷其中一“最”,释放自己的心语. 你的xx让我记住了你作文 围绕高一政治经济生活的论文,2000字 我为XX干XX(事情)作文写作文我为谁干什么,有米有范文?有就可以发过来.作文内容哈- - 我和xx作文 经济热点主题自定 1000-2000字,求题材,好写一点的, 求作文 【一件XX的事】600字 以友情为题的作文的题目点评要6个以上的以“友情”为话题的作文题目,并对其中一个题目作分析、点评.如果回答迅速,我再加10分是作文的题目,不是作文。 生命因什么而精彩作文写事要写人写事的 经济生活和政治生活各两篇字数随你们...不要太少就可以了 下面这句话的含义是什么(荷兰散记中的一句话雪花落在运河旁边那一幢一幢色彩缤纷的小屋上,纵然是黑夜,也处处闪着晶莹的光芒.那种美丽,是安恬又宁静的. 高一政治有关经济学的800字论文 一篇政治小论文,内容有关高一《经济生活》的,字数要800字以上, 帮我把这篇英语文章压缩小一点,希望在70到90词之间My favourite computer game is called“NEED FOR SPEED CARBON”.It is an interesting and exciting game.The main character is called“Fire GT1”.He is a handsome young man.In this g 政治小论文800字 ,也可以教我怎么写 经济生活 600字求写论文,复制也行,要切合主题.(目前青年人消费状况,消费心理.企业成功途径.国内经济发展) 生命作文 作文 xx使我懂得了xx这类的作文谁会~~发几遍来~~比如妈妈是我懂的了爱~~有吗? 高一政治经济小论文,题目我买年货,或者逛花市800字以上 生命是什么?(作文) xx使我懂得了xx 作文 求一篇100字的英语短文,以日常生活内容!哪们帮帮忙,写一篇不少于100这的英语短文,要求有一般现在时,过去时,一般将来时等时态.简单介始关于自己日常生活为内容! 生命像什么作文
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn