说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Project Savanna:让Hadoop运行在OpenStack之上

HTML文档下载 WORD文档下载 PDF文档下载
Hadoop基本上已成为MapReduce实现的产业标准,并为众多机构采用;Savanna则是让用户可以在OpenStack上运行和管理Hadoop集群,而用户做的仅是给Savanna提供一些相关的配置参数。

Apache Hadoop基本上已经成为MapReduce实现的产业标准,并且被各个机构广泛采用,而Savanna项目旨在让用户可以在OpenStack上运行和管理Hadoop集群。值得一提的是,Amazon通过EMR(Elastic MapReduce)提供Hadoop服务已达数年之久。

用户需要给Savanna提供一些信息来建立集群,比如Hadoop版本、集群拓扑、节点硬件详情以及一些其它的信息。在用户提供这些参数之后,Savanna将帮助用户在几分钟之内建立起集群,同样还可以帮助用户根据需求对集群进行扩展(增加或者删除工作节点)。

方案针对以下几种用例:

  • 为Dev和QA快速配置Hadoop集群
  • 利用通用OpenStack IaaS云中从未使用过的计算能力
  • 为专用或突发性的分析负载提供“分析即服务”(类似AWS中的EMR)。

主要特性如下:

  • 作为OpenStack组件出现
  • 通过REST API进行管理,用户界面作为OpenStack Dashboard的一部分。
  • 支持多种Hadoop分布:

  • 作为Hadoop安装引擎的可插拔系统。
  • 集成了提供商特定的管理工具,比如Apache Ambari或者Cloudera Managent Console。

  • Hadoop配置的预定义模板来,具备配置参数功能。

Savanna REST API和定制Horizon视频链接: YouTube视频

细节说明

Savanna产品主要于以下几个OpenStack组件进行通信:

  • Horizon——提供GUI以使用所有Savanna的特性。
  • Keystone——认证用户并提供安全令牌,用以与OpenStack通信,用以给用户分配特定的OpenStack权限。
  • Nova——为Hadoop集群配置虚拟机。
  • Glance——用于储存Hadoop虚拟机镜像,每个镜像都包含了已安装的OS和Hadoop;预安装的Hadoop应该给予我们在节点布置上的便利。
  • Swift——可以作为需要进行Hadoop作业的预存储。


常规工作流

Savanna会根据用例给用户提供两种不同抽象等级的API和UI:集群配置和分析作为服务。

集群快速配置的工作流程包括以下选项:

  • 选择Hadoop版本
  • 选择包含或者不包含预安装Hadoop的基础镜像

  • 对于未预安装Hadoop的基础镜像,Savanna将提供整合了供应商工具的可插拔部署引擎。

  • 定义集群配置,包括集群的大小和拓扑,并且设置不同的Hadoop参数(比如heap大小)。

  • 将提供可配置的模板用以简易参数配置机制。

  • 集群的配置:Savanna将提供虚拟机,安装和配置Hadoop。
  • 集群上的操作:添加和移除节点。
  • 在不需要时终止集群。

对于分析即服务的工作流程包括以下选项:

  • 选择一个预定义版本
  • 配置作业:
  • 选择作业的类型:pig、hive、jar-file等等
  • 提供作业脚本源或者是jar路径
  • 选择输入和输出数据路径(最初只支持Swift)
  • 为日志选择路径

  • 设置集群大小限制
  • 执行作业:

  • 所有集群配置和作业执行都会清楚的呈现给用户
  • 作业结束后会自动移除集群

  • 取回计算结果(比如从Swift)

用户方面

在使用Savanna配置集群时,用户在两种类型实体上进行操作:Node Template和Cluster。

Node Template用于描述集群中的节点,包含了几个参数。节点类型就属于Node Template的属性之一,这将决定Hadoop将在节点上运行什么样的处理,确定节点在集群中的扮演的角色,它可以是Job Tracker、NameNode、TaskTracker、DataNode或者这些节点的逻辑组合。Node Template同样还保存了硬件参数,这些参数用于节点虚拟机以及Hadoop在节点上的工作内容。

Cluster实体用于描述Hadoop Cluster,描述了预装Hadoop虚拟机特征,用于集群的部署和集群拓扑。拓扑是节点模板和每个模板该部署节点数量的列表。关于拓扑,Savanna会验证集群中的NameNode和JobTracker是否唯一。

每个节点模板和集群都归属于用户给其分配的tenant,用户只能访问已接入tenant里面的对象。用户只能编辑或删除他们建立的对象,当然管理员用户可以访问所有的对象,Savanna需要遵守同样的OpenStack访问策略。

Savanna提供了多种Hadoop集群拓扑,Job Tracker和NameNode进程可以选择在一或两个独立的虚拟机上运行。同样集群可以包含多种类型的工作节点,工作节点可以同时充当TaskTracker和DataNode,同样也可以扮演一个角色。Savanna允许用户任意选项的组合去建立集群。

与Swift整合

在OpenStack中,Swift作为标准对象存储,类似Amazon S3。通常部署在实体主机上,Swift被作为“OpenStack上的HDFS”,具备很多使用的增强功能。

首先为Swift实现的文件系统: HADOOP-8545,这样的话Hadoop作业就可以运行在Swift上。在Swift方面,我们必须将请求更改为 Change I6b1ba25b。它将端点映射为Object、Account或者是Container列表,这样就可以将Swift与依赖数据位置信息的软件整合,从而达到避免网络开销。

可插拔部署和监控

监视功能来自供应商定制的Hadoop管理工具,Savanna整合了类似Nagios及Zabbix可插拔外部监视系统。

部署和监控工具都将被安装在独立的虚拟机上,从而允许单一的实例同时管理或监控不同的集群。 

原文链接: Savanna (编译/仲浩 审校/王旭东)

“ 第五届中国云计算大会 ”将于2013年6月5-7日在北京国家会议中心隆重举行。猛击报名! 

相关活动已经火热启动:

2013中国云计算大调查,每周大奖等你拿! “ 

Innovation Cloud 2013云创新产品与应用项目征集,欢迎研发者、团队和创业企业参加! 

不听乔布斯劝告:“不专心”的Google照样干得好 躲过一劫!苹果不锁杂志类APP介绍截图 Oracle发布软件更新修复Java漏洞 设计师将吞噬工程师吗? 开源产品系列:小巧灵活的Web框架web.py Windows Server 2012 VHDX格式揭秘 Rovio将赶超Zynga 成为全球最受欢迎游戏公司 Netflix基于AWS的大数据平台Hadoop架构解析 微软开始提供Windows Embedded测试版系统 Aaron Swartz自杀原因存疑 引发互联网连锁反应 重金吸引开发者 BlackBerry10应用36小时增1.5万 把数据中心搬入“空间站” Dell和Intel对OpenStack新兴公司Mirantis投资 快讯:马云自5月10日起不再担任CEO职务 Web工程师必备的43款可视化工具 中国电信天翼开放平台2012年度数据:API调用量破亿 iOS走向开放:UC浏览器iPhone版实现云下载 让Dreamweaver支持cshtml (MVC Razor环境) iOS付费榜首:日历应用Fantastical开发者专访 玩转AdMob移动广告:捕鱼达人的猎财之道 12306抢票插件拖垮GitHub 展望2013 jQuery核心团队成员谈其发展路线 Facebook社交视觉搜索分析:引入“竞价排名”? 移动广告现状5大问题解析 Google将于月底举行Google Glass开发者大赛 分享29个超赞的响应式Web设计 Facebook图谱搜索和谷歌搜索有何不同? Facebook向美国iPhone用户提供免费电话 VMware CTO Steve Herrod离职 加盟风险投资公司 维基百科基金会推出众包旅游项目Wikivoyage 最舒适程序员:工作外包给中国 自己却偷懒 如何遍历任务栏上已经打开的程序呢? 动态添加commandbutton后如何写其clicked()的事情 今天晚上可能要時間長了,那個算法的流程你看看,服務器的負載太大了,不斷的連接,數據碎片太多了 把dataSet里的多个表插入数据库时,怎么把这多个表作为一个事务? tomcat报出406号错误 CDONTS.NewMail发送邮件? 继承的问题 我的问题 C++ Primer和C++ Programming Language 哪本好一些呢? 哪位朋友可以给一个PHP4导航栏的代码(1 2 3 4 5 6 这样的) redhat9.0是否支持ich5 在VS2002中可以用的设置星期格式的代码,在VS2003下不能用,为什么? 请教一个关于时间的SQL语句! 关于多级菜单问题 我的电脑里的chm文档打不开了,求救~~~~~~~~~~~! 购买QQ,共1000分(1) 大家帮忙分析一下 请教,关于“name not Unique in this context”的错误。50分,急!!!! 请教一个小问题 显示属性打不开? 购买QQ,共1000分(2) 很简单的问题,最好详细写listput 这个组件怎么用? 80分够不?在线等待中。 改好了告訴我一下,等0點去機房,這邊的認證服務器不動了,VMS系統我不懂 MIDAS 高手请进,这个问题在大富翁上出了600分,也没人拿到,难道真的没人明白吗? 女儿三岁生日,酬宾 关于PHP GD库的问题. jsp主要做什么的?菜鸟问题 为什么会重复显示两次? 怎样恢复类! 有没有人可以帮我的,55 如何把DBF文件导入到SQL2000里? 我想将一个字符串(用户密码)加密,有没有好的算法,请大家指教 熟悉化境编程界HTTP上传程序的请进! 我想将一个字符串(用户密码)加密,有没有好的算法,请大家指教 局域网搜索时,怎样连上要搜索的机子 如何分辨用户是通过在URL栏输入地址,还是点击链接来到本站网页。 好了,我把数据库清理一下,你继续改那几个参数,LOG文件太大先不要管 问题! “多步 OLE DB 操作产生错误。。。”怎么解决?? 急!!! 哪里有内存泄漏检测工具? 请问如何将80*60象素的图片文件转换为120*90象素的图片文件 哪位兄弟试过把csdn的文档里面的文章全部下到本地看的? APL和DOL表的区别?在系统中怎样设置(运用)?最好有示例。多谢先! 如何在一个函数内部知道这个函数的名字? “多步 OLE DB 操作产生错误。。。”怎么解决?? 急!!! _RecordsetPtr对象的Find方法怎样用? 等會過來喝點咖啡吧,今天晚上一定要測完 一个简单的fork问题(那个高手来帮忙呀) 一个关于安装的问题 在VC中用什么函数运行一个程序?像vb中的shell.比如运行QQ.exe 继续散分 word里的黑色小正方形如何去掉 如何在WORD添加正方形不是只添加一个 而是每个选择文字之前都要添加正方形 不是只要一个我是用的是WPS的WORD 我想在word中打的字外面加上正方形的边框,怎么操作啊?是正方形的啊.系统的边框好像是长方形啊. 框架 填充墙门窗边的混凝土框与构造柱的区别,门窗边设置钢筋上、下的锚固框架 填充墙,门、窗边要求设置钢筋混凝土框,门边钢筋4根10,混凝土厚度150mm,窗边2根8,厚度10mm,并且要求说门边需 aircraft与plane有区别?例1、the aircraft was a civilian plane from a western country.这句话中的aircraft与plane仅是用词的不同,或是有不同的含义?可否能用同一的词?例2、Iranian state television says.Iran's semi-official let's start with a train whistle today 什么意思?谢谢 let's start with how he kept picking 什么句型 英语问题 holy molly what the hell do you want 急啊,求解这句话 the golden coast中文什么意思 If you can't remember,let me try to _ your memory.A.awaken B.stimulate C.refresh D.arouse为什么选C, NOODLE BOX GOLD COAST AIRPORT怎么样 2014年德国机械制造领域预计将长增欧亚经济最高理事会会议召开 乌克兰入金正恩成马来西亚高校荣誉博士 为表彰李娜两连胜好假期可期:两情绪交错既兴朝鲜举行第4次连长连政治指导员大会 女子洞房时发现丈夫并非意中人 认命婚一辆载着300万货物货车高速金华西出男子向已婚女子表白被拒 生气骑摩托车费德勒巴塞尔赛继续抢分 直接对手相继美国就土中军贸再搞“小动作”白宫网页万人请愿 辱华节目被删除马宗林任中国电力建设集团有限公司党委从嘴边挡住癌:不得癌的六种吃法琼州海峡海上风力减弱 客滚船10日1越南允许马来西亚飞机入境执行失联客机拨电话就能缴电费 目前16家银行借记梅州“愚公”八年辟健康路化州橘红撤下部分 “久咳必治”广告牌9岁海狮在珠海生产 海狮宝宝求芳名美F 35发动机被曝曾风扇开裂 厂商被诬车祸肇事者 行车纪录器助美华裔驾福建快速侦破绑架奥迪女车主案 又带破
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘