说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Project Savanna:让Hadoop运行在OpenStack之上

HTML文档下载 WORD文档下载 PDF文档下载
Hadoop基本上已成为MapReduce实现的产业标准,并为众多机构采用;Savanna则是让用户可以在OpenStack上运行和管理Hadoop集群,而用户做的仅是给Savanna提供一些相关的配置参数。

Apache Hadoop基本上已经成为MapReduce实现的产业标准,并且被各个机构广泛采用,而Savanna项目旨在让用户可以在OpenStack上运行和管理Hadoop集群。值得一提的是,Amazon通过EMR(Elastic MapReduce)提供Hadoop服务已达数年之久。

用户需要给Savanna提供一些信息来建立集群,比如Hadoop版本、集群拓扑、节点硬件详情以及一些其它的信息。在用户提供这些参数之后,Savanna将帮助用户在几分钟之内建立起集群,同样还可以帮助用户根据需求对集群进行扩展(增加或者删除工作节点)。

方案针对以下几种用例:

  • 为Dev和QA快速配置Hadoop集群
  • 利用通用OpenStack IaaS云中从未使用过的计算能力
  • 为专用或突发性的分析负载提供“分析即服务”(类似AWS中的EMR)。

主要特性如下:

  • 作为OpenStack组件出现
  • 通过REST API进行管理,用户界面作为OpenStack Dashboard的一部分。
  • 支持多种Hadoop分布:

  • 作为Hadoop安装引擎的可插拔系统。
  • 集成了提供商特定的管理工具,比如Apache Ambari或者Cloudera Managent Console。

  • Hadoop配置的预定义模板来,具备配置参数功能。

Savanna REST API和定制Horizon视频链接: YouTube视频

细节说明

Savanna产品主要于以下几个OpenStack组件进行通信:

  • Horizon——提供GUI以使用所有Savanna的特性。
  • Keystone——认证用户并提供安全令牌,用以与OpenStack通信,用以给用户分配特定的OpenStack权限。
  • Nova——为Hadoop集群配置虚拟机。
  • Glance——用于储存Hadoop虚拟机镜像,每个镜像都包含了已安装的OS和Hadoop;预安装的Hadoop应该给予我们在节点布置上的便利。
  • Swift——可以作为需要进行Hadoop作业的预存储。


常规工作流

Savanna会根据用例给用户提供两种不同抽象等级的API和UI:集群配置和分析作为服务。

集群快速配置的工作流程包括以下选项:

  • 选择Hadoop版本
  • 选择包含或者不包含预安装Hadoop的基础镜像

  • 对于未预安装Hadoop的基础镜像,Savanna将提供整合了供应商工具的可插拔部署引擎。

  • 定义集群配置,包括集群的大小和拓扑,并且设置不同的Hadoop参数(比如heap大小)。

  • 将提供可配置的模板用以简易参数配置机制。

  • 集群的配置:Savanna将提供虚拟机,安装和配置Hadoop。
  • 集群上的操作:添加和移除节点。
  • 在不需要时终止集群。

对于分析即服务的工作流程包括以下选项:

  • 选择一个预定义版本
  • 配置作业:
  • 选择作业的类型:pig、hive、jar-file等等
  • 提供作业脚本源或者是jar路径
  • 选择输入和输出数据路径(最初只支持Swift)
  • 为日志选择路径

  • 设置集群大小限制
  • 执行作业:

  • 所有集群配置和作业执行都会清楚的呈现给用户
  • 作业结束后会自动移除集群

  • 取回计算结果(比如从Swift)

用户方面

在使用Savanna配置集群时,用户在两种类型实体上进行操作:Node Template和Cluster。

Node Template用于描述集群中的节点,包含了几个参数。节点类型就属于Node Template的属性之一,这将决定Hadoop将在节点上运行什么样的处理,确定节点在集群中的扮演的角色,它可以是Job Tracker、NameNode、TaskTracker、DataNode或者这些节点的逻辑组合。Node Template同样还保存了硬件参数,这些参数用于节点虚拟机以及Hadoop在节点上的工作内容。

Cluster实体用于描述Hadoop Cluster,描述了预装Hadoop虚拟机特征,用于集群的部署和集群拓扑。拓扑是节点模板和每个模板该部署节点数量的列表。关于拓扑,Savanna会验证集群中的NameNode和JobTracker是否唯一。

每个节点模板和集群都归属于用户给其分配的tenant,用户只能访问已接入tenant里面的对象。用户只能编辑或删除他们建立的对象,当然管理员用户可以访问所有的对象,Savanna需要遵守同样的OpenStack访问策略。

Savanna提供了多种Hadoop集群拓扑,Job Tracker和NameNode进程可以选择在一或两个独立的虚拟机上运行。同样集群可以包含多种类型的工作节点,工作节点可以同时充当TaskTracker和DataNode,同样也可以扮演一个角色。Savanna允许用户任意选项的组合去建立集群。

与Swift整合

在OpenStack中,Swift作为标准对象存储,类似Amazon S3。通常部署在实体主机上,Swift被作为“OpenStack上的HDFS”,具备很多使用的增强功能。

首先为Swift实现的文件系统: HADOOP-8545,这样的话Hadoop作业就可以运行在Swift上。在Swift方面,我们必须将请求更改为 Change I6b1ba25b。它将端点映射为Object、Account或者是Container列表,这样就可以将Swift与依赖数据位置信息的软件整合,从而达到避免网络开销。

可插拔部署和监控

监视功能来自供应商定制的Hadoop管理工具,Savanna整合了类似Nagios及Zabbix可插拔外部监视系统。

部署和监控工具都将被安装在独立的虚拟机上,从而允许单一的实例同时管理或监控不同的集群。 

原文链接: Savanna (编译/仲浩 审校/王旭东)

“ 第五届中国云计算大会 ”将于2013年6月5-7日在北京国家会议中心隆重举行。猛击报名! 

相关活动已经火热启动:

2013中国云计算大调查,每周大奖等你拿! “ 

Innovation Cloud 2013云创新产品与应用项目征集,欢迎研发者、团队和创业企业参加! 

微软modern.IE:网站兼容性测试利器 Localytics:AngularJS代替Backbone 代码减少一半 史上增长最快的SaaS服务Optimizely:13亿访客,10万次测试 IDF上的云计算故事 移动周报:百万年薪、微信疑云,老罗小马本周很忙 一个创业失败者的自述:我是如何搞砸一款产品 收入百万美元:一个放弃上大学的程序员 Cocos2D配Box2D:逆天小白程序员作iOS游戏 招聘移动开发,老板必问的10个问题 黑客用智能手机劫持和控制民航飞机 几小时即可使互联网瘫痪的黑客 现已加入谷歌 Tsar开源:淘宝内部大量使用的系统监控工具 五款超实用的开源SVG工具 微信收费事件背后被广泛忽略的技术细节 UIDesigner 3.0架构设计总结 黑客怒了:政府花930万美金仅做一款App Email服务迎来“第二春” 未来将更加个性化 贯穿应用开发始终的八大陷阱 微评微软也推智能手表:是追求未来,还只是跟随? Firefox OS今年6月在5国首发 不含美国市场 8086/8088汇编指令手册 下一个被黑客攻击的对象—无线路由器 Windows Blue开始按钮或将回归,你怎么看? Evernote推孵化器 不占股权 基于C++和Lua的移动游戏引擎Leadwerks 3发布 苹果秘密测试iOS 7与iPhone 6 或将6月发布 酷6 CTO 陆坚:请先信任你的程序员 从电信联手i-Free,看运营商渠道的加速整合 “Animory”开发者分享HTML5游戏开发经验 Appflood SDK:连接中国与海外App流量交互平台 Apache Subversion 1.7.9正式发布! 如何截获其他程序的网络通讯?(这个问题很多人在问) 我中病毒了,它把我硬盘上所有exe感染了,不是cih,请哪位高手帮忙写个Bat文件,让我在Dos下遍历所有目录把exe都删掉,急! 高薪寻找西安的兼职UNIX程序员 哪有delphi的函数手册下载? 我需要全国IP分布表。 请问如何打印list control上的报表 前两天一直再问图像处理的事情,可是我用了很多方法后,还是少些什么!!就图像三原色处理来说... 为什么我的Linux只能打开国外的网站? 用resin时,“No tags”是什么错误!分必给! 热烈庆祝VBA开张! 请问在asp中如何读取/显示access数据库中的备注字段 紧急求救:在VC++里如何通过ATL OLE DB访问(INSERT\UPDATE\DELETE\SELECT)ORACLE和SQL SERVER里的BLOB字段内容? 高薪寻找西安的兼职UNIX程序 员 在delphi中,怎么调用api函数? www.alldas.de为什么无法访问了??? 如何检测被覆盖的窗口区域是否发生了变化? 高薪寻找西安的兼职UNIX 程序员 如何制作下拉菜单 请高手指点:好猫为何不工作? 一种设想,20台电脑5根电话线上网,如何达到较快的速度? 对话框程序调试时的问题?!!!! 请介绍几本好用的自学C语言的书籍好吗?? 紧急求救,请高手来看看 .NET和JAVA到底哪个好? 谁来救我?ISequentialStream::write()为何不好使? 定义类型的困惑 大虾们,如何做一个图标选择框!!!(详情见内) ADO编程问题求解!!!!!!!!!!! ****************简单问题,高分求救??????????????????????? 请问怎样在TabStrip中的选项卡中增加图片?谢了 工程如何能建的工整一些? www.alldas.de为什么无法访问了? 关于动态控件的问题 ADO编程问题求解 怎么编程产生1MHz甚至更高频率的周期信号? 紧急求助—有关JMail4.1附件问题 挥泪大送分!!!!! 怎样才能让自己变胖? 做个仅有对话框的应用,但想把它放到托盘, 给ASP爱好者提个建议! 关于SQLserver2000“视图“的两个问题,请教高手! 好久没上网了,送分以庆祝再回csdn!!!!! 做浏览器,如何实现 “后退”,“前进”,这二个功能? 如何使C:盘,D盘的根目录不共享? 用resin时,是否需要jdk,如何配置?分必给! SDI中的某一个子视图里怎样对主窗口的状态栏进行更改?? ◇◆◇ 失恋代表什么? ◇◆◇ 我英语不懂,想考高程.行吗 ◇◆◇ 学生生涯快完了,大家来说说对学生生涯的感受,特别是什么最深刻的! ◇◆◇ 求救!如何把SQL命令从前端应用程序传给应用程序服务器 要去招商行笔试了,有参加过的兄弟给点建议。 不等式 (24 20:21:33)已知关于x的不等式组{x-a≥0,5-3x>-1,它的整数解共有5个,求a的取值范围. 五年级下册口算题练习同分母分数的200~500道之间 张奶奶家养的鸡和鸭共150只,鸡是鸭的5 倍,问张奶奶家养的鸡和鸭个多少只 不等式 (10 21:22:12)若不等式2{X+1}-5<3{X-1}+4的最小整数值是方程{1÷3}X-AX=5的解,求代数式A平方-2A-11的值 五年级下册数学口算400题 奶奶家养鸡,兔若干只,鸡比兔多20只,鸡脚比兔脚多4只,奶奶家养鸡,兔各几只? 北京师范大学出版社八年级下册数学56页答案 苏教版,越多越好! 王奶奶家有鸡兔若感知已知鸡比兔多13只共146只脚,鸡兔各几只 五年级数学口算题(北师大版) 新疆青年出版社的 养鸡场共养鸡兔176只,已知鸡脚总数比兔脚总数多214只,问养的鸡兔各为多少只?不用方程 人教版 海淀最新修订版口算题卡 小学五年级下册数学口算题60道,帮帮忙今天就要! 奶奶家喂的鸡兔共有有20个头,52只脚.奶奶家喂了多少只鸡和兔? 人教版小学数学五年级下册口算题卡答案 (难点的) 设方程x^3+2x^2-x+3=0在复数集C中的根是x1,x2,x3,求一元三次方程,使它在C中的根是:1) 2x1,2x2,2x32) -x1,-x2,-x33) 1/x1,1/x2,1/x3 我想求一下五年级上册人教版口算题卡的答案只要112 页到138页的答案 五年级下册数学口算带答案 设x1,x2,x3是方程x^3-x+1=0的三个根,则x1^5+x2^5+x3^5的值为 五年级下册口算训练的答案.60片后的都可以.人教版 李奶奶养鸡.鸭共100只.把鸡的1/5卖掉后又买回8只鸭,现鸡鸭一样多,原来鸡鸭各几只? X1、X2为方程X²+3X+1=0的两实根,求代数式X1³+8X+20的值 五年级下册口算训练训练第29页答案 李奶奶家养了鸡鸭鹅,其中鸡占25%,鸭与鸡和鹅的总数比是1:2,鹅有66只,李奶奶家养的鸡鸭鹅共有多少只? 已知方程3x平方+5x-2=0的两个根分别为x1 x2 求代数式x1+x2+x1乘x2的值 五年级下册口算训练第6页答案什么?急啊! 养殖场共养鸡鸭12000只,鸡是鸭的2倍,那么鸡鸭各多少只?式子是怎样列? 已知x1、x2为方程xˆ2+3x+1=0的两实根,求代数式x1ˆ3+8x2 20的值 五年级下册数学口算练习第9和10页答案 张大爷家的鸡卖掉1/3,鸭卖掉1/4,剩下的鸡鸭只数相等张大爷家养的鸡卖掉三分之一,鸭卖掉四分之一后,剩下的鸡鸭只数相等,已知鸡比鸭多45只,鸭有多少只?鸡卖掉三分之一,鸭卖掉四分之一后, 已知函数f(x)=3x的平方—x的2次方,求方程f(x)=0在区间【-1,0】上实根的个数已知函数f(x)=3的x次方—x的2次方,求方程f(x)=0在区间【-1,0】上实根的个数 初二数学全等三角形问题如图,BP是△ABC的外角平分线,点P在∠BAC的角平分线上.求证:CP是△ABC的角平分线.麻烦麻烦..详细过程呀!一定要按照格式详细过程噢..谢谢啦..我会给高分的 100道 刘奶奶家养鸡和鸭共150只,鸡的只数是鸭的5倍,刘奶奶家鸡和鸭各养多少只? 初二数学 全等三角形在四边形ABCD中,AD‖BC,若∠DAB的角平分线AE交CD与E,连接BE,此时,BE恰好平分∠ABC.请你判断AB的长与AD+BC的长的大小关系,并证明你的判断. 从后面开始打!人教版的,封面是绿的! 张奶奶家共养鸡和鸭150只,鸡的只数是鸭的5倍.张奶奶家养鸡和鸭各多少只? 初二数学全等三角形证明题ABCD为正方形,CE平分∠DCF,M为线段BC上的点,连接AM、ME,问:AM和ME有何大小关系?当M点在射线BC上运动时,AM和ME的大小关系改变吗? 苏教版四年级下册口算练习 张奶奶家共养鸡和鸭150只,鸡的只数是鸭的五倍.张奶奶家养鸡和鸭各多少只? 初二数学全等三角形证明题只答第二问就行 北师大版四年级下册口算练习要求题量大些,能给孩子一定量的练习. 刘奶奶养鸡和养鸭共60只,鸭是鸡的20%.刘奶奶家养的鸡和鸭各多少只?要列方程, 初二数学几何全等三角形证明题..数学天才进...如图一.在△ABCA中,∠BAC=90°,AB=AC,直线L经过点A,且BD⊥L于点D,CE⊥L于点E,.1、求证:BD+CE=DE.2.当变换到图2 所示的位置时,条件不变,试探究BD/CE/DE的关 五年级下册数学口算训练P3---4答案 刘爷爷养了160只鸭,养鸡的只数是鸭的八分之五.养的鸭比鸡多多少只? 11题,写出所有的全等三角形并证明 43 王奶奶家养鸡20只,若养的鸡比鸭多4分之1,养的鸭有( )只? 初二数学全等三角形证明题2道⒈在△ABC中,AD是∠BAC的角平分线,DE⊥AB,DF⊥AC,垂足分别是E、F,连接EF.EF与AD交于G.AD与EF垂直吗?证明你的结论.⒉P是△A(顶点)BC的外角∠DBC,∠ECB的平分线的交点, 五年级下册数学口算题及答案 王奶奶家养了25只鸡和15只鸭.根据25*3/5=15这个算式编一道乘法应用题. 不等式 (3 17:30:34)1、当x的取值为-1≤ x ≤ 2 时,方程4x+y=1中,y取值范围为2、不等式ax >b的解集是x <b分之a,则a的取值范围是3、如果关于x的不等式组 5x+1>x+9 和x>m+1  的解集是x>2, 五年级下册数学口算训练第45页答案【人教版】 1.张奶奶养了30只鸭,50只鸡,鸡是鸭的( )%,鸡比鸭多( )%2.一根绳子全长12米,剪去三米,剪去是剩下的( )% 不等式 (10 21:9:24)解不等式,{0.1X-3}÷2+{X-0.2}÷3≤1 人教版五年级下册数学口算训练第9页答案,急用!~~ 王奶奶家养了25只鸡和15只鸭.根据25×3/5=15这个算式编一道乘法应用题和两道除法应用题,并写步奏解答
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn