说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Project Savanna:让Hadoop运行在OpenStack之上

HTML文档下载 WORD文档下载 PDF文档下载
Hadoop基本上已成为MapReduce实现的产业标准,并为众多机构采用;Savanna则是让用户可以在OpenStack上运行和管理Hadoop集群,而用户做的仅是给Savanna提供一些相关的配置参数。

Apache Hadoop基本上已经成为MapReduce实现的产业标准,并且被各个机构广泛采用,而Savanna项目旨在让用户可以在OpenStack上运行和管理Hadoop集群。值得一提的是,Amazon通过EMR(Elastic MapReduce)提供Hadoop服务已达数年之久。

用户需要给Savanna提供一些信息来建立集群,比如Hadoop版本、集群拓扑、节点硬件详情以及一些其它的信息。在用户提供这些参数之后,Savanna将帮助用户在几分钟之内建立起集群,同样还可以帮助用户根据需求对集群进行扩展(增加或者删除工作节点)。

方案针对以下几种用例:

  • 为Dev和QA快速配置Hadoop集群
  • 利用通用OpenStack IaaS云中从未使用过的计算能力
  • 为专用或突发性的分析负载提供“分析即服务”(类似AWS中的EMR)。

主要特性如下:

  • 作为OpenStack组件出现
  • 通过REST API进行管理,用户界面作为OpenStack Dashboard的一部分。
  • 支持多种Hadoop分布:

  • 作为Hadoop安装引擎的可插拔系统。
  • 集成了提供商特定的管理工具,比如Apache Ambari或者Cloudera Managent Console。

  • Hadoop配置的预定义模板来,具备配置参数功能。

Savanna REST API和定制Horizon视频链接: YouTube视频

细节说明

Savanna产品主要于以下几个OpenStack组件进行通信:

  • Horizon——提供GUI以使用所有Savanna的特性。
  • Keystone——认证用户并提供安全令牌,用以与OpenStack通信,用以给用户分配特定的OpenStack权限。
  • Nova——为Hadoop集群配置虚拟机。
  • Glance——用于储存Hadoop虚拟机镜像,每个镜像都包含了已安装的OS和Hadoop;预安装的Hadoop应该给予我们在节点布置上的便利。
  • Swift——可以作为需要进行Hadoop作业的预存储。


常规工作流

Savanna会根据用例给用户提供两种不同抽象等级的API和UI:集群配置和分析作为服务。

集群快速配置的工作流程包括以下选项:

  • 选择Hadoop版本
  • 选择包含或者不包含预安装Hadoop的基础镜像

  • 对于未预安装Hadoop的基础镜像,Savanna将提供整合了供应商工具的可插拔部署引擎。

  • 定义集群配置,包括集群的大小和拓扑,并且设置不同的Hadoop参数(比如heap大小)。

  • 将提供可配置的模板用以简易参数配置机制。

  • 集群的配置:Savanna将提供虚拟机,安装和配置Hadoop。
  • 集群上的操作:添加和移除节点。
  • 在不需要时终止集群。

对于分析即服务的工作流程包括以下选项:

  • 选择一个预定义版本
  • 配置作业:
  • 选择作业的类型:pig、hive、jar-file等等
  • 提供作业脚本源或者是jar路径
  • 选择输入和输出数据路径(最初只支持Swift)
  • 为日志选择路径

  • 设置集群大小限制
  • 执行作业:

  • 所有集群配置和作业执行都会清楚的呈现给用户
  • 作业结束后会自动移除集群

  • 取回计算结果(比如从Swift)

用户方面

在使用Savanna配置集群时,用户在两种类型实体上进行操作:Node Template和Cluster。

Node Template用于描述集群中的节点,包含了几个参数。节点类型就属于Node Template的属性之一,这将决定Hadoop将在节点上运行什么样的处理,确定节点在集群中的扮演的角色,它可以是Job Tracker、NameNode、TaskTracker、DataNode或者这些节点的逻辑组合。Node Template同样还保存了硬件参数,这些参数用于节点虚拟机以及Hadoop在节点上的工作内容。

Cluster实体用于描述Hadoop Cluster,描述了预装Hadoop虚拟机特征,用于集群的部署和集群拓扑。拓扑是节点模板和每个模板该部署节点数量的列表。关于拓扑,Savanna会验证集群中的NameNode和JobTracker是否唯一。

每个节点模板和集群都归属于用户给其分配的tenant,用户只能访问已接入tenant里面的对象。用户只能编辑或删除他们建立的对象,当然管理员用户可以访问所有的对象,Savanna需要遵守同样的OpenStack访问策略。

Savanna提供了多种Hadoop集群拓扑,Job Tracker和NameNode进程可以选择在一或两个独立的虚拟机上运行。同样集群可以包含多种类型的工作节点,工作节点可以同时充当TaskTracker和DataNode,同样也可以扮演一个角色。Savanna允许用户任意选项的组合去建立集群。

与Swift整合

在OpenStack中,Swift作为标准对象存储,类似Amazon S3。通常部署在实体主机上,Swift被作为“OpenStack上的HDFS”,具备很多使用的增强功能。

首先为Swift实现的文件系统: HADOOP-8545,这样的话Hadoop作业就可以运行在Swift上。在Swift方面,我们必须将请求更改为 Change I6b1ba25b。它将端点映射为Object、Account或者是Container列表,这样就可以将Swift与依赖数据位置信息的软件整合,从而达到避免网络开销。

可插拔部署和监控

监视功能来自供应商定制的Hadoop管理工具,Savanna整合了类似Nagios及Zabbix可插拔外部监视系统。

部署和监控工具都将被安装在独立的虚拟机上,从而允许单一的实例同时管理或监控不同的集群。 

原文链接: Savanna (编译/仲浩 审校/王旭东)

“ 第五届中国云计算大会 ”将于2013年6月5-7日在北京国家会议中心隆重举行。猛击报名! 

相关活动已经火热启动:

2013中国云计算大调查,每周大奖等你拿! “ 

Innovation Cloud 2013云创新产品与应用项目征集,欢迎研发者、团队和创业企业参加! 

Zynga力挽狂澜三步棋:移动+授权+自有网络 巧用MapReduce+HDFS,海量数据去重的五大策略 革自己的命?为带来一致体验 IE11伪装FireFox 最古老的Linux发行版Slackware以及Arch Linux齐弃MySQL JEECG v2.3 发布,基于代码生成器的智能开发框架 Mozilla将设应用工场 Firefox OS瞄准欧洲南美 Summly创始人:12岁开始编程 17岁公司卖了3000万美元 因SaaS与NoSQL,Oracle雄风不在? 那些年云计算领域的大牛们 回顾:那些被平台方封杀的第三方应用 [热帖推荐] 中国的程序员,真的“短命”吗? 聚焦HTML5移动开发 第六届英特尔杯大学生软件开发大赛开幕 虚拟化技术新星Pluribus Networks获中国VC青睐 可穿戴开发!Pebble Watchface SDK 4月发布 我想做个程序员:一位编程小白的App开发故事 Go 1.1发布,支持向后兼容 Polycode:免费、开源的跨平台(游戏和APP)开发工具 为何大多数云计算公司注定要失败 究竟是什么让Redshift比Hive快10倍?! [评论]将Linux拒之门外 微软被开源社区指控垄断 精细化运营:友盟统计分析SDK 3.0版本发布 “锤子OS”功能猜测与罗式对比营销 神奇!1KB JavaScript代码编写的3D蜜蜂 顶尖技术人员“兜售”的顶尖编程语言、扩展工具等 移动阅读商业化:Flipboard支持用户DIY杂志 全球移动App:Top 52发行商排行榜 知新网CTO:从程序员的视角,实践精益创业 罗永浩锤子ROM:小团队的75项微创新 谷歌知识图谱扩展到Android平板电影中 云计算大战升温 服务器OEM押注OpenStack 如何将战略性的内容策略融入进网页设计中 怎样将一个全局数组附值后再传入一个函数或过程中,而数组中的值不变? 如何在我的程序中取得别的程序中某一控件的句柄(hwnd)? 小弟的软件刚发布请各位高手指点!来者都给分 使用存储过程建立数据集时怎样指定数据集参数? 救命:Beta2安装时候出错:在Disk1上找不到源文件。 如何将图标文件存入到一个dll文件中? ********杨家将请进********** 求救!!为什么我一打开windows就出现说缺少dll文件,storm.dll,还有load.exe.是为什么呀? 请大虾出手:MFC的DLL工程, 我实现了把一个dll工程的menu装载到我的主工程,但与其对应的ToolBar怎么调出来呢??我很着急! 在mdi表單中調用設為最大化的子表單時,它首先顯示小的子表單,然后才把它最大化,影響美觀,有何辦法解決? 关于在菜单中陷入文本框 20分求助有关SQL数据库的问题(为什么select...into语句无法执行) 哪有里Crystal Reports可以下载(无内容)? Where the 广东外贸外语学院 关于ODBC客户机端配置的问题 谁能给我一个delphi连接access数据库的实例,小弟万分感谢!!!!!!!!!!!!! 我机器里,98,2000装在C盘,XP装在D盘,现在我想只留下XP,不知道该怎么处理???????????????????????????? 如何实现5M以上的文件的上传 从windows进入unix Oracle 中文输入 是否onkeypress和onkeydown不能同时使用呀? Delphi 5下要做一个多 Y 轴的曲线图形,如何实现? 哪有xteamlindows下载?? 万分感谢!!!!! borland 会不会出一个 C# Builder? 乱码,头大了,不知道为什么pb导入excel怎么办 数据统计问题,请大侠门帮忙!急急急!!! 求解ZModem通讯协议源程序----有谁用过CZModemCore 我也不知道对不对! 最高级的问题?搞一个专业的VC程序员基地~~~~~~ 在研究directshow filter的push模式的兄弟请进 800分+工资管理原代码,如何解决ActiveReports打印图片的一个很难题;否则我快下岗了 有两个问题,每题40分,马上给分!!!! 如何使用打印机? 在爱情方面谁能做到这一点? 谁有 file cutter v1.4的注册码? 有急用! 搞一个专业的VC程序员基地~~~~~~谁愿意加入????? 最新发现:原来C++Bilder的项目文件(.bpr)是XML格式的! 关于FAT32和NTSF的问题 如何用VC实现Email的发送? 800分+工资管理原代码,如何解决ActiveReports打印图片的一个很难题;否则我快下岗了! 搞一个专业的VC程序员基地~~~~~~需要网页制作高手!! ADO 的用法 m_pRecordset->Fields->GetItem(index)->GetName() 关于CRichEditCtrl的问题之二,取的当前可见行数? 请问在哪里下载IMAIL SERVER???各位帮帮忙!!! 高手请回答,ADO和BDE到底有什么区别,你选择谁?为什么? 高分求教!!!!!!!!!!!!!!!!怎样得到局域网上所有的机器名?(普通WINDOWS网络,用VB?,好象用WNET API可以的) 如何安装com.ibm.bridge2java.*这个包阿? 有人吗???求救! 你也许也会遇到这样的问题? 800分+工资管理原代码,如何解决ActiveReports打印图片的一个很难题!!! 蛋白质的那课,什么氨基,羧基,肽键,肽链,空间结构,氨基酸,整课都听不懂啊~就通俗点解释下把,它们之间的关系,通式什么的. 上海哪里有买欧姆龙血压计的吗?母亲节快到了,想给妈妈买个欧姆龙原装进口的机器?上海哪里有买?可以打折吗? 历史是什么,它看不见摸不着 形容读书刻苦的成语( )( )( ) 形容读书刻苦的成语啊给好评 瓦楞纸板耐破强度得到的KPa怎么转化为磅,边压得到结果KPa怎么转换为磅/英寸 形容独自刻苦读书的成语 蛋白质的有关习题 海拔三千米是什么意思 欧姆龙7200和7201,这2个型号有什么区别?哪个型号比较好? 蛋白质的相对分子质量怎么算?(具体点,最好能举个例题) 一个人从空中三千米的高度掉到海里 身体正面接触海水 接触的瞬间会不会将人拍死《平面掉下来》 欧姆龙血压计7200好吗帮朋友问的,想知道欧姆龙7200这款怎么样,用着方便吗,天津到哪里买比较好 一条绳长2米,第一次剪去5/2,第二次剪去的比第一次多3/1米,一共剪去多少米?列式 上帝你在哪里?可是,我看不见你! 一条绳子长2分之1米,用去2分之1后,还剩2分之1.判断 关于蛋白质的一道生物计算题~脑残的我求第一小题的解啊~已知有一种多肽,其分子式为C55H70O19N10其完全水解后只得到下列四种氨基酸:甘氨酸C2~H5~O2~N,丙氨酸C3~H7~O2~N,谷氨酸C5~H9~O4~N,苯丙氨酸C9~ 因为天气不好我们看不见下面的东西 形容读书勤奋的成语 Kgf/mm是什么单位?130Kgf/mm是什么意思? 一根10米长的绳子,第一次剪去它的一半,第二次减去剩下的1/3,第三次减去剩下的1/4,如此继续下去,第五次剪后,剩下的绳子长多少米? 尿干化学分析蛋白质+-是什么意思?尿干化学分析结果,蛋白质的结果是+-参考值是- 不知道是什么意思?大夫没说出什么意思来,问问大家是什么意思? 在比例尺是1:2000000的地图上量得甲乙两个城市之间的距离是7.5cm,如果该画在比例尺为1:3000000的地图上,那麽图上的距离是多少cm? 19.5KN换算成kgf是多少? 蛋白质 什么意思 在比例尺时1:2000000的地图上测的长是4.5cm,如果把长改画在比例尺是1:3000000的地图上,应画多长?要列算式,不要打一些横杠! 有一个绳子10米长,第一次减去一半,第二次减去剩下的一半,剪7次后,剩下多少米 化学上把氨基酸和蛋白质定义为同系物吗 什么东西别人看不到,而自己还可以欣赏到的那? 青海玉数海拔三千米缺氧嘛? -蛋白质什么意思 为啥子鸟晚上看不见东西? 在比例尺是1:6000000的地图上,量得南京到北京的距离是15cm.南京到北京的实际距离大约是多少米? 已知空气的摩尔质量M=2.9×10-7kg/mol,成年人做一次深呼吸的吸入150cm3,空气,则做一次深呼吸,吸入空气质量约 kg,吸入气体分子数约为 (取一位有效数字)请详述计算过程, 鱼跃血压计和欧姆龙血压计,哪种校准? 为什么人在黑夜里看不见东西? 欧姆龙电子血压计 比较欧姆龙电子血压计 臂式 HEM-7200 和HEM-8102A 哪个更好一些 血压计是买欧姆龙的还是鱼跃的? 用什么东西在纸上写字看不见? 表示书读得、表示精读、表示泛读、表示读书刻苦的成语(各4个) 我在长沙想买台血压计,有谁知道是鱼跃的血压计好.还是欧姆龙血压计好. 有一根10米长的绳子,第一次剪去一半,第二次剪去剩余的一半,……剪七次后,剩下的绳子长多少米?A 六十四分之一米 B 一百二十八分之一米 C 六十四分之五米 D一百二十八分之五米 欧姆龙电子血压计怎么样? 在比例尺是1:2000000的地图上,量得两城市间的距离是6厘米,如果是在1:4000000的地图上,图上距离是多少厘米? 木啊有一根绳子长10米,第一次剪去一半,第二次减去剩余的一半,.剪7次后,剩下的绳子有多长? 欧姆龙的电子血压计怎么这么不准?前几年我妈妈买了个欧姆龙腕式血压计,错的离谱.家里备个听诊器和水银血压计.后来有人说是因为老年人,要用上臂的,上月买了个欧姆龙7051,还是不准,手量 在一幅比例尺是1比2000000的地图上,甲乙两地间的距离是10厘米,如果在比例尺是1比4000000的图上,这两地间的距离是多少?用正反比例解正反 比例的知识解 一根绳子,第一次用去了一半,第二次用去了剩下的一半多6米还剩3米,绳子长多少米 关于蛋白质的相对分子质量有些蛋白质要考虑二硫键(—S—S—)相对分子质量.蛋白质的相对分子质量的计算中,若通过图示或其他形式告知蛋白质中有二硫键形成时,要考虑脱去氢的质量.一 电子血压计品牌选购?松下血压计比欧姆龙的质量差吗?差在哪里?为什么都说欧姆龙的好我选择松下了 什么东西看不见摸不着但很重要? 想买欧姆龙电子血压计7201一款,性能与价格如何? 欧姆龙血压计怎么样,能不能用的住啊,质量挺好的吗?还有么有其他比较好的品牌?具体哪里有卖的? 什么东西看不见、摸不到, 蛋白质那里完全不懂啊……就是肽键与氨基酸的关系和水分子的关系 某蛋白质由n条肽链组成,氨基酸的平均分子量为a,控制蛋白质合成的基因含b个碱基对,则该蛋白质的分子量约()DNA(基因)中碱基数:信使RNA中碱基数:蛋白质中氨基酸数=6:3:1 这个是怎么看 什么东西对于人来说看不见摸不着但很重要? 在生物高一必修一的第二节的蛋白质的结构和功能中,主要是氨基酸的结构不懂什么氨基羧基连在哪啊,还有肽链、肽键的关系,都不是很清楚, 关于生物蛋白质的计算题.急啊!有图!有一处不理解,就那个求基因的相对分子质量,为什么要减去,减的是什么?就这一问,其余都会.请求解答,多谢. 什么东西看不见却摸不到?
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn