说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Project Savanna:让Hadoop运行在OpenStack之上

HTML文档下载 WORD文档下载 PDF文档下载
Hadoop基本上已成为MapReduce实现的产业标准,并为众多机构采用;Savanna则是让用户可以在OpenStack上运行和管理Hadoop集群,而用户做的仅是给Savanna提供一些相关的配置参数。

Apache Hadoop基本上已经成为MapReduce实现的产业标准,并且被各个机构广泛采用,而Savanna项目旨在让用户可以在OpenStack上运行和管理Hadoop集群。值得一提的是,Amazon通过EMR(Elastic MapReduce)提供Hadoop服务已达数年之久。

用户需要给Savanna提供一些信息来建立集群,比如Hadoop版本、集群拓扑、节点硬件详情以及一些其它的信息。在用户提供这些参数之后,Savanna将帮助用户在几分钟之内建立起集群,同样还可以帮助用户根据需求对集群进行扩展(增加或者删除工作节点)。

方案针对以下几种用例:

  • 为Dev和QA快速配置Hadoop集群
  • 利用通用OpenStack IaaS云中从未使用过的计算能力
  • 为专用或突发性的分析负载提供“分析即服务”(类似AWS中的EMR)。

主要特性如下:

  • 作为OpenStack组件出现
  • 通过REST API进行管理,用户界面作为OpenStack Dashboard的一部分。
  • 支持多种Hadoop分布:

  • 作为Hadoop安装引擎的可插拔系统。
  • 集成了提供商特定的管理工具,比如Apache Ambari或者Cloudera Managent Console。

  • Hadoop配置的预定义模板来,具备配置参数功能。

Savanna REST API和定制Horizon视频链接: YouTube视频

细节说明

Savanna产品主要于以下几个OpenStack组件进行通信:

  • Horizon——提供GUI以使用所有Savanna的特性。
  • Keystone——认证用户并提供安全令牌,用以与OpenStack通信,用以给用户分配特定的OpenStack权限。
  • Nova——为Hadoop集群配置虚拟机。
  • Glance——用于储存Hadoop虚拟机镜像,每个镜像都包含了已安装的OS和Hadoop;预安装的Hadoop应该给予我们在节点布置上的便利。
  • Swift——可以作为需要进行Hadoop作业的预存储。


常规工作流

Savanna会根据用例给用户提供两种不同抽象等级的API和UI:集群配置和分析作为服务。

集群快速配置的工作流程包括以下选项:

  • 选择Hadoop版本
  • 选择包含或者不包含预安装Hadoop的基础镜像

  • 对于未预安装Hadoop的基础镜像,Savanna将提供整合了供应商工具的可插拔部署引擎。

  • 定义集群配置,包括集群的大小和拓扑,并且设置不同的Hadoop参数(比如heap大小)。

  • 将提供可配置的模板用以简易参数配置机制。

  • 集群的配置:Savanna将提供虚拟机,安装和配置Hadoop。
  • 集群上的操作:添加和移除节点。
  • 在不需要时终止集群。

对于分析即服务的工作流程包括以下选项:

  • 选择一个预定义版本
  • 配置作业:
  • 选择作业的类型:pig、hive、jar-file等等
  • 提供作业脚本源或者是jar路径
  • 选择输入和输出数据路径(最初只支持Swift)
  • 为日志选择路径

  • 设置集群大小限制
  • 执行作业:

  • 所有集群配置和作业执行都会清楚的呈现给用户
  • 作业结束后会自动移除集群

  • 取回计算结果(比如从Swift)

用户方面

在使用Savanna配置集群时,用户在两种类型实体上进行操作:Node Template和Cluster。

Node Template用于描述集群中的节点,包含了几个参数。节点类型就属于Node Template的属性之一,这将决定Hadoop将在节点上运行什么样的处理,确定节点在集群中的扮演的角色,它可以是Job Tracker、NameNode、TaskTracker、DataNode或者这些节点的逻辑组合。Node Template同样还保存了硬件参数,这些参数用于节点虚拟机以及Hadoop在节点上的工作内容。

Cluster实体用于描述Hadoop Cluster,描述了预装Hadoop虚拟机特征,用于集群的部署和集群拓扑。拓扑是节点模板和每个模板该部署节点数量的列表。关于拓扑,Savanna会验证集群中的NameNode和JobTracker是否唯一。

每个节点模板和集群都归属于用户给其分配的tenant,用户只能访问已接入tenant里面的对象。用户只能编辑或删除他们建立的对象,当然管理员用户可以访问所有的对象,Savanna需要遵守同样的OpenStack访问策略。

Savanna提供了多种Hadoop集群拓扑,Job Tracker和NameNode进程可以选择在一或两个独立的虚拟机上运行。同样集群可以包含多种类型的工作节点,工作节点可以同时充当TaskTracker和DataNode,同样也可以扮演一个角色。Savanna允许用户任意选项的组合去建立集群。

与Swift整合

在OpenStack中,Swift作为标准对象存储,类似Amazon S3。通常部署在实体主机上,Swift被作为“OpenStack上的HDFS”,具备很多使用的增强功能。

首先为Swift实现的文件系统: HADOOP-8545,这样的话Hadoop作业就可以运行在Swift上。在Swift方面,我们必须将请求更改为 Change I6b1ba25b。它将端点映射为Object、Account或者是Container列表,这样就可以将Swift与依赖数据位置信息的软件整合,从而达到避免网络开销。

可插拔部署和监控

监视功能来自供应商定制的Hadoop管理工具,Savanna整合了类似Nagios及Zabbix可插拔外部监视系统。

部署和监控工具都将被安装在独立的虚拟机上,从而允许单一的实例同时管理或监控不同的集群。 

原文链接: Savanna (编译/仲浩 审校/王旭东)

“ 第五届中国云计算大会 ”将于2013年6月5-7日在北京国家会议中心隆重举行。猛击报名! 

相关活动已经火热启动:

2013中国云计算大调查,每周大奖等你拿! “ 

Innovation Cloud 2013云创新产品与应用项目征集,欢迎研发者、团队和创业企业参加! 

2013谷歌I/O开发者大会:发布多个软件产品和服务 C语言实现二分法求解方程 开发测试云与虚拟化解决方案 学苹果?微软淘汰Points支付系统改用Gift cards 甲骨文改变Java版本号命名方式 [CTO俱乐部第97期]中科院、腾讯、深圳明源研发团队管理经验分享 Android Studio来了,它能取代Eclipse吗? Google Play Game不够开放,被OpenKit炮轰 Google Play Game Service详解 不仅提供API更提供后端支持 IBM Power走向Linux,是必然的! 美国国家安全局解密特工培训手册:如何利用谷歌等大众搜索工具搜集保密数据 微软IE10如何保护上网安全(大图) 谷歌无畏苹果的理由:强力的算法和基础设施架构 开发者热议异构统一内存访问技术(hUMA) 千万级并发实现的秘密:内核不是解决方案,而是问题所在! Apache RewriteRule重写规则语法入门 IDC:2013 Q1 Android和iOS出货量占92% WP首超黑莓 传雅虎欲10亿美元收购轻博客网站Tumblr A Beautiful Mess:如何赚男人女人的钱 CSS、JavaScript开发者必备的10款最佳工具 IBM推出API管理平台 抢占API经济市场份额 2013中国云计算榜单之一:15云平台,谁主沉浮? 移动周报:百万壁纸、85后程序媛,我为梦想代言! 电信天翼开放平台:为App开发者免费提供云存储和云主机服务 Google新的Web UI库:Ploymer 研发周报:让开发者高效编程的10个新框架 拯救行将就木的PHP:谷歌为GAE添加PHP支持 PPT集萃(一):10位业内高管分享云计算技术理念与行业趋势 得益于苹果谷歌,未来可穿戴技术市场规模可达500亿美元 雅虎11亿美元押注Tumblr三大因素:用户、社交、内容 Perceptual:英特尔感知计算挑战赛 正式启动 请问以前版本的pb程序,如何在8。0上运行 请问在java中如何取得一个字符串的某几位? 哪位高手帮个忙啊? 我写了一个记事本,其中的一项功能"转到",没有实现,问题是:如何取得Richtextbox中的每一行的字符个数啊(整个Richtextbo 请推荐一本有关jdo的书或文章 以internal登录,出现insufficent priviledge 菜鸟说:关于TDATABASE的一个小问题 关于oracle错误代码的问题? 在HTML里是否有类似<!-- #include file="some.htm" -->的方法 突然很不爽,放它一百分 ------------------------------------------------ 请问:多目标决策算法,急!!!!:在线等待 关于./configure 如何进行端口的设置(在线等待) 急!哪位同仁知道秦皇岛的高程什么时候,在哪里报名!!! 数据更新 Win2000中如何禁止更改ip地址? 关于weblogic 8.1中运行jsp的问题 怎么得到一个窗口的句柄 这样的界面是在什么编程语言环境下实现的?急!急!!急!!! [提问]我装Microsoft Visual Studio SP5遇到麻烦,请帮忙。 dataAdapter配置视图函数是出错:函数提供的参数不够! 100分紧急求教关于 TClass 的问题。 一个不是很难的问题! 将三个数字型字符串加密成一密文,可逆 做了一个WBE服务器帮忙测试一下,来者有分,(只限2小时) 利用Sax进行XML文档解析的问题(高分)??? 我用一个ADOCONN,ADODATASOURCE,ADODATASET取得一组数据,请问我怎么用代码来控制指针下移,以及用代码取得当前某个字段的值? 好奇怪???? 错误分析,高分求解!! 各位大虾,帮帮忙!求助如何实现网页访问者的人数 有一个查询问题.快进来.进来有分. 重装Win系统后如何进入Linux系统?? 谁能帮我画这个图??给20分,真的给. 表格中的回车那里去了? 能把这样的VBS脚本改写为VB代码吗? 2000无故奇怪死机! 能把这样的VBS脚本改写为VB代码吗?? 非典时期,你流过几次泪了,我们还需要感动多少次? 先问一下实现性:手机能发送图片,avi和声音吗 2000和xp 共享的问题? 怎么通过netmeeting连上广域网的主机? 能不能将一个文件夹下的图片进行批量上传? 字符串问题: 有关结束进程的问题 谢谢高手 怎样才能学好c语言这门课 帮帮我吧—— 一个简单的问题! 怎样调用Twain设备照相,并将照片放在一个picturebox中 怎样在数据表中查询在某个范围内共有几条记录?(好象很弱的问题) 一个jbuilder的问题[求助] default.asp有IFRAME里面包含list.asp页,list.asp里的链接如何给default.asp传递一个值并刷新它? ★★★如何在界面线程中调用主线程的对象★★★ 如何让jbuilder生成的文件,在没有jbuilder环境的机器上运行? “监听丑闻让美陷道德危机”伊拉克10月恐怖袭击暴力冲突致死近千洛杉矶国际机场发生枪击事件 至少两人洛杉矶国际机场发生枪击事件 一嫌疑人希腊首都雅典发生枪击事件美国三大汽车制造商10月销量普增巴基斯坦塔利班证实其头目被美军无人机洛杉矶国际机场发生枪击事件 一嫌疑人洛杉矶国际机场发生枪击事件 嫌犯被执洛杉矶机场枪击案至少3人受伤 包括一洛杉矶国际机场发生枪击事件 至少两人洛杉矶国际机场发生枪击事件 一嫌疑人伦敦股市股指1日收盘基本持平斯诺登密会德议员 称愿为NSA窃听事斯诺登密会德议员 称愿为NSA窃听事美国洛杉矶国际机场发生枪击事件 至少德国法兰克福股市DAX指数1日下跌波黑有轨电车相撞致40多人受轻伤美国洛杉矶国际机场发生枪击案湖南岳阳三姐弟上学途中遭绑架杀害 嫌尼泊尔张灯结彩庆“灯节”:首日敬乌鸦天津近代精致马球生活的延续天津的马球生活后天天气山西五台县学校做法事求平安续:校领导明天天气阿提哈德航空推特价机票吉祥物及LOGO公众投票开始微言大义奥美成为汇源品牌代理商凤集柳林,香焚迁延终不变北京政协委员:地铁高峰票价可提至4元陕西富平贩婴案受害家长:以后我还能不陕西党校副校长艳照曝光:七夕在女生家疑大肠杆菌污染 恒天然新西兰召回4批欧洲央行发行10欧元新钞外援“空降”中石油管账魏小安 人生如旅,大道小安(2)野岛刚 希望北京故宫另设文物博物馆团伙架设诈骗网站被追查 装万元门锁拦莫用临时工充当“最差城管”自负和愚蠢最终葬送了老大哥
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘