说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Project Savanna:让Hadoop运行在OpenStack之上

HTML文档下载 WORD文档下载 PDF文档下载
Hadoop基本上已成为MapReduce实现的产业标准,并为众多机构采用;Savanna则是让用户可以在OpenStack上运行和管理Hadoop集群,而用户做的仅是给Savanna提供一些相关的配置参数。

Apache Hadoop基本上已经成为MapReduce实现的产业标准,并且被各个机构广泛采用,而Savanna项目旨在让用户可以在OpenStack上运行和管理Hadoop集群。值得一提的是,Amazon通过EMR(Elastic MapReduce)提供Hadoop服务已达数年之久。

用户需要给Savanna提供一些信息来建立集群,比如Hadoop版本、集群拓扑、节点硬件详情以及一些其它的信息。在用户提供这些参数之后,Savanna将帮助用户在几分钟之内建立起集群,同样还可以帮助用户根据需求对集群进行扩展(增加或者删除工作节点)。

方案针对以下几种用例:

  • 为Dev和QA快速配置Hadoop集群
  • 利用通用OpenStack IaaS云中从未使用过的计算能力
  • 为专用或突发性的分析负载提供“分析即服务”(类似AWS中的EMR)。

主要特性如下:

  • 作为OpenStack组件出现
  • 通过REST API进行管理,用户界面作为OpenStack Dashboard的一部分。
  • 支持多种Hadoop分布:

  • 作为Hadoop安装引擎的可插拔系统。
  • 集成了提供商特定的管理工具,比如Apache Ambari或者Cloudera Managent Console。

  • Hadoop配置的预定义模板来,具备配置参数功能。

Savanna REST API和定制Horizon视频链接: YouTube视频

细节说明

Savanna产品主要于以下几个OpenStack组件进行通信:

  • Horizon——提供GUI以使用所有Savanna的特性。
  • Keystone——认证用户并提供安全令牌,用以与OpenStack通信,用以给用户分配特定的OpenStack权限。
  • Nova——为Hadoop集群配置虚拟机。
  • Glance——用于储存Hadoop虚拟机镜像,每个镜像都包含了已安装的OS和Hadoop;预安装的Hadoop应该给予我们在节点布置上的便利。
  • Swift——可以作为需要进行Hadoop作业的预存储。


常规工作流

Savanna会根据用例给用户提供两种不同抽象等级的API和UI:集群配置和分析作为服务。

集群快速配置的工作流程包括以下选项:

  • 选择Hadoop版本
  • 选择包含或者不包含预安装Hadoop的基础镜像

  • 对于未预安装Hadoop的基础镜像,Savanna将提供整合了供应商工具的可插拔部署引擎。

  • 定义集群配置,包括集群的大小和拓扑,并且设置不同的Hadoop参数(比如heap大小)。

  • 将提供可配置的模板用以简易参数配置机制。

  • 集群的配置:Savanna将提供虚拟机,安装和配置Hadoop。
  • 集群上的操作:添加和移除节点。
  • 在不需要时终止集群。

对于分析即服务的工作流程包括以下选项:

  • 选择一个预定义版本
  • 配置作业:
  • 选择作业的类型:pig、hive、jar-file等等
  • 提供作业脚本源或者是jar路径
  • 选择输入和输出数据路径(最初只支持Swift)
  • 为日志选择路径

  • 设置集群大小限制
  • 执行作业:

  • 所有集群配置和作业执行都会清楚的呈现给用户
  • 作业结束后会自动移除集群

  • 取回计算结果(比如从Swift)

用户方面

在使用Savanna配置集群时,用户在两种类型实体上进行操作:Node Template和Cluster。

Node Template用于描述集群中的节点,包含了几个参数。节点类型就属于Node Template的属性之一,这将决定Hadoop将在节点上运行什么样的处理,确定节点在集群中的扮演的角色,它可以是Job Tracker、NameNode、TaskTracker、DataNode或者这些节点的逻辑组合。Node Template同样还保存了硬件参数,这些参数用于节点虚拟机以及Hadoop在节点上的工作内容。

Cluster实体用于描述Hadoop Cluster,描述了预装Hadoop虚拟机特征,用于集群的部署和集群拓扑。拓扑是节点模板和每个模板该部署节点数量的列表。关于拓扑,Savanna会验证集群中的NameNode和JobTracker是否唯一。

每个节点模板和集群都归属于用户给其分配的tenant,用户只能访问已接入tenant里面的对象。用户只能编辑或删除他们建立的对象,当然管理员用户可以访问所有的对象,Savanna需要遵守同样的OpenStack访问策略。

Savanna提供了多种Hadoop集群拓扑,Job Tracker和NameNode进程可以选择在一或两个独立的虚拟机上运行。同样集群可以包含多种类型的工作节点,工作节点可以同时充当TaskTracker和DataNode,同样也可以扮演一个角色。Savanna允许用户任意选项的组合去建立集群。

与Swift整合

在OpenStack中,Swift作为标准对象存储,类似Amazon S3。通常部署在实体主机上,Swift被作为“OpenStack上的HDFS”,具备很多使用的增强功能。

首先为Swift实现的文件系统: HADOOP-8545,这样的话Hadoop作业就可以运行在Swift上。在Swift方面,我们必须将请求更改为 Change I6b1ba25b。它将端点映射为Object、Account或者是Container列表,这样就可以将Swift与依赖数据位置信息的软件整合,从而达到避免网络开销。

可插拔部署和监控

监视功能来自供应商定制的Hadoop管理工具,Savanna整合了类似Nagios及Zabbix可插拔外部监视系统。

部署和监控工具都将被安装在独立的虚拟机上,从而允许单一的实例同时管理或监控不同的集群。 

原文链接: Savanna (编译/仲浩 审校/王旭东)

“ 第五届中国云计算大会 ”将于2013年6月5-7日在北京国家会议中心隆重举行。猛击报名! 

相关活动已经火热启动:

2013中国云计算大调查,每周大奖等你拿! “ 

Innovation Cloud 2013云创新产品与应用项目征集,欢迎研发者、团队和创业企业参加! 

求别再侵犯儿童隐私!FTC狠罚Yelp和TinyCo 华为应用市场助力开发者 软硬结合造就强大生态系统 【CTO俱乐部看板研修班北京站现场速递】看板方法:渐进变革的过程 《近匠》不背单词,用“沉浸”征服英语学习 ETpl——强复用、灵活、高性能的JavaScript模板引擎 MDCC 2014大会日程概览发布 最新嘉宾议题揭秘 终于来了,微信企业号正式开启公测! 【问底】王帅:深入PHP内核(一)——弱类型变量原理探究 谷歌Kubernetes专访:未来BigTable开发只是课后习题 首届“最具价值CTO”评选来啦!我们在找你! 【CTO俱乐部走进顺丰总部】活动图文直播进行中 中国第一个云主机评测发布:天翼云性价比第一、青云质量第一 Ruby 2.1.3发布,降低内存消耗、修复众多Bug! OpenHW2014开源硬件总决赛鏖战西安 AMD力推异构计算 《坦克世界:闪电战》:PC转手游,不止免费! 【讲师】道里云毛文波:网络虚拟化与SDN实现Docker连通 性能测试:SequoiaDB vs. MongoDB vs. Cassandra vs. HBase 华云数据推运营型PaaS Plus平台,联合Tmax走出“去IOE”的云化之路 聚焦移动新势力 MDCC 2014免费展位团队名单公布 详解Google Authenticator工作原理 云计算的乐高玩具,Docker从根本上改变应用程序开发 【先锋】eSage缔造异构虚拟化管理技术,做数据中心核心思想执行者 Uplinq2014:亲身体验Vuforia与智能眼镜设备 MDCC 2014 移动开发者大会议程全面揭晓! 顺丰模式:物流行业“互联网化”的科技之路 移动应用云服务工具APICloud宣布完美适配iPhone6 从应用分发到能力开放 华为开发者联盟沙龙上的共赢理念 SOOMLA框架:移动游戏分分钟创建个虚拟商店 Facebook:如何让应用适合所有系统、带宽以及屏幕 Docker实践者不能错过2014 Container技术大会的九大理由!(讲师议题全面揭晓) 2014全球云计算大会中国站(CC China)精彩集锦 急救:::一个关于网站建设的问题 如何在代理中使用LotusScrip创建表单? to:anybody1 thanks Delphi6.0中怎样使用OpenDialog?(一定给分) 本周五3。15是giko(孤独的老鱼)的生日! 用bcb编写cgi程序 关于权限的问题用SQL语句实现?急急!!! access violation 问题 小弟的登陆程序还有点问题,请各位帮忙解决。 听说能自己给自己加分? ◆◆◆奇怪,关于ZIP 压缩文件??? 怎么在运行时为picutrbox控件内部增加其他控件?还有问题解决了,分怎么给? 如何恢复ASP的组件服务? 又一个C/S方式下的编程问题,不明白呀?为什么呢?怎么做呢? 关于弹出菜单的问题,请赐教! 请您指教100分。 程序是中文的,可以在日文的 WINDOWS 98 上正常显示 , 及运行吗 ? 让对象在窗体内来回移动,当移动到窗体边界又能反弹回去,这段代码怎么写? 怎样把其他应用程序的主菜单变灰? 大学本科,,函授,自考,夜大,远程教育,自学!哪个硬! 关于TNMUDP不能接收>2048数据包的问题? 关于sizeof()函数的疑问? 请问关于O的设计问题? 在sql server 2000中如何创建一个database 程序是中文的,可以在日文的 WINDOWS 98 上正常显示 , 及运行吗 ? 有没有用过zope的大侠,谈谈感受吧:D LNK4089是什么原因引起的? ADO中,如何获得连接字符串? 请问关于OO的设计问题之二? 语句的错误? 换个id灌水的感觉真爽 一个最简单的存储过程 关于空间的问题 资源文件是什麽,怎麽使用? 请问怎样将下拉数据窗口中的某一行设置为当前所显示的行? InstallShield 如何做个 unistall 的 shortcut 到菜单里 scandir怎么用? 怎样从CMainFrame中调用DOCUMENT类中的PUBLIC成员!谢谢! 在线成中如何更新一个对话框 学习JAVA用JSDK开发还是VJ++?有什么区别吗?还是一样? "Resource id #1"是什么意思?? 主板上风扇都不转了,是什么原因??请教,谢谢!!! 乒乓球队进行比赛.... WIN98中公用文件夹窗体中文本框不能显示汉字 请问大虾:MDI窗体的菜单能不能和子窗体的菜单一起显示在菜单栏上??? 再谈关于PB控制Excel的问题。。。(ton2000) COM连接点客户端接受器的实现问题 为什么我的安装包不能安装?请高手指教,急啊。 送分问题:ASP字符串处理的函数有哪些? VB中将数据库中单条记录输出并打印! VB中如何宣告在DLL文件中的函数? 充电式热水袋里装的液体对人体有毒吗?刚买了个充电的热水袋,但充完电后觉得很臭胶味,不知它里面装的是什么液体,对人体有害吗?会不会有辐射之类的?对小孩健康有没有影响? 请问下这是什么植物 是否有毒? 估测油酸分子的大小实验 配制油酸酒精溶液用有水酒精行吗? 这种暖手袋里面装的是什么液体,,工作原理是什么, 被硫酸烫伤用干毛巾擦干后再用弱碱水擦可以吗? 与碱反应生成气体的物质有哪些 中国哪个省盛产棉花?!..?!... 水烫伤起水泡怎么办 碱与盐反应,若生成气体,则气体为( ),为什么?(举几个方程式) Y是元素周期表中前四周期的元素,常温常压下,Y单质是淡黄色固体,常在火山口附近沉积.那么Y是什么元素啊. 气体A只含X,Y两种短周期元素,X的原子序数大于Y的原子序数.B,D,E是中学化学中常见的气体气体A只含X,Y两种短周期元素,X的原子序数大于Y的原子序数.B,D,E是中学化学中常见的气体,各物质有如下 已知化合价怎么求化学式比如氧-2价 钾+1价 怎么求化学式 哪位大师讲解下化学的元素周期表?包括原子半径,离子半径的大小要怎么看啊? W.X.Y.Z为短周期内除稀有气体外的4种元素它们的原子序数依次增大,其中只有Y为金属元素.Y和W的最外层电子数相同.Y.Z两元素原子的质子数之和为W.X两元素质子数之和的3倍.问W.X.Y.Z分别为什么 已知化学式求化合价?比如说,KIO3,O一般为-2价,如何求其他的? 哪个国家被称为花园之国 W、X、Y、Z为短周期内(出稀有气体元素外)的四种元素.它们的原子序数依次增大.它们的原子序数依次增大,其中只有Y为金属元素.Y和W的最外层电子数相等.Y、Z两元素原子的质子数之和为 W、X 金属置换金属的化学方程式 化学:已知X、Y、Z、W是四种短周期元素,且原子序数依次增大.X、W同主族W原子的质子数等于Y、Z原子的最外层电子数之和.Y与X形成的分子中有3个共价键.常温下,Y与Z组成的化合物是红棕色气体 化学卷19:某稀有气体元素的原子序数为a,跟它的原子序数靠近的两种短周期元素X和Y互相化合时,能形成化学式XY2的离子化合物.已知Y的原子序数为b,则X的原子序数为( )A a-bB 2a-bC 3a-2bD 3b-2a 位于氢后面的金属能否把前面的置换出来么? 世界上有“花园之国”之称的国家是? 雷磁PHS-3C PH计如何使用 电位滴定法中影响测量的因素有哪些? 化学必修2,元素周期率的题,推断 雷磁PHS-3C PH计 E201-C型 PH复合电极是怎样矫正的 已知化学式HxROX-1求R元素的化合价. 花园之国,玫瑰之国,钟表之国是指哪些国家? 便携PH计用的哪种电极?玻璃电极 复合电极还是甘汞电极 苹果生长在南方吗 吃到电池流出来的液体有毒吗? 请问PHS-3C酸度计的电极保护液Kcl溶液怎么样配置?是雷磁牌 什么是电位滴定法 用过的蓄电池留出的液体流到了手上有毒吗?我的手破了,然后我去载电池结果被,用过的蓄电池流出的液体弄到伤口上了,现在挺蛰的.这应该怎么办啊,现在应该怎么处理? 中亚分别有哪几个国家 电位滴定法测定浓度时,那个被测物的体积是怎么选的,比如吸取10.00ML于烧杯中,加水至30ml,那么此时我要算0.1/15.56=C/v 这里的体积是10还是30呢 碱性干电池流出的液体有毒吗 梅特勒的酸度计跟中国雷磁的酸度计的区别 亚销酸根盐的阴离子亚销酸根阴离子的性质~ 电池里流出来的水有毒吗今天收拾房间发现闹钟里有一块电池好几年了有流出黄的颜色的液体,而且都干固了我还不小心弄到嘴里了肿么办会不会怎么样啊 中亚包括哪些国家 亚硫酸根 硫离子 次氯酸根 哪些是弱酸根?哪些可以和氢氧根共存? 别不看补充问题啊!这个才是关键! 原题见图)X,Y,Z,W是元素周期表中原子序数依次增大的前20号元素中的4种.X、Y同周期,Y、Z同主族,Z^n-与W^n+的电子层结构相同.B,C,D,E,F,G,H,X,Y,Z,W是什么就好了. 换煤气瓶时 有红色液体流出 这液体有毒吗 是什么? 偏铝酸根和亚硫酸根能大量共存吗 3月29日化学38分钟单元测试15,原子序数依次增大的短周期元素a,b,c,d 和e 中,a的最外层电子数为其周期数的二倍;b和d的A2B型氢化物均为V形分子,c的+1价离子比e的-1价离子少8个电子.回答下列问 有谁知道为什么换煤气瓶时会从管子里流出好像脏水的液体?这液体又是什么东西? 高猛酸根与亚硫酸根在酸性条件下能否共存?离子方程式是什么? ph计的工作原理+为何要使用标准溶液ph计的工作原理是通过ph电极在溶液里产生的电位差,经过高增益的放大器驱动仪表指示.那是不是说是一个相对差?假如是的话,那为什么还要用标准溶液标 ph计校准想用PH计调一个PH=2.0的溶液,但是校准液PH最低只到4.00,那么我改用什么溶液校准?还是这种PH计不能准确测定PH在4以下的溶液? 化学反应中的能量变化都表现为热量的变化.这句话为什么错? 酸度计如何使用? 我要测pH值在6-8的溶液,用什么范围的缓冲溶液校准pH计(酸度计)目前我使用6.0和9.1的缓冲溶液组来标准对不对?还是要用4.0和6.0的? 什么气体能与发生碱反应? PH计和酸度计是不是一样的东西? pH计测电位电位值持续下降是怎么回事 某同学用油膜法测分子大小时 使用体积比为1/1000的酒精油酸溶液 己测得1mL该油酸为200滴 则一滴酒精油酸溶液含油酸的体积为____ml 推荐pH计...最近在做一有机实验,对pH要求较高,pH=3~4,麻烦推荐一款能够稳定测量的pH计,之前用的雷磁的不好用,对于流动的液体测量波动很大,且我的反应液中有水相和有机相,麻烦大家了... 请问这是什么植物呢?是不是有毒植物? 氨盐与碱反应生成气体,其它物质能与碱反应生成气体吗?现有某物质A的浓溶液,取少量该溶液与浓KOH溶液共热,生成溶液D与气体E。答案说由题意可知,A能与碱反应生成气体,可确定A为氨盐
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘