说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

集成GemFire,Hadoop生态圈的又一把火

HTML文档下载 WORD文档下载 PDF文档下载
在开源技术以及母公司的强力支持下,Pivotal很快成长为大数据领域的一支不可忽视的力量。近日,Pivotal发布了Pivotal HD 2.0,该新版本集成了Hadoop 2.2、内存数据库GemFire等多项技术,可谓是融合了众家之长。

【编者按】Pivotal公司由EMC和Vmware部分业务分拆合并而成,Pivotal通过不断吸收新技术并将新技术融合到自己的产品中而成长壮大,现在Pivotal还很好地利用开源力量完善自身的产品,Pivotal HD 2.0新版本整合了内存数据库和众多的分析功能,该版本的发布将会给Pivotal带来更大的影响力,GigaOM的Barb Darrow将在下文为我们带来了详细的分析。


CSDN推荐:欢迎免费订阅《Hadoop与大数据周刊》获取更多Hadoop技术文献、大数据技术分析、企业实战经验,生态圈发展趋势。

以下为译文:

Pivotal努力整合并改进其母公司买来的大数据技术,以应对大数据企业级应用所面临的挑战。

Pivotal是由VMware的CloudFoundry和EMC的Greenplum等业务分拆并重组而成新公司,其目的是为企业带来重新构建、严格测试过的Hadoop,该公司已将Apache Hadoop 2.2技术融入其新的Pivotal HD 2.0版本中,同时还在该版本中集成了内存数据库GemFire XD。

GemFire通过云计算平台虚拟化技术,将若干X86服务器的内存集中起来,组成最高可达数十TB的内存资源池,将全部数据加载到内存中,进行内存计算。计算过程本身不需要读写磁盘,只是定期将数据同步或异步方式写到磁盘。GemFire在分布式集群中保存了多份数据,任何一台机器故障,其它机器上还有备份数据,不用担心数据丢失,而且有磁盘数据作为备份。

Pivotal希望利用稳定的技术为大公司提供一种数据解决方案,为大公司每分钟产生的数据建立周期性良性反馈机制,比如手机运营商可以利用Pivotal HD和GemFire HD的大数据和分析能力来确定最快的呼叫路由,如果呼叫降级或失败就将这些信息反馈回来进行处理,这样可以及时解决问题。在一个完美的大数据环境下,及时向用户道歉也能给客户留下很好的影响。


受益于Apache Hadoop 2.2的更新,Pivotal HD 2.0现在将支持NFS和快照处理,这意味着企业客户在出现问题时可以回滚。

Pivotal HD 2.0在数据库性能方面也有了较大的改进,加强了HAWQ SQL查询性能,其数据库引擎其实是基于Greenplum数据库并做了一些改进。HAWQ现在可以应用MADlib机器学习型库中的50多种数据库内算法,而且该数据库引擎现在支持基于R、Python以及Java语言查询和应用的自动翻译,所以HAWQ可以用SQL很好的处理业务逻辑并对过程进行很好的控制。

Pivotal也许不是第一个从Apache更新获益的商业公司,但它是第一个声称要对开源代码做最严格测试的公司。Pivotal产品营销部门的高级主管Michael Cucchi告诉我们:“我们采用Apache发行版并对其进行强化,为其进行我们自己的QA和回归测试,也尝试在1000个节点的集群上实现回滚操作,我们的测试是在大规模集群上完成的。”

Pivotal HD 2.0新版本为应对实时分析的需求集成了GemFire HD,而且还加入了GraphLab图分析技术,为应对巨大的工作负载,新版本中也添加了改进后的HAWQ SQL查询引擎。

这些都算不了什么——Pivotal只是将EMC和Vmware一系列收购中得到的技术整合到一起,使企业客户可以方便地大规模部署Hadoop并从中获得真正价值。比如HAWQ SQL查询工具来自于EMC 2010年对Green Plum的收购;Gemfire来自于同年Vmware对GemStone的收购。

Cucchi告诉我们:“最初Pivotal HD软件支持在裸机上运行,也可以在VMware环境中运行,还可以和硬件绑定在一起作为一种设备,但将来如果用户想要在AWS或其他公有云上运行Pivotal HD也同样可以。”

这的确是一个极好的机会,这使Pivotal甚至可以抗衡IBM这样的IT巨头以及Cloudera和HortonWorks这样的新生Hadoop力量,换句话说,未来这些企业也将面临Pivotal这样强劲的对手。

原文链接:Pivotal spiffs up Hadoop and GemFire to meet enterprise big data challenges(编译/毛梦琪 审校/魏伟)


以“云计算大数据 推动智慧中国”为主题的第六届中国云计算大会将于5月20-23日在北京国家会议中心隆重举办。产业观察、技术培训、主题论坛、行业研讨,内容丰富,干货十足。票价优惠,马上报名
万物互联,移动为先:MDCC 2015移动开发者大会盛大开幕! 【MDCC 2015】微软开发体验与平台事业合作部大中华区DX部门总经理Srikanth Raju:物联之上云+端 英雄会晚宴,Top开发者共聚“华山之巅” 【MDCC 2015】产品与设计专场(上):百度研究院、印象笔记等专家齐聚,以实例探讨如何打造好产品 【MDCC 2015】产品与设计专场(下):网易云音乐、在行、三节课、去哪儿网、野兽骑行大咖的产品之路 友盟:把数据用活 让开发者享受大数据红利 友盟:用活大数据 让精细化运营为移动开发者服务 携手世纪互联 IBM Bluemix云平台落地中国 【MDCC 2015】IoT峰会—硬件开发与技术专场(下):专家齐聚,共同打造联网新时代 【MDCC 2015】虚拟现实专场(下):虚拟现实的“困”与“竞” 【CTO讲堂】面对世界竞争对手,如何拿到Google PDF开源项目PDFium? 提升网站性能开发的10个技巧 SDCC 2015:顶尖技术精英云集 大会日程及首批讲师议题公布 《近匠》专访猿团创始人CEO谢恩明:梦想、未来、改变 《近匠》专访小熊尼奥:从软硬结合到IP合作,AR产品的机遇 W3C启动Web支付标准工作,推进在线结算流程 W3C中国区会员沙龙在京召开 W3C CEO Jeff分享W3C未来发展重点 【SDCC讲师专访】车轮互联总架构师韩天峰:PHP是最好的编程语言 SDCC 2015讲师专访精彩集锦(一):你想知道的,都在这! (入门篇)带你走进Erlang 【大神来了】Elixir语言设计者Jos&#233; Valim:释放Erlang VM的能量 【SDCC 2015讲师专访】刘小溪:Vert.x3的异步框架实战 【CTO讲堂】支付接入开发的陷阱有多深? 程序员界“香饽饽”、大神级别人物集体亮相——SDCC 2015编程语言专场议题曝光 【CTO沙龙】CDN在共享经济下的创新应用 深入浅出Fetch API 带你入解应用场景及适用问题 SDCC 2015讲师专访精彩集锦(二):途牛网、饿了么、快的等大牛都来了 百度、饿了么、美团专家齐聚SDCC2015,剖析前端开发核心技术 【SDCC讲师专访】百度乔刚:前端可视化难点分析及探索实践 【CTO讲堂】Growth Hacking背后,数据分析平台的架构调整 BAT、巨杉、南大、柏睿等齐聚SDCC—新一代数据库专场议题曝光! 一个关于消息映射的郁闷 如何在Remote Data Module中使用ADOCommand? 真失败...关于优化pl/sql的问题 为什么名字空间下没有ADO 如何获得一个文件的完整URL地址? 谁能详细的讲讲我不明白的例子。我开ID送1000分。我把ID给费了。一定要搞懂 Applet从html中读取参数信息????? 在win98里可上网,但为什么不能查看网络邻居的属性?(在线等!!!) 关于超星的问题 有谁知道win2003+sql2000的问题? 怎么删除表中列的DEFAULT啊??? 高手请进,将程序加为服务 关于邮件服务器 组件编写中的问题--如何显示图标 记得以前学计算机的热情很大,并且非常希望有一台计算机,可是现在机器有了,却没有了以前的热情,经典书买了一堆却都没有看,我在想到底要不 关于超星的问题 大家装了windows server 2003么?怎么样啊?讨论一下好么!! 救救我吖!!怎样在oracle8.0.5中直接添加数据!!高分!急!! 大问题!!!装2003后网卡驱程不行,声卡装了听不到声音??? java能不能实现多文档(象VC++中)? 哪位E文好的同志能把这段话翻译出来,是RFC1928中的一段。 一个比较低级的问题-vb里面的回车换行孵的ASCII码是多少?? 奇怪!!!奇怪!!!奇怪!!!奇怪!!!快来看看! 谁知道windows的按文件名排序是怎么回事阿? ie问题 如何从一个框架调用另一个框架的方法?有办法吗?(在线) 突然觉得计算机语言有个误区 请问我用depends打开了dll文件,看到了里面的函数,但是参数表和返回值类型没有啊 水晶报表急问,大家帮帮忙看看! 请教文件查找的问题。 谁知道windows的按文件名排序是怎么回事阿? oracle难学吗 <jsp:getProperty name="userInfor" property="*"/> 出错!!(在线等待) 如何在vb中设置Combo的默认值?立刻给分 点击按纽,打开应用程序文件,并获得应用程序的窗口标题,怎么实现??? Linux遇到CORBA问题——高分有送! 新的IBM 60G硬盘(7200转)在PII上检测不到(硬盘没问题,在其他上能正常使用,有没有解决办法?) 21世纪合格人材必备7大技能 对加密感兴趣的同志请进,介绍一下有关书籍和代码。 word中的特殊数学符号无法在Authorware中显示 windows 下刪除文件是怎麼刪除的用什麼函數??? 找一部电影,《国家的敌人》 高分送高人:一个OLE和数据库的小问题 父子表的更新怎么办? 电话拨号程序,给点提示 关于调用存储过程的问题!在线,搞定就结 求问,关于BEA weblogic 7.0 100分求助Windows Server 2003 的cdk! 那位大侠帮忙谢谢! hello 大家好!不好意思又有问题了 我一直想学会的一个简单问题,谢谢! 问一个参数传递的超菜问题? 一般将来时的构成是什么?(英语) ADP为什么能提高磷酸果糖激酶的活性 口语宝怎么样?问学堂的口语宝口语宝怎么样?问学堂的口语宝 用过的请详细描述下 英语一般将来时是怎样构成的 6-磷酸果糖激酶-1的酶促反应产物是A.1-磷酸果糖B.6-磷酸果糖C.1,6-双磷酸果糖D.甘油醛和磷酸二羟丙酮 骂人的词语,例如‘蛋白质’【笨蛋、白痴、神经质】稍微难一点的, 一般将来时的构成 笨蛋+傻瓜=? 工科数学分析求极限 求扇形面积 将来时的一般结构 若代数式2y平方+7的值是8,那么代数式4y平方-9的值,过程,速度 扇形面积的求发? 明朝那个皇帝做:他姓朱,属猪,以后不许杀猪 大家知道问学堂口语宝价格多少么?想买呢,去哪里比较好呢? 防震帽是模仿了哪种动物的仿生学设计 明朝第一个皇帝是姓朱吗? 若x小于2时,求代数式x-2/ |x-2|的值, 增加政府财政收入 英文怎么说 蛋白质和酶的区别 一个人应该必须具有的品质有哪些 安规电容上的气候类别指什么意思?比如:40/100/21 对于外界的压力,可以通过正面抗争去战胜它,但有时也需要像雪松那样先弯曲一下,作适当的让步,以求反弹的机会.说说你对这句话的理解. 问学堂的口语宝好用吗?朋友给孩子买的口语宝,孩子挺喜欢的,英语提高的还挺快,看看给孩子买用过的朋友来说说啊 电容表面-40+105c什么意思 protel99 原理图元件制作protel99 中的原理图元件自己制作时,要求元件必须在图纸坐标的中心,但是在实际操作中元件不能放在正中心是怎么回事?以前有人说可以通过调节光栅和光标捕捉尺寸设 一个人应该具有的品质有哪些? "语言变异"与“语言变体”有什么区别? 请问酪氨酸蛋白激酶和酪氨酸酶有什么区别? 一个人应该具备哪些素质写个作文 请问氧化铝分为哪几种变体?他们之间有什么不同? 一句话介绍一位名人要写清楚国家、名字、作品 有关【错题集】我之前都没怎么做过错题集 但是一直听别人说好.所以有一些问题:.各科错题都用一个本子吗 还是一科一本【一科一本会不会太多了,书包很重伤不起.】 .是所有错题都往上 坐大厦下而诵诗书中的 “诗” “书” 指什么 对于外界的压力,可以通过正面抗争去战胜它,但有时也需要像雪松那样先弯曲一下,作出适当的让步……,联想古诗在今晚10点之前 一个人的成功,必须具备哪些品质. 《送东阳马生序》中 坐大厦之下而诵《诗》《书》 ,无奔走之劳矣.是说住宿方面 还是行路方面 还是其他? 写出你所读过的课内要求外的名著的作品名称,并简要概括名著内容(一句话)? 你觉得一个人成功最需要具备的品质是什么? 一般将来时的结构 对于外界的压力可以通过正面抗争去战胜它但有时也需要像雪松那样先弯曲一下,作适当的让步,以求反弹的机 口语宝有那么好吗?最近我听说我一个邻居给他的小孩买了口语宝,他小孩的英语成绩直线上升,就是不知道这个对我小孩有没有用. 一般将来时的结构是什么? 送东阳马生序千古名句是哪句多写几句 口语宝好用吗? 如何快速提高口语?我要参加第七届英语未来之星比赛(国家级)!评委会问很多问题!我怕听不懂!如和快速提高口语?最好能在6天内!我有英语基础! 将来进行时的疑问我知道是will/shall be doing sth 那么请问如果是瞬间动词,可以变成ing形式吗 某探空气球(包括其下面的吊篮)与其下方吊篮中物体的质量之比为1:2,吊篮所受的浮力和空气阻力忽略不计,气球所受的空气阻力与速度成正比,所受浮力始终保持不变,此时气球以1米/秒的 怎么快速提高口语 关于将来进行时的几道题怎么写2和4题 .Q】如图附1所示为一个“W”形的容器,左边管内装有一些水,右边管中装有某种油,中间部分封闭了一些气体.则由图中数据可求得这种油的密度ρ油=_________kg/m3,封闭气体比外界大气压大_______ 如何能快速提高口语呢?介绍一些比较好的网站吧, 问学堂的口语宝好不好啊? 英语翻译把中国的事情办好,本身就是我们对国际社会能尽的最重要责任我的翻译是:the most important duty China can fulfill is to deal with its own affairs well.2楼的高手翻译的好高深阿,能不能解释下, 一个数的4倍比它的3.5倍多7.5,这个数是多少 如何快速提高口语能力呢 问学堂口语宝效果好吗? 目前我国财政收入的形式有哪些? 制作DXP原理图封装时,如何把一个器件分成两部分(如图)? 带有亲昵的骂人有哪些词?像,笨蛋 “泰拳王”与“中国功夫王”见面会上大国考报名结束:37职位报名比例超10厉以宁称征遗产税不应急:中国老人有多河北“自锯病腿”农民顺利手术 预计1杭州临安警方破获特大涉毒涉枪案 缴获流浪女杭州诞下龙凤胎 父母发怒:不会90后女孩爱上有妇之夫 逼男子离婚被男子吃药后感觉自己不男不女 见情侣亲女子相亲时是弟弟洞房成哥哥 5年后提河北自锯病腿患者昨日在医院手术 约十杭州地铁3号线 为啥短了十公里(图)杭州发现外来有害生物福寿螺 对生态环冷空气吹开雾霾带来降温 昨天白天杭州\"流浪女诞龙凤胎\"续:父母很恼火台风吹高的菜价开始回落了 花菜走下坡台风“菲特”过后 完善农业保险成为焦事成于气正 业兴于风清 浙江开展正风金华市金东区换届试点中查处3起贿选案杭州市委常委会专题研究三季度经济形势明治奶粉宣布撤出中国大陆市场韩国抗议日本“竹岛宣传片”天桥乡依托资源优势发展养殖业王艳赵薇郭晶晶陈好刘涛 女星嫁豪门手台媒曝南沙太平岛海巡女兵 持机枪警戒中领馆提醒拟从加州赴墨西哥中国公民注在日华人频频遭遇“高税压” 退税时有>国际新闻精选:美媒:未遏止薪酬滞涨贸易逆差 安倍经美媒:安倍右翼言论伤及美日关系 美担乌鲁木齐一男子套现21万炒期货 自称乌鲁木齐:15岁女孩交友不慎遭轮奸江口武陵藤茶获国家级新食品认证王毛生:防止土地流转“非粮化”倾向科技花香百里路 从农民人均纯收入86新疆奇台县境内大货车与大客车相撞 6绥阳芙蓉江鲟鱼繁养场入选全国示范场余庆农村信用社 “春天助农行动”助““四在农家·美丽乡村”建设 丹寨排佐天桥乡依托资源优势发展养殖业\"萌版胡一菲\"走红网络 PK艺人余庆农村信用社 “春天助农行动”助“昆明官渡区禁毒“流动课堂”搬进公共场
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘