说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

集成GemFire,Hadoop生态圈的又一把火

HTML文档下载 WORD文档下载 PDF文档下载
在开源技术以及母公司的强力支持下,Pivotal很快成长为大数据领域的一支不可忽视的力量。近日,Pivotal发布了Pivotal HD 2.0,该新版本集成了Hadoop 2.2、内存数据库GemFire等多项技术,可谓是融合了众家之长。

【编者按】Pivotal公司由EMC和Vmware部分业务分拆合并而成,Pivotal通过不断吸收新技术并将新技术融合到自己的产品中而成长壮大,现在Pivotal还很好地利用开源力量完善自身的产品,Pivotal HD 2.0新版本整合了内存数据库和众多的分析功能,该版本的发布将会给Pivotal带来更大的影响力,GigaOM的Barb Darrow将在下文为我们带来了详细的分析。


CSDN推荐:欢迎免费订阅《Hadoop与大数据周刊》获取更多Hadoop技术文献、大数据技术分析、企业实战经验,生态圈发展趋势。

以下为译文:

Pivotal努力整合并改进其母公司买来的大数据技术,以应对大数据企业级应用所面临的挑战。

Pivotal是由VMware的CloudFoundry和EMC的Greenplum等业务分拆并重组而成新公司,其目的是为企业带来重新构建、严格测试过的Hadoop,该公司已将Apache Hadoop 2.2技术融入其新的Pivotal HD 2.0版本中,同时还在该版本中集成了内存数据库GemFire XD。

GemFire通过云计算平台虚拟化技术,将若干X86服务器的内存集中起来,组成最高可达数十TB的内存资源池,将全部数据加载到内存中,进行内存计算。计算过程本身不需要读写磁盘,只是定期将数据同步或异步方式写到磁盘。GemFire在分布式集群中保存了多份数据,任何一台机器故障,其它机器上还有备份数据,不用担心数据丢失,而且有磁盘数据作为备份。

Pivotal希望利用稳定的技术为大公司提供一种数据解决方案,为大公司每分钟产生的数据建立周期性良性反馈机制,比如手机运营商可以利用Pivotal HD和GemFire HD的大数据和分析能力来确定最快的呼叫路由,如果呼叫降级或失败就将这些信息反馈回来进行处理,这样可以及时解决问题。在一个完美的大数据环境下,及时向用户道歉也能给客户留下很好的影响。


受益于Apache Hadoop 2.2的更新,Pivotal HD 2.0现在将支持NFS和快照处理,这意味着企业客户在出现问题时可以回滚。

Pivotal HD 2.0在数据库性能方面也有了较大的改进,加强了HAWQ SQL查询性能,其数据库引擎其实是基于Greenplum数据库并做了一些改进。HAWQ现在可以应用MADlib机器学习型库中的50多种数据库内算法,而且该数据库引擎现在支持基于R、Python以及Java语言查询和应用的自动翻译,所以HAWQ可以用SQL很好的处理业务逻辑并对过程进行很好的控制。

Pivotal也许不是第一个从Apache更新获益的商业公司,但它是第一个声称要对开源代码做最严格测试的公司。Pivotal产品营销部门的高级主管Michael Cucchi告诉我们:“我们采用Apache发行版并对其进行强化,为其进行我们自己的QA和回归测试,也尝试在1000个节点的集群上实现回滚操作,我们的测试是在大规模集群上完成的。”

Pivotal HD 2.0新版本为应对实时分析的需求集成了GemFire HD,而且还加入了GraphLab图分析技术,为应对巨大的工作负载,新版本中也添加了改进后的HAWQ SQL查询引擎。

这些都算不了什么——Pivotal只是将EMC和Vmware一系列收购中得到的技术整合到一起,使企业客户可以方便地大规模部署Hadoop并从中获得真正价值。比如HAWQ SQL查询工具来自于EMC 2010年对Green Plum的收购;Gemfire来自于同年Vmware对GemStone的收购。

Cucchi告诉我们:“最初Pivotal HD软件支持在裸机上运行,也可以在VMware环境中运行,还可以和硬件绑定在一起作为一种设备,但将来如果用户想要在AWS或其他公有云上运行Pivotal HD也同样可以。”

这的确是一个极好的机会,这使Pivotal甚至可以抗衡IBM这样的IT巨头以及Cloudera和HortonWorks这样的新生Hadoop力量,换句话说,未来这些企业也将面临Pivotal这样强劲的对手。

原文链接:Pivotal spiffs up Hadoop and GemFire to meet enterprise big data challenges(编译/毛梦琪 审校/魏伟)


以“云计算大数据 推动智慧中国”为主题的第六届中国云计算大会将于5月20-23日在北京国家会议中心隆重举办。产业观察、技术培训、主题论坛、行业研讨,内容丰富,干货十足。票价优惠,马上报名
入手Beats,苹果史上最大手笔收购为哪般? Gmail有生以来最大手术 全新设计曝光 Python开发者最常犯的10个错误 博康智能副总裁张善海:活化运用大数据 实现传统交通系统间的数据融合和共享 刘刚:从互联网到传统行业 Hadoop发展迅猛! OpenFlow多级流表在云计算网络中的应用 分享大数据最佳落地实践 助力企业数据驱动型转型 怎样成为优秀的产品经理? Google发布新版AdMob 将在更多市场推出 触控ARM“结连理”,Cocos2d-x性能提速70% Per Brashers:智能、能耗、安全将是未来数据中心发展的关键! 梁博:OpenStack已在IaaS层面扮演重要角色 云计算三大主流阵营的竞争与合作 如何使用15美元每月的机器实现百万文档检索 外媒路透社:小米本周四发布首款平板电脑,八九不离十 移动支付帝国战:谷歌、苹果、Facebook、亚马逊孰胜孰负? 十大响应式Web设计框架 Giraph助力Facebook打造亿万用户间关系链 跪求出名:让应用在App Store中出人头地的12种方式 束文辉:Intel如何玩转OpenStack Facebook社交业务进军中国内地,困难重重 《近匠》透镜:代码级定位,让App性能监控更从容! 联想移动与云新战略 重点深耕企业移动方案 美国高通公司在深圳召开参考设计及无线创新峰会 提供“一站式”整合服务 友盟正式推出消息推送平台 iOS 8新功能再曝光:或推出分屏多任务功能 Framer:开源原型设计工具,巨头们的心头好 亚特兰大峰会精彩看点:软件吞噬世界,OpenStack是变革核心 数据中心基础设施是大数据战略成败的关键 实时大数据分析:网络分析的一种新方法 最新消息:iPhone 6将采用更大、更清晰的1704x960分辨率屏幕 数据库连接的几种方法区别? 这段代码怎么不能运行? 有没有人知道TTreeView控件的定位应该怎么做? 数据库连接问题 散分(-) ActiveX 在IE中刷新问题? 如何调用HtmlHelp() API实现全文查找?并且获得查找内容所在的页面(HTML)? 怎么在动态创建FORM里传递参数? 这是那种类型,在VB中如何申明 无聊,大家进来说说笑话提提神吧。(凡提供者均有分) Weblogic 死锁的问题 紧急求助,关于dll调用的问题,大侠们请进来指点,指点. VB中用类好吗? 如何定义一个按钮的ID 机子无故重起并显示begin dump physic memory 请问高手,我从OnStkDataOK(var Msg: TMessage);中得到的Msg.LParam值是真实的值还是值的地址? 如何实现Form中的下拉列表框可以输入,又定位的功能呀,急呀,多谢了! VB的API文本查看器,如何使用??? 很简单的问题:在表单上有n个复选框,通过一个按纽,我想获取那些复选框被选中,并返回它们的name数组! 关于组网的一些问题 别人抱怨接分难,我抱怨散分效率低 想考高程但不知买什么参考书大家帮忙 菜鸟问题:各位大侠帮忙看看 如何给panel加滚动条,请教 关于程序编译的问题: 问一个数据库文件的问题! PB7 连接 MSSQLServer 6.5为什么需要那么长的时间并且内存要占用100多M? 关于使用VB6创建的控件后的部署问题 Delphi与bcb有何联系与差异 关于WIN2000网络上的问题 盼高手来解决,阿菜勿进 我用PHP通过ADO连接ACCESS 为什么i=很大 怎么样改变statusbar的某个Panels的字体颜色 如何制作MID窗体的背景图片平铺? sqlserver有一个带参数的存储过程,为什么不能生成DW.?? 急(送100分):多个image控件如何用imagexxx使用? 如何得到CPU的时钟频率? 各位大佬,0x1 是什么? 一个页面只让一个用户来修改 请问哪儿有Lotus Notes C API的教程?以及要进行编程必须进行哪些配置? PB7连接MSSQLServer6.5的时候为什么需要那么长的时间和占用100多M的内存? 推荐在代理服务器上安装什么邮件网关软件? 在线等待 请各位帮助 如何得到开机时间? 我想把smalldatetime类型显示为“yyyy_mm_dd 00:00:00” 急须一个完全免费的MP3刻录软件 怎样修改xml的节点的值? Tabpage(子项)可以改变颜色,但Tabcontrol(父项)改变不了颜色。高手帮忙。 MM说:“你可真够没良心的!”! (邀请水园MM请参与) 测试流程! 在用ADO时如何判断在所取得的记录中,值为null的的情况 急(送100分):多个image控件如何用imagexxx使用? 揭秘:慈禧太后的陪葬品到底值多少钱?女子闯红灯被制止后叫男友开车赶来扇协女孩因让座慢了道歉 2小伙装睡8站不刘欢22岁女儿海量私照曝光 小路深沟《第九个寡妇》卫视热播 刘佩琦:从二“人大女神”身份曝光 系低音提琴专业Angelababy晒写真照 烈焰红韩寒旧书再卖贵1倍 加200张自己高韩歌手张允瀞嫁男主播 称以爱国觉悟努公交司机边开车边摸女子大腿 盘点公交公交司机边开车边摸女子大腿 回应称系小女孩只有8岁 照顾奶奶已4年温州一老伯送老伴99朵玫瑰 网友叹浪梁朝伟剪短发庆祝51岁 发型普通如中浙江卫视当红女主持人伊一气质美照《小时代》郭碧婷人气飙升 生活私照惊李玟夜店上厕所一百个保镖跟随《小时代》电影热映 片中26万元皮草靠恋情靠整容靠爆乳 盘点女主播求上位小贝现身时尚晚宴 众名媛争先留影贝嫂抓拍公交车上那些可恶的咸猪手7天无理由退货算什么?合生创展给你5大阅兵后这么牛逼的托盘还继续不窗口期:还有哪些中国互联网公司可能在9小时套现43亿!李嘉诚“甩卖”香港面对暴政,他们奋起抵抗,最终失败也还音乐流媒体服务商Spotify的付费为什么钱,越花越有,越省越穷?看懂了大疆Phantom 3苹果商店开售,《自画像》,一部不分段小说彻底改变人生格局的10大微信!葱香肉松排包汉语在现时代是否已经落后?是否会妨碍末代皇帝溥仪最爱的女人,到死都珍藏着中国接下来要发生的十几件大事,肯定很「人生的成败和努力往往无关,只和关键广汽集团拟重组广汽吉奥百度、阿里、腾讯祭出大杀器!看到这个黑帮谈判是怎么进行的?红豆肉松面包太强了,106个汉字多音字总结!留着大街上打着补漏招牌的面包车人,他们为
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘