说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

集成GemFire,Hadoop生态圈的又一把火

HTML文档下载 WORD文档下载 PDF文档下载
在开源技术以及母公司的强力支持下,Pivotal很快成长为大数据领域的一支不可忽视的力量。近日,Pivotal发布了Pivotal HD 2.0,该新版本集成了Hadoop 2.2、内存数据库GemFire等多项技术,可谓是融合了众家之长。

【编者按】Pivotal公司由EMC和Vmware部分业务分拆合并而成,Pivotal通过不断吸收新技术并将新技术融合到自己的产品中而成长壮大,现在Pivotal还很好地利用开源力量完善自身的产品,Pivotal HD 2.0新版本整合了内存数据库和众多的分析功能,该版本的发布将会给Pivotal带来更大的影响力,GigaOM的Barb Darrow将在下文为我们带来了详细的分析。


CSDN推荐:欢迎免费订阅《Hadoop与大数据周刊》获取更多Hadoop技术文献、大数据技术分析、企业实战经验,生态圈发展趋势。

以下为译文:

Pivotal努力整合并改进其母公司买来的大数据技术,以应对大数据企业级应用所面临的挑战。

Pivotal是由VMware的CloudFoundry和EMC的Greenplum等业务分拆并重组而成新公司,其目的是为企业带来重新构建、严格测试过的Hadoop,该公司已将Apache Hadoop 2.2技术融入其新的Pivotal HD 2.0版本中,同时还在该版本中集成了内存数据库GemFire XD。

GemFire通过云计算平台虚拟化技术,将若干X86服务器的内存集中起来,组成最高可达数十TB的内存资源池,将全部数据加载到内存中,进行内存计算。计算过程本身不需要读写磁盘,只是定期将数据同步或异步方式写到磁盘。GemFire在分布式集群中保存了多份数据,任何一台机器故障,其它机器上还有备份数据,不用担心数据丢失,而且有磁盘数据作为备份。

Pivotal希望利用稳定的技术为大公司提供一种数据解决方案,为大公司每分钟产生的数据建立周期性良性反馈机制,比如手机运营商可以利用Pivotal HD和GemFire HD的大数据和分析能力来确定最快的呼叫路由,如果呼叫降级或失败就将这些信息反馈回来进行处理,这样可以及时解决问题。在一个完美的大数据环境下,及时向用户道歉也能给客户留下很好的影响。


受益于Apache Hadoop 2.2的更新,Pivotal HD 2.0现在将支持NFS和快照处理,这意味着企业客户在出现问题时可以回滚。

Pivotal HD 2.0在数据库性能方面也有了较大的改进,加强了HAWQ SQL查询性能,其数据库引擎其实是基于Greenplum数据库并做了一些改进。HAWQ现在可以应用MADlib机器学习型库中的50多种数据库内算法,而且该数据库引擎现在支持基于R、Python以及Java语言查询和应用的自动翻译,所以HAWQ可以用SQL很好的处理业务逻辑并对过程进行很好的控制。

Pivotal也许不是第一个从Apache更新获益的商业公司,但它是第一个声称要对开源代码做最严格测试的公司。Pivotal产品营销部门的高级主管Michael Cucchi告诉我们:“我们采用Apache发行版并对其进行强化,为其进行我们自己的QA和回归测试,也尝试在1000个节点的集群上实现回滚操作,我们的测试是在大规模集群上完成的。”

Pivotal HD 2.0新版本为应对实时分析的需求集成了GemFire HD,而且还加入了GraphLab图分析技术,为应对巨大的工作负载,新版本中也添加了改进后的HAWQ SQL查询引擎。

这些都算不了什么——Pivotal只是将EMC和Vmware一系列收购中得到的技术整合到一起,使企业客户可以方便地大规模部署Hadoop并从中获得真正价值。比如HAWQ SQL查询工具来自于EMC 2010年对Green Plum的收购;Gemfire来自于同年Vmware对GemStone的收购。

Cucchi告诉我们:“最初Pivotal HD软件支持在裸机上运行,也可以在VMware环境中运行,还可以和硬件绑定在一起作为一种设备,但将来如果用户想要在AWS或其他公有云上运行Pivotal HD也同样可以。”

这的确是一个极好的机会,这使Pivotal甚至可以抗衡IBM这样的IT巨头以及Cloudera和HortonWorks这样的新生Hadoop力量,换句话说,未来这些企业也将面临Pivotal这样强劲的对手。

原文链接:Pivotal spiffs up Hadoop and GemFire to meet enterprise big data challenges(编译/毛梦琪 审校/魏伟)


以“云计算大数据 推动智慧中国”为主题的第六届中国云计算大会将于5月20-23日在北京国家会议中心隆重举办。产业观察、技术培训、主题论坛、行业研讨,内容丰富,干货十足。票价优惠,马上报名
七牛技术总监陈超:记Spark Summit China 2015 Project Tungsten:让Spark将硬件性能压榨到极限 Android手表在中国这样落地 ART运行时Foreground GC和Background GC切换过程分析 开创未来的关键:是什么造就了硅谷?(上) 微软前员工:开发Apple Watch应用的27个技巧 Apple Watch应用开发:从再造墨迹天气谈起 Java二十年特别策划:有奖征文,评选结果出炉! Zen=禅道:图解AMD技术战略转型 从友盟微社区看Android第三方SDK架构实践 无创客 不青春!2015全国大学生移动应用创新大赛在京启动 响应式Web开发,必懂媒体查询(系统理论+实战教程) 实例剖析:如何用Foundation For Apps创建完美Web应用 【舌尖上的CTO】兄弟肉夹馍的开发运维一体化 开创未来的关键:是什么造就了硅谷?(下) 安全漏洞影响2.5万iOS应用?AFNetworking维护者发布回应 《近匠》专访AbleCloud李海磊:IoT平台求变 腾讯、京东、微软等设计专家齐聚,探讨移动应用体验创新设计 TIOBE 2015年5月编程语言排行榜:微软系语言份额上升 《Hadoop核心技术》作者翟周伟 :我与Hadoop的不解之缘 云集百位核心专家 中国云计算大会演讲议题公布(表) 细品这杯香浓的咖啡——阿里中间件高级专家沈询的Java之旅 超图研究院院长李绍俊:创新2.0时代的平台软件研发体系 优麒麟(Ubuntu Kylin)15.04发布派对在天津成功举行 【CTO讲堂】以API为核心的移动应用云大发展时代 游戏设计的迭代误用:从半成品到概念修正 成功的社区在于拥抱变化——知乎创始人周源专访 优化UITableViewCell高度计算的那些事 国外iOS大牛:开发Apple Watch应用我犯过的错 云上Java System Profiling与Debugging——蚂蚁金服观察与实践 搜狗商业平台Java技术实践 乱码,头大了,不知道为什么pb导入excel怎么办 数据统计问题,请大侠门帮忙!急急急!!! 求解ZModem通讯协议源程序----有谁用过CZModemCore 我也不知道对不对! 最高级的问题?搞一个专业的VC程序员基地~~~~~~ 在研究directshow filter的push模式的兄弟请进 800分+工资管理原代码,如何解决ActiveReports打印图片的一个很难题;否则我快下岗了 有两个问题,每题40分,马上给分!!!! 如何使用打印机? 在爱情方面谁能做到这一点? 谁有 file cutter v1.4的注册码? 有急用! 搞一个专业的VC程序员基地~~~~~~谁愿意加入????? 最新发现:原来C++Bilder的项目文件(.bpr)是XML格式的! 关于FAT32和NTSF的问题 如何用VC实现Email的发送? 800分+工资管理原代码,如何解决ActiveReports打印图片的一个很难题;否则我快下岗了! 搞一个专业的VC程序员基地~~~~~~需要网页制作高手!! ADO 的用法 m_pRecordset->Fields->GetItem(index)->GetName() 关于CRichEditCtrl的问题之二,取的当前可见行数? 请问在哪里下载IMAIL SERVER???各位帮帮忙!!! 高手请回答,ADO和BDE到底有什么区别,你选择谁?为什么? 高分求教!!!!!!!!!!!!!!!!怎样得到局域网上所有的机器名?(普通WINDOWS网络,用VB?,好象用WNET API可以的) 如何安装com.ibm.bridge2java.*这个包阿? 有人吗???求救! 你也许也会遇到这样的问题? 800分+工资管理原代码,如何解决ActiveReports打印图片的一个很难题!!! 大虾看过来. 一个access表一万条记录,想转到Mysql下(Mysql在Linux下)用什么方法和什么语言来做好? rs.CursorLocation=aduseclient是什么东西? 800分+工资管理原代码,如何解决ActiveReports打印图片的一个很难题! 简单SQL,免费送分! 用ASP如何上传文件,可以用组件。 谁知道怎么改运行中的程序的托盘图标???我用SysTray.ocx不能改? 新手提问,简单题目,大量给分~~~~~~~~~~ 如何使用getdispatch(), 800分+工资管理原代码,如何解决ActiveReports打印图片的一个很难题!! 关于在一个窗口中的多个数据窗口的问题 扔块砖头, 开个场子 。 ( yeti_lee ) 800分+工资管理原代码,如何解决ActiveReports打印图片的一个很难题;否则我快下岗了? To: baicolt(五岁的小新是我师傅) 有没有人用过Jcreator 如何在sql server 的查询分析器中用sql语句转到另一台机器上的数据库,同样了sql server的 是不是MSHFlexGrid的bug? 800分+工资管理原代码,如何解决ActiveReports打印图片的一个很难题;否则我快下岗了?? 这个错误类型是什么意思? 如何能够简单的得到昨天的日期? NetBios-SSN是什么? 怎样得到局屿网上所有的计算机名,我想给班里写个局屿网聊天程序,原想用DX8,但DX8好想建立的连接都是C/S模式的。如果能得到机器名就可以用WINSOCK写了(用VB写) 请问诸位有没有什么自动生成源码注释的工具,可以产生函数说明注释和类说明注释 数据库连接这种是什么错误? TStringList *p 定义为一个两维数组怎么做? 在比例尺是1:5000000的地图,上量的甲、乙两地的图上距离是6厘米,把它画在比例尺是1:3000000的地图上,应画多少厘米 1kg棉花和1kg铁块相比谁的密度大?杀人砂仁提问 假如把一亿元兑换成100万张100元人民币,新版人民币的规格是15.5×(单位:cm),那么100万张有多少平方米过程也要 1根绳子,用去5米后,剩下的长度是用去的百分之八10,这根绳子原长多少米? 1T棉花和1T铁块比较,以下说法正确的是A.棉花体积较大,所含物质较多 B.铁块掂着较重,所含物质较多 C.棉花和铁块质量相等,所含物质一样多 南京长江大桥下层的铁路桥全长6700,若把它画在比例尺是1:1000000的地图上,应画几厘米 在1:5000000的地图上,量得甲,乙两地的图上距离是6厘米,把它画在比例尺是1:3000000的地图上 应画多少 1kg的棉花和1kg的铁块相比,下列说法正确的是A.棉花所含物质较多 B.棉花和铁块所含物质一样多C.铁块所含物质较多 D.不是同一种物质,无法比较 成本 利润 计算公式比如我进价是8000,我买12000,这个是加了百分之多少?比如我进价是8000,我要卖12000,这个是加了百分之多少? 在1:5000000的地图上,量得甲、乙两地的图上距离是6cm,把它画在比例尺是1:3000000的地图上,应画多少厘米? 数学二进制、八进制、十进制、十六进制之间如何转换?这几种数值之是转换是以什么为依据的?怎样转换更方便、简单、快捷?转换关系是什么?(本人急用,请走过、路过的朋友帮帮忙忙吧.本 利润公式有没有成本-售价 小学换算公式0.4千米=( )米1200米=( )千米284克=( )千克532厘米=( )米1480米=( )千米1.5千米=( )米1670米=( )分米1.48千米=( )米 谁能帮我讲解一下数学里的十进制,二进制?我学计算机的,因为要涉及到这方面的问题,我不懂,所以请谁帮我讲解一下,谢``` 商品成本a 税收10% 利润30% 求个公式 把a放进去就得到零售价格 比如烟10块成本.税收10%利润30%我要卖多少?着急~ 一根绳子长8/7米,截5次后,剩1/8米,平均每次截几米. 十进制和二进制的数学问题二进制中1101等于十进制的数是? 元要以万元为单位要怎么换算假如100763548.00元要以万元为单位怎么写呀?我都懵了. 60秒等于多少小时? 在比例尺是1:3000000的地图上,量得两地的距离是10厘米,甲乙两车同时从两地相向而行,3小时后相遇.已知甲乙两车的速度比是2:3,求两车的速度各是多少千米? 压力单位 mmAq 怎么读?怎么换算看到一只微压表上有个 mmAq 却不知怎么读.也不知怎样换算.请知道的大侠告诉我,详细点最好. 60小时等于多少秒. 在比例尺是1比3000000的地图上,量的A、B两地距离是10厘米,甲、乙两车同时从两地相地相向而行,3小时后两车相遇.已知甲、乙两车速度比是2比3,求甲、乙两车的速度. 镀金的单位?怎么读?怎么换算? 12亿秒等于多少小时?或等于多少天? 在比例尺是1比3000000的地图上,量的A,b两地的距离是15厘米.甲、乙两车分别从A,B两地同时出发,相向而行,3小时后相遇.已知甲、乙两车的速度比是2比3,求甲、乙的速度 2分之1千克棉花比2分之1铁轻快 35亿秒等于多少小时 要说清楚 我除了也是97。但是这么多个小时 郁闷 要玩到什么时候 郁闷 那又是多少天呀 在比例尺是1比3000000的地图上,量得两地相距10厘米,甲,乙两车同时从两地相向而行在比例尺是1比3000000的地图上,量得两地相距10厘米,甲、乙两车同时从两地相向而行,3小时候两车相遇,已知甲乙 公式法的公式是啥我忘了 一根绳子的长度等于它本身长度的四分之三加上四分之一.这根绳子长多少? 什么时候一吨棉花比一吨铁重一些? 什么是公式法 一根绳子的长度等于它的本身的四分之三加上四分之三米.这根绳子长多少米? 关于一道数学虚数方程题RT,因为因式分解什么的都没弄出来=-=忘记打题目了=-=x^3-6x^2+10x-8=0 数学公式法公式是什么?一定要是公式……………… 有一堆沙子,第一次运走五分之一,第二次运走剩下的五分之二,问那一次运走的多,为什么?(列算式) 什么是纯虚数 ?谢谢了,大神帮忙啊 在一幅比例尺是1:3000000的地图上量得甲乙两城的距离为8厘米在比例尺是1:4000000的地图上甲乙两城的距离是多少厘米 一堆沙第一次运走了四分之一,第二次运走了五分之二,还剩下14吨,这顿沙原来有多 在比例尺为6000000分之1的地图是量得甲、乙两地间的铁路线、长约5厘米.有快、慢两车同时从甲、乙两地相对同时从甲、乙两地相对开出,3小时后相遇.已知快车每小时行65千米,慢车每小时行多 亿和万元之间怎么换算 如题779134195等于多少万元1570578096等于多少万元1653049244等于多少万元2638322593等于多少万元1591870916等于多少万元 数学换成乘积的形式谢谢(4) 有没有数学过关的教教转换公式.46.94%含固量的液体是43.87吨,换算成36%含固量的液体是57.20吨.其中46.94%含量的液体价格是每吨2440元一吨.那么.转换成36%含量的液体是多少钱. 14亿美元换算成人民币是多少?搞不懂如何换算? 数学换成乘积的形式谢谢(2) 在产品销售成本计算表中单位成本是如何算出来的,有计算公式吗在产品销售成本计算表中单位成本是如何算出来的,产品入库单是怎么得来的,没有产品购买来呀,只有购材料 用数学归纳法证明1+4+9+...+n^2=1/6*n*(n+1)*(2n+1)ji, 求超大数字乘积 表达式意义2017612633061982200*18446744073709552000=?上面数字乘积等于多少,3.7218383881977644e+37;这个数字表示什么意思 我要求的数字是10的2017612633061982200*18446744073709552000 次方也就是1 货物加运费以后如何计算成本?有没有计算公式,谢谢单一一种东西我会算,例如:10件物品350元,加运费20元,一共370元,那么1件物品成本为37元,我实在你不明白多种不同价格东西如何摊运费呢?例 1=1^2 2+3+4=3^2 3+4+5+6+7=5^2 4+5+6+7+8+9=7^2 …… 试猜测一般结论,并用数学归纳法证明 0.02kg/cm2等于多少kpa?最好说明详细计算方法, 1亿除以60等于多少?拜托 1.在比例尺是1:3000000的地图上,量得A、B两地的距离是50厘米.甲乙两辆客车同时从A、B两地相对开出,经过10小时相遇.甲客车每小时行76千米,那么乙客车每小时行多少千米? 1kg/cm2等于多少kpa/0.01mm 在一副比例尺为1:3000000的地图上,量得A、B两地之间的距离是4.5厘米.再另一副比例尺为1/5000000的地图上,A、B两地的图上距离是多少? 把一亿化作以万作单位是怎么换算的 压力单位50psi等于多少kg/cm2 还等于多少kpa 在比例尺为1:3000000的地图上,图上1厘米表示实际距离多少千米?在1:3000000这个比例尺中所表示的实际距离是图上距离的多少倍? 一道换算单位30000cm^3=( )kg?
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn