说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

集成GemFire,Hadoop生态圈的又一把火

HTML文档下载 WORD文档下载 PDF文档下载
在开源技术以及母公司的强力支持下,Pivotal很快成长为大数据领域的一支不可忽视的力量。近日,Pivotal发布了Pivotal HD 2.0,该新版本集成了Hadoop 2.2、内存数据库GemFire等多项技术,可谓是融合了众家之长。

【编者按】Pivotal公司由EMC和Vmware部分业务分拆合并而成,Pivotal通过不断吸收新技术并将新技术融合到自己的产品中而成长壮大,现在Pivotal还很好地利用开源力量完善自身的产品,Pivotal HD 2.0新版本整合了内存数据库和众多的分析功能,该版本的发布将会给Pivotal带来更大的影响力,GigaOM的Barb Darrow将在下文为我们带来了详细的分析。


CSDN推荐:欢迎免费订阅《Hadoop与大数据周刊》获取更多Hadoop技术文献、大数据技术分析、企业实战经验,生态圈发展趋势。

以下为译文:

Pivotal努力整合并改进其母公司买来的大数据技术,以应对大数据企业级应用所面临的挑战。

Pivotal是由VMware的CloudFoundry和EMC的Greenplum等业务分拆并重组而成新公司,其目的是为企业带来重新构建、严格测试过的Hadoop,该公司已将Apache Hadoop 2.2技术融入其新的Pivotal HD 2.0版本中,同时还在该版本中集成了内存数据库GemFire XD。

GemFire通过云计算平台虚拟化技术,将若干X86服务器的内存集中起来,组成最高可达数十TB的内存资源池,将全部数据加载到内存中,进行内存计算。计算过程本身不需要读写磁盘,只是定期将数据同步或异步方式写到磁盘。GemFire在分布式集群中保存了多份数据,任何一台机器故障,其它机器上还有备份数据,不用担心数据丢失,而且有磁盘数据作为备份。

Pivotal希望利用稳定的技术为大公司提供一种数据解决方案,为大公司每分钟产生的数据建立周期性良性反馈机制,比如手机运营商可以利用Pivotal HD和GemFire HD的大数据和分析能力来确定最快的呼叫路由,如果呼叫降级或失败就将这些信息反馈回来进行处理,这样可以及时解决问题。在一个完美的大数据环境下,及时向用户道歉也能给客户留下很好的影响。


受益于Apache Hadoop 2.2的更新,Pivotal HD 2.0现在将支持NFS和快照处理,这意味着企业客户在出现问题时可以回滚。

Pivotal HD 2.0在数据库性能方面也有了较大的改进,加强了HAWQ SQL查询性能,其数据库引擎其实是基于Greenplum数据库并做了一些改进。HAWQ现在可以应用MADlib机器学习型库中的50多种数据库内算法,而且该数据库引擎现在支持基于R、Python以及Java语言查询和应用的自动翻译,所以HAWQ可以用SQL很好的处理业务逻辑并对过程进行很好的控制。

Pivotal也许不是第一个从Apache更新获益的商业公司,但它是第一个声称要对开源代码做最严格测试的公司。Pivotal产品营销部门的高级主管Michael Cucchi告诉我们:“我们采用Apache发行版并对其进行强化,为其进行我们自己的QA和回归测试,也尝试在1000个节点的集群上实现回滚操作,我们的测试是在大规模集群上完成的。”

Pivotal HD 2.0新版本为应对实时分析的需求集成了GemFire HD,而且还加入了GraphLab图分析技术,为应对巨大的工作负载,新版本中也添加了改进后的HAWQ SQL查询引擎。

这些都算不了什么——Pivotal只是将EMC和Vmware一系列收购中得到的技术整合到一起,使企业客户可以方便地大规模部署Hadoop并从中获得真正价值。比如HAWQ SQL查询工具来自于EMC 2010年对Green Plum的收购;Gemfire来自于同年Vmware对GemStone的收购。

Cucchi告诉我们:“最初Pivotal HD软件支持在裸机上运行,也可以在VMware环境中运行,还可以和硬件绑定在一起作为一种设备,但将来如果用户想要在AWS或其他公有云上运行Pivotal HD也同样可以。”

这的确是一个极好的机会,这使Pivotal甚至可以抗衡IBM这样的IT巨头以及Cloudera和HortonWorks这样的新生Hadoop力量,换句话说,未来这些企业也将面临Pivotal这样强劲的对手。

原文链接:Pivotal spiffs up Hadoop and GemFire to meet enterprise big data challenges(编译/毛梦琪 审校/魏伟)


以“云计算大数据 推动智慧中国”为主题的第六届中国云计算大会将于5月20-23日在北京国家会议中心隆重举办。产业观察、技术培训、主题论坛、行业研讨,内容丰富,干货十足。票价优惠,马上报名
舌尖上的CTO——小杨生煎的持续交付 《近匠》滴答清单,跨平台云同步的任务管理工具 DJI与优酷土豆战略合作:提升UGC价值,先内容再营销 Android性能优化典范(二) 从三大运营商联手 看电视游戏背后的现状 【工具推荐】Vert.x——非阻塞、高并发的编程开发框架 Google搜索在确定结果排名时会将网站的移动设备适用性作为考量因素 W3C首次发布SVG标记、SVG轮廓标准工作草案 第七届中国云计算大会 | 首批主会演讲嘉宾和议题公布(表) 安沃传媒创始人王旭东:开发者从移动广告获利的黄金时代已经来临 【舌尖上的CTO】砂锅馄饨的交付件 微软新Visual Studio Code开发工具支持Mac和Linux 科技新创公司想做大?从CNN记者跳槽Snapchat谈起 Java二十年特别奉献:晒博文、赢大奖! 《近匠》华为创新总监蔡绪鹏:智能手表的三大感知与未解难题 从Samurai-Native框架开发谈React Native Qualcomm公司李申:Vuforia打破AR设备界线 物与物的互通:解析Thread、AllJoyn、OIC、Bonjour的特点 《天龙八部3D》中Unity使用介绍 微软推出ManifoldJS,Web App自动转成各平台本地App 专访庄晓丹:Java程序员眼中的Clojure 全面解析ECMAScript 6模块系统 七牛技术总监陈超:记Spark Summit China 2015 Project Tungsten:让Spark将硬件性能压榨到极限 Android手表在中国这样落地 ART运行时Foreground GC和Background GC切换过程分析 开创未来的关键:是什么造就了硅谷?(上) 微软前员工:开发Apple Watch应用的27个技巧 Apple Watch应用开发:从再造墨迹天气谈起 Java二十年特别策划:有奖征文,评选结果出炉! Zen=禅道:图解AMD技术战略转型 问一个关于TTreeView控件中树节点所带数据的问题 菜鸟求救:有关DBGrid显示的问题。 当读取1万条记录以上,应怎么做才有高效率? 那想在记事本中实现“查找,”“替换”。。。。要怎么做,我头猛大 有没有按位图画不规则窗口的代码? 怎样得到LISTCTRL的全部列(COLUMN)的信息,难道要用GETCOLUMN()? 为什么现在学win32 API的人这么少? 还是老问题 redhat安装问题,请高手指点 网页中有一文本框,如何约束用户输入格式 现在fanso怎么回事? 安徒生童话之六---老爹做的事总是对的 (呵呵,好故事,很美丽) 如何调用EXE或DLL程序,使被调用程序是调用程序的MDI中的一个子窗口? 《网络设计师教程》P103表5.2中 4B/5B码和4位2进制之间是怎么转换的? COM进程类组件中,在一个接口中加了一个方法,成员变量类型CString,可是不行,那该用什么? 请问那里有 motif toolkit 开发工具下载 一个mysql的问题! 出售软件源代码以及销售权! byte类型的数据如何转化成二进制数,显示给用户(如8-》0000 1000) 代征:精通vc的深圳朋友,精通网络通讯的开发和多媒体处理。 20分求助!这条警告是什么原因呀?怎么解决 ?LINK : warning LNK4089: all references to "SHELL32.dll" discarded by /OPT:REF 局域网的文件共享传输是基于什么协议的? windows and dos ??? 请问大家几个技术问题!!谁能回答阿!比较着急!:) 有没有代替VB里的PICTUREBOX 的控件,VB里的不好用?????????? 我是新手,请问JSP有些什么开发软件?比如JAVA用JBUILDER。。。 请问知道整型值a=97,什么函数可以得到"a"呢?即97->"a"通过什么函数呢? 如何将十进制数转换成二进制数 函数对象的简单问题 喜欢仙剑的朋友请进。:) 恭喜恭喜? 我想制作C++ Builder4工程的安装程序,不知道用什么软件,请大家帮忙。谢谢! 请问大家几个技术问题!!谁能回答阿! 我是ASP初学者,请求一个简单的问题,Help!!! 有没有关于installshield6的书, 快看呀!我真的要不行了! 请教大家一个术语吧! 低手问题,关于Form中的数据问题,谢了。 如何用PictureBox控件显示GIF图?特急!!!!!! 单文档多视(急!) 想学delphi中关于database方面的内容,不晓得哪本书好,大家推荐好吧? “CSDN准备推出海外图书邮购服务,首批是侯捷的著作和译作” 什么时候可以开始? 谁能介绍一下嵌入开发领域比较成熟的产品?他们的功能、性能如何 关于Autocad字体的问题 在 ActiveForm 中如何初始本地数据模块!菜鸟问题! (const char *)&p转化为delphi语言该是什么? ####我拼了命也要问出这个问题的答案########## 怎样才可以描述点击窗口右上角的“x”时所发生的事件,请给个例子,谢谢了! 哪儿有Install anywhere 4下载 庆祝kylix2001,终于知道叫什么好了,耶………… VB,请问set obj=new class 和 dim obj as new class的区别????????? 求一个《往事》作文的开头结尾,急啊! 500字《历史的选择》读后感作文 文章中一句话的含义?高手进!白云深处吉普车行了两个多小时,终于登上海拔两千多米的燕山主峰玉皇顶.纵目四望,八百里燕山,一派磅礴气势.河北电视转播台高高的井架直插云霄.我们正看得 中国有那些重大的历史事迹?我写作文需要!收集材料!麻烦您了古代史与现代史 古代史与现代史 古代史与现代史 古代史与现代史 关于历史的选择的作文800字 大师风范这篇阅读,从大师的沉默中你体会到了什么 历史上因有一技之长而扬名的人,我要写作文 帮忙举几个例子, 紧扣历史的选择400~500字作文 大师风范阅读答案.2010—2011六年级的试题啊!照样子写词语 (技艺)高超 精彩的() ()高尚精湛的(琴艺) ( )高明 精致的()本文最后一句在写作方法上叫做 仅此一点3个含义中的第 和法律有关的历史事件 简洁点 我写作文 历史的选择作文 大师风范阅读答案 苏教版啊 五年级下大练第三单元测试卷的那个啊 急QAQ原文:一位世界一流的小提琴演奏家在为人之道演奏时,从来不说话。每当学生拉完一曲,他总是再把这一曲再拉一 以选择什么为题写作文 600字选择放弃 坚持 诚实 …… 写作文 600字 记叙文哦 咋样才能快速提高写作文的水平? 历史的选择作文怎默写1500字 紧急!以选择为题写作文~~500字~~初中作文 如何提高写作文的速度?我每次写作文都写得很慢,几乎要两个多小时.我写作文时常常是写了这一段不知道下一段写什么,要思考好久.请问有什么办法能使我写作文的速度变快又不影响文章的 历史的选择作文怎么写?312321 以“怎样的______”为题写作文1与诗句有关2不少于4003不可灌水 如何提高小孩子的做事情速度? 我想知道“历史的选择”作文怎么写? 以“体验”为题写作文体验是它的中心,最好在500多字左右 怎样提高写字速度. 历史的选择整整800字的征文作文如何写? 人生关爱为话题写作文以“人生关爱”为话题写一篇文章.文体不限,不少与600字 怎么提高写字速度?最好是字写得好速度又快的哪种. 大师风范什么意思百度知道 以选择为话题的作文 要通过一个具体的事例,写出你对生活的感悟,特别要注意表达内心的真实感受. 如何有效地提高写字速度?这里的写字是指硬笔(钢笔、铅笔等).平时因为写字速度慢导致语文的抄写作业几乎成了我的恶梦,政治默写时更因为写字速度慢而无法完成(我会写,而且背得很熟 阅读大师风范中:仅此一点,足以称之为大师,句中的此指的是什么? 以"积极人生"为话题写作文600字左右..作参考用~ 写作文 申论 我特别慢写作文 申论 我特别慢 你们一分钟,能写多少字啊 我特别慢啊 蜗牛一样 概括《大师风范》,快. 以"城市,让生活更美好"为话题写作文 怎么才能提高写字的速度.写字精力不集中. 求英语阅读答案,和文章的主要内容,具体私下沟通,高手来, 求有关“对话”的历史素材 写作文用 怎样提高自己写作文的水平? 18米增加六分之一米后是() 18米增加它的6/1是() 甲数是108,甲数的3/1与亿数的4/1相等 乙数是() 一根20米长的铁丝,先用去它的20/3,再用去20/3米 还剩下() 应用题 有一份稿件,小明第一天 关于中国传统建筑的资料,我要写作文,不要太专业,稍稍简单一点,先注明是哪一个建筑,再简略写一下一眼看过去的样子,然后说外型特点和内部构造. 怎样提高写作文的水平 西游记中前十回关于描写师徒四人性格特点的主要内容. 急求关于反省的历史素材,用于写作文的,谢谢 如何提高自己写作文的语言水平我现在上高二,每次作文语言都不够好,论据哪方面也了了,应该如何提高?看什么书比较好? -):-):-)求大师一一帮一帮 NBA中的作文素材我总感觉作文中可以运用大量NBA球星的感人事迹作为论据,请大家告诉我一些.我谢谢大家了. 怎么让我写作文的水平提高? 民族风范的作文 触动心灵的往事的开头与结尾 如何提高写作文的水平 大师风范中小提琴家为什么说”琴声是最好的教育“? 写作文中好的开头和结尾要求是散文或者议论文 如何速度写作文速度作文要认真先看好作文的题目,在认真的思考,想清楚在速度写! 大师风范中的小提琴家为什么说:琴声是最好的教育 题材历史的作文有什么好的开头结尾? 作文 《历史的选择 》 500字左右,要快讲的是抗日英雄的 急 谢了 上个世纪初,有一个犹太少年,他做梦都想成为像帕格尼尼那样伟大的小提琴演奏家.他一有空就练琴,可是,就连他的父母都觉得这个可怜的孩子拉得实在太蹩脚了,完全没有音乐天赋.有一天,少 怎样写作文的开头和结尾 作文 500字 曾经在一本杂志上看到过一篇这样的文章,给我的印象很是深刻,队长杰克带领着他的队友们正在日常的维护铁路的检修工作,天气很干燥,工作枯燥乏味,杰克在这条铁路上已经工作了15年了,所
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn