说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

集成GemFire,Hadoop生态圈的又一把火

HTML文档下载 WORD文档下载 PDF文档下载
在开源技术以及母公司的强力支持下,Pivotal很快成长为大数据领域的一支不可忽视的力量。近日,Pivotal发布了Pivotal HD 2.0,该新版本集成了Hadoop 2.2、内存数据库GemFire等多项技术,可谓是融合了众家之长。

【编者按】Pivotal公司由EMC和Vmware部分业务分拆合并而成,Pivotal通过不断吸收新技术并将新技术融合到自己的产品中而成长壮大,现在Pivotal还很好地利用开源力量完善自身的产品,Pivotal HD 2.0新版本整合了内存数据库和众多的分析功能,该版本的发布将会给Pivotal带来更大的影响力,GigaOM的Barb Darrow将在下文为我们带来了详细的分析。


CSDN推荐:欢迎免费订阅《Hadoop与大数据周刊》获取更多Hadoop技术文献、大数据技术分析、企业实战经验,生态圈发展趋势。

以下为译文:

Pivotal努力整合并改进其母公司买来的大数据技术,以应对大数据企业级应用所面临的挑战。

Pivotal是由VMware的CloudFoundry和EMC的Greenplum等业务分拆并重组而成新公司,其目的是为企业带来重新构建、严格测试过的Hadoop,该公司已将Apache Hadoop 2.2技术融入其新的Pivotal HD 2.0版本中,同时还在该版本中集成了内存数据库GemFire XD。

GemFire通过云计算平台虚拟化技术,将若干X86服务器的内存集中起来,组成最高可达数十TB的内存资源池,将全部数据加载到内存中,进行内存计算。计算过程本身不需要读写磁盘,只是定期将数据同步或异步方式写到磁盘。GemFire在分布式集群中保存了多份数据,任何一台机器故障,其它机器上还有备份数据,不用担心数据丢失,而且有磁盘数据作为备份。

Pivotal希望利用稳定的技术为大公司提供一种数据解决方案,为大公司每分钟产生的数据建立周期性良性反馈机制,比如手机运营商可以利用Pivotal HD和GemFire HD的大数据和分析能力来确定最快的呼叫路由,如果呼叫降级或失败就将这些信息反馈回来进行处理,这样可以及时解决问题。在一个完美的大数据环境下,及时向用户道歉也能给客户留下很好的影响。


受益于Apache Hadoop 2.2的更新,Pivotal HD 2.0现在将支持NFS和快照处理,这意味着企业客户在出现问题时可以回滚。

Pivotal HD 2.0在数据库性能方面也有了较大的改进,加强了HAWQ SQL查询性能,其数据库引擎其实是基于Greenplum数据库并做了一些改进。HAWQ现在可以应用MADlib机器学习型库中的50多种数据库内算法,而且该数据库引擎现在支持基于R、Python以及Java语言查询和应用的自动翻译,所以HAWQ可以用SQL很好的处理业务逻辑并对过程进行很好的控制。

Pivotal也许不是第一个从Apache更新获益的商业公司,但它是第一个声称要对开源代码做最严格测试的公司。Pivotal产品营销部门的高级主管Michael Cucchi告诉我们:“我们采用Apache发行版并对其进行强化,为其进行我们自己的QA和回归测试,也尝试在1000个节点的集群上实现回滚操作,我们的测试是在大规模集群上完成的。”

Pivotal HD 2.0新版本为应对实时分析的需求集成了GemFire HD,而且还加入了GraphLab图分析技术,为应对巨大的工作负载,新版本中也添加了改进后的HAWQ SQL查询引擎。

这些都算不了什么——Pivotal只是将EMC和Vmware一系列收购中得到的技术整合到一起,使企业客户可以方便地大规模部署Hadoop并从中获得真正价值。比如HAWQ SQL查询工具来自于EMC 2010年对Green Plum的收购;Gemfire来自于同年Vmware对GemStone的收购。

Cucchi告诉我们:“最初Pivotal HD软件支持在裸机上运行,也可以在VMware环境中运行,还可以和硬件绑定在一起作为一种设备,但将来如果用户想要在AWS或其他公有云上运行Pivotal HD也同样可以。”

这的确是一个极好的机会,这使Pivotal甚至可以抗衡IBM这样的IT巨头以及Cloudera和HortonWorks这样的新生Hadoop力量,换句话说,未来这些企业也将面临Pivotal这样强劲的对手。

原文链接:Pivotal spiffs up Hadoop and GemFire to meet enterprise big data challenges(编译/毛梦琪 审校/魏伟)


以“云计算大数据 推动智慧中国”为主题的第六届中国云计算大会将于5月20-23日在北京国家会议中心隆重举办。产业观察、技术培训、主题论坛、行业研讨,内容丰富,干货十足。票价优惠,马上报名
《近匠》AppCan:打造成云生态的移动PaaS平台 WhatsApp壮举:活跃用户超五亿、日7亿幅照片和1亿个视频 如期而至,GCC 4.9.0正式版发布! 【走近讲师】孙昌勋:容联云通讯构筑通讯能力云平台生态圈 最新版本的Hive 0.13发布,增加ACID特性 开发中的“软”与“硬”:高画质移动游戏开发之道 从国际编码竞赛来看编程语言受众度 AMD迎接变革:加速OpenCL的未来 角逐Hadoop市场,Cloudera与Hortonworks竞争白热化 OpenStack将提供对Docker的支持 Facebook Q1财报:营收25.02亿美元、59%来自于移动 黑客们盯上了卫星,IOActive的惊人发现 开发汽车应用之前,你必须了解的7件事 埃森哲:智能电视潮流,势不可挡 直接拿来用!Facebook移动开源项目大合集 高大上Hadoop技术培训:Hadoop在企业中的应用实战 【走近讲师】新浪丛磊:通过MAE构建企业内部私有PaaS平台 API增长新趋势 消息应用类独占鳌头 软件项目为何会失败? 严澜:搭建高可用的MongoDB集群(二) 微软、思科、Google、Facebook等联合推出CII 狙击“Heartbleed” 这是个神奇的国度:细数五大印度裔IT牛人CEO Atmel CMO Sander Arts眼中的创客运动 Unity“三巨头”:全心全意为开发者服务 全球移动广告现状报告:哪种平台、应用最赚钱? 《近匠》Smart Wallit,钱包找不到了?给它“打个电话”吧 Mozilla新CTO:JavaScript、 Firefox OS专家Andreas Gal 李彦宏发布百度大数据引擎,及与谷歌、亚马逊等类似项目对比 大数据领域,实时打击欺诈犯罪的4个战场 一周消息树:谷歌Project Ara,将开启下一个智能手机时代 数据恢复服务商的6个最佳实践 有对JSP标签库熟悉的吗? 关于delete的非法操作!! 关于COM程序 LInkError处理! 急。。。。关于xml解析器安装的问题 关于在 servlet 中,service 以及 doGet、doPost应用的问题?!------------请进:) 怎样得到用odbc创建的数据库类型信息 使用AfxBeginThread,将一个类CDownload down作为参数传递给线程,该怎么传递和接受参数??? 如何判断用户关闭了浏览器窗口还是转入了其他地址,或者刷新了页面? 大家谁作过数据导入导出的程序阿,能不能给点指点阿!急!!!! 新手求救:如何发布一个用JAVA/JSP/SQL SERVER开发的系统!!! SQL里update的使用问题 今天辞职,散分散分散分! 我form中一select中的option被选中,在提交后,如何用javascript来保存选中的那个option 怎样调用约定为CDECL的DLL? 弹出菜单的位置问题,简单,快进 LINUX下的虚拟主机的问题 用过网上的G711-G721-G723代码做语音压缩的请进,高分 在98上安装了apache+php+mysql,让用287端口测试,287端口是什么 字体设置, LogFont的lfFaceName... 关于随机 新手问题 如何动态改变 RichEdit 中的字体?很急! !!!怎样把stringgrid中已经选择得数据读出来!!!! 我该学些什么? CObject类是MFC类吗? 请问除了http://java.sun.com/j2se/1.4/download.html外,哪里还有jdk1.4下载? 有没有兄弟做过关于DSP与PC的并行通信? 请教接口查询的问题 如何清空表中的全部记录? 我是一个vb 的初学者,请大家介绍一两本好的关于数据库开发的书! 《Delphi淡手辑略 之 数据库篇》:数据安全保存(函数) DB2 store procedure Easy_Problem!!!关于对话框!!! weblogic下调用java bean出了点问题 (苯苯) 如何在两地用netmeeting通信,共享信息,两方为win98和win2000server,使用modem连接 tomcat 如何与 jboss 进行集成 Regular DLL中向导生成的winapp对象有什么用? 关于Install shield 的问题 一个高难度问题,特急! 从一个页的Button事件中如何获取在iframe中另一页中选种checkbox的值? 大家一起来帮帮我 我是个新手请教如何在98下安装和设置apache,尽是详细些,最好给介绍些资料 高手请教,有关类的链表指针 如何定义日期类型? 请教高手!如何执行带条件SQL语句? 大家一起来为c#加油阿 追女教训谈 如何用OUTLOOK作多用户使用???? 赐教 有谁知道ramdrive.sys在dos下的详细用法,敬请赐教,倍感感激!! 怎么用Delphi调用MySql(win) 论点、论据和论证是什么意思? 谢谢!~ 写出下列乐普表示力度的符号:中弱.中强.强.渐弱.渐强.弱 英语翻译It might be worthwhile to give your attitude towards study a second thought.每个单次的意思我都知道但是就是读不懂. 半径R,求其位置矢量,加速度(用i,j表示) 歌曲的名字做网名,带符号和配套的签名 我喜欢陈翔、许嵩、胡歌的歌 第5秒时是指哪一段时间?有人说是0-5秒, 2.3.4 写词语:两个字意思相近词语:两个字意思相反 第4秒末就是第5秒初,指的是时刻这句话对吗?为什么? 三顾茅庐和初出茅庐这两个词的意思是什么?以有一人回答,但他回答的是故事,告诉大家;我要得是它们的意思啊~ 交集的符号 第四秒末,第五秒初是指同一个时刻不 !要不是那它指的是什么 急需-邀请客人意思的古诗词-谢谢 交集和并集的符号 5秒末是指一段时间还是一个时刻啊啊 我感觉是一段时间啊 用约组词,意思是约请和邀请约请,邀请( )俭省( 节约 ) 求并集和交集的符号及其含义 解下列方程组 快解下列方程组 有好评 快 根据意思写词语(1)形容非常害怕,脸色都变了;(2)形容多次呼唤;(3)形容很规矩,很庄重. 第四秒时 是指时间还是时间间隔? 五秒初和四秒末指同一时刻?这句话对吗? 求论据 论点:有志者事竟成 第n秒内是指时刻还是时间间隔 求过程 好评 快求过程 好评 快 谁有描写三顾茅庐的诗句(帮我找找)比如”三顾频烦天下计,两朝开济老臣心. 杜甫写的(蜀相)”诸如此类 从0到第5秒末,时间间隔是6秒还是5秒 宁夏的同心县是一个干渴的地区,年平均蒸发量是是2325mm,比年平均降水量的8倍还多109mm,同心县的年平均降水量多少毫米? 成心成意,一在邀请(换成词语) 第5秒表示的时间间隔是 鸡兔共有40只,兔脚比鸡脚多16 只,鸡兔各多少只?{用方程解,一定采}快 三顾茅庐里的好词好句 英语翻译Fox(狐狸) and Grapes(葡萄) A hungry fox came to a vineyard(葡萄园) where a lot of ripe grapes(熟透的葡萄) were hanging.They were on a trellis(葡萄架),but so high that he jumped(跳,jump的过去式) until(直到… 要用方程并求解 快一个两层书架,上层放的书比下层的3倍还多18本,如果把上层的书拿出101本放到下层,那么两层放的书本数相等,原来上、下层各有几本书?(用方程) 用简短语言概括!不要超过100字 怎样做环保标志版画我既想做个环保版画也想设计出属于我自己创造的环保宣传标志,有关于垃圾回收再利用的,我想弄个标志什么的,但是好像垃圾回收利用的那个标志在我们大家心里已经根 角速度在什么情况下可以看做矢量,什么时候看作标量?角速度为矢量,但在有的情况下可以看做标量,具体在什么情况下可以看做标量,什么时候看做失量呢? 邀请知名人士应该用什么词语 就是有个什么“——时”的词语 五秒时是指五秒末吗?可以指五秒初吗? 朝花夕拾 十篇文章的内容朝花夕拾的每篇文章内容概括(每篇大约100字)(好的话追加悬赏分)急! 在 三顾茅庐 中,轻轻敲门 这个词语中感受到什么? 在五秒时是指5秒末还是5秒初 …………………… 赤壁赋 翻译 五阴六阳是指哪“五阴”和哪“六阳”? 这个方程的解 我是2012年海南的考生,今年大概是这样!语文100,英语100,换算分大概多少具体点 渐强的符号怎么打?比如说弱是P的,就是这类型的怎么打?就是P那个类型的!越快越好! 越快越好,方程的题 大师速来36和48的最大公数是几? 我总分442.2语文119.5等级B数学137——A英语136——A化学19.4——A物理19——A 其他都是A能考上永定一中吗 英语翻译Figure 2-4 Example HTTP HeadersGET and POSTThe first relatively widely used version of HTTP was HTTP 0.9.This had supportfor only one HTTP method,or verb; that was cET.As part of its execution,a cETrequest can provide a limited amount of 大师速来啊等边三角形的边长是素数,它的周长是什么数? 前两个字意思相反的词 如哭笑不得 英语翻译really a clever trick in the struggle for shelf space这句话怎么翻译比较通顺 完形填空题!要准确的哈! 每个词中两个字的意思相反 英语翻译支持取消的理由这些假日期间,人们己忘了五 一劳动节最初的意义,即工会与工人努力争取自己权利的宣传,而单纯高喊劳动者光荣的口号,更成为商家赚钱的机会,且加大交通,能源更方 什么是论点、论据、论证? 已知等差数列{An}的公差d为1/2,A1+A3+A5+、、、A97+A99=60,则A2+A4+A6+'''A96+A98+A100等于多少? 英语翻译Daniel was alaways excuss for forgetting to do
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘