说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

一周云热点:Google打造云中Hadoop便捷版,强势对抗AWS

HTML文档下载 WORD文档下载 PDF文档下载
春节的脚步越来越临近,年味越来越浓,在这喜庆的日子即将到来之际,云计算市场也热闹非凡,又是一个周末,本周云计算市场究竟发生了哪些吸引眼球的事,下面我们将为大家梳理本周的重点关注。

上周云计算领域的热点非Spark莫属,本周,我们云计算又有哪些热点新闻呢?

1. Google打造云中Hadoop便捷版,强势对抗AWS

上周,Google为其Google Cloud Platform增加了Hadoop 连接器,这样开发人员现在已经能够很轻松的在Google计算虚拟机上进行Hadoop操作了,Google Cloud Storage Hadoop的预览版将使开发人员不用再花大力气去管理集群和文件系统。在此领域,Google和AWS的竞争将更加激烈。


下图是Hadoop在Google Cloud Platform上的图解。在Google Cloud Storage上存储数据时HDFS、NameNode是可选的。 

下面是用Google Cloud Storage运行Hadoop的优势:

兼容性:Google Cloud Storage connector for Hadoop 代码兼容Hadoop。
快速启动:当数据复制到HDFS以及NameNode,你不必等待过长时间来结束安全模式。
更高的可用性和可扩展性: Google Cloud Storage比HDFS具有更高的可用性。
低成本:包括存储和计算两方面都节省成本,同时,它是以分钟计费。
没有存储管理开销:Google Cloud Storage只需要为计算付费。
互通性:通过在Google Cloud Storage保管数据,你可以从Google上其它的服务中获益。
性能:由于有了Google Cloud Storage,Google的基础设施将会比HDFS提供更高的性能

2. 平均比Hive快24倍,Impala剑指Stinger

在YARN之前,Hadoop仅适用于离线处理场景。基于实时性的需求,各个机构纷纷研发了自己的流处理框架,这次我们说的是两SQL-on-Hadoop项目的对决,同时也是两家知名Hadoop解决方案提供商的比拼——Impala vs. Stinger。

测试对比版本是 Impala 1.1.1与 Hive 0.12(集成了Stinger),Hive运行在ORCFile 数据集之上,Impala 则使用了Parquet存储相同的数据。为了让Hive得到最佳性能,Cloudera还将TPC-DS查询转换成SQL-92 join,并且手动优化了join顺序,指定了分区字段,Impala也做了同样的优化。数据大小是3TB,使用了典型的5 Hadoop数据节点配置。查询也使用了多种类型,也包含了多种标准join及聚合,还使用了复杂的多级聚合和子查询。


测试得出的结果是Impala比Hive快6-69倍不等,类型包括以下几种: 


3. Netflix开源S3一致性提升利器S3mper Fi

上周,Netflix开源了S3mper,这对那些在使用AWS S3存储服务,而且想要更高数据一致性的用户来说,绝对是个好消息。这一次,它的开源S3mper库已经经过优化和测试,这样可以确保在AWS巨大的S3存储服务里有更好的数据存储一致性。S3mper遵循Apache License 2.0。这对利用S3进行大量批处理以及对一致性要求很苛刻的金融或医疗领域会非常有用。

需要更好的一致性可以采用二次索引“在S3上支持原始数据的同时编制文件元数据目录,” Weeks 写道。但他同时表示这可能有问题。他说,在小范围里,你可以通过使用“一致的、二次索引在S3上支持原始数据的同时为文件元数据编制目录”得到你需要的一致性。但随着规模增大,情况会变得越来越棘手。一般来说,只要二次索引能够处理所有的请求,它就会正常工作。不过,当你依赖两个独立系统时,数据丢失和性能冲击的风险会随之上升,他说。 

4. 开放式创新改变世界——OpenStack生态系统将重新洗牌

OpenStack基础软件开发周期长、投入大、技术创新转化成产品需要更多时间,超越公司的开放协作才有利于和促进产业繁荣发展。OpenStack能否成为继Linux之后开放式创新的又一成功案例呢?这个成立之初仅有两个基础模块的OpenStack,如今已发展成为拥有9个核心子项目(Havana)一系列孵化项目的庞大开源组织。吸引到了众多开源领域的专家加入,还有厂商们的大力追捧。


但是OpenStack确实给一些初创公司带来了很高的知名度以及投资机会,但基础软件开发周期长,投入大、见效慢,技术创新转化成产品需要更多时间,而现在还搞不清楚用户在哪里的初创公司已经逐渐失去往日的光辉。

5. 【产业观察】金山云总裁王育林:星星之火 可以燎原

AWS近期的入华,使得业界对于云计算服务的关注度飙升到了最高点,国内云计算供应商也纷纷祭出了“价格战”这尊法宝。然而王育林认为,在企业级市场,“价格战”很难真正奏效,让用户亲身体验服务的质量才是王道。

 

我并不看好亚马逊AWS在国内的发展情况。抛开数据安全和保密性不说,其根本不能真正适应国内的市场发展情况。在这方面,本地化资源成为了左右战局的“胜负手”。说到底,云计算服务是一种资源整合的快速反应能力。这些资源包括了用户资源和产业资源。在中国,实践证明金山云的开发者资源、阿里云的金融资源已经强大到足以助推整个平台的发展。 

6. 回顾2013:HBase的提升与挑战

回顾2013年,总结下这一年HBase在这么一年中发生的主要变化。影响最大的事件就是HBase 0.96的发布。代码结构已经按照模块化发布了,而且提供了许多大家迫切需求的特点:

1. Compaction优化
2. Mean Time To Recovery/MTTR优化
3. Bucket Cache (L2 cache on HBase)
4. Java GC改进
5. HBase的企业级数据库特性(Secondary Index、Join和Transaction)
6. PrefixTreeCompression
7. 其他变化

展望2014年,HBase即将release 1.0版本,更好的支持multi-tenancy, 支持Cell级别的ACL控制。

7. 利用ElasticSearch和Redis检索和存储十亿信息

如果从企业应用的生存率来看,选择企业团队信息作为主要业务,HipChat的起点绝非主流;但是如果从赚钱的角度上看,企业市场的高收益确实值得任何公司追逐,这也正是像JIRA和Confluence这样的智能工具制造商Atlassian于2012年收购HipChat的原因。

同时,或许你不知道的是,在Atlassian资源和人脉的帮助下,HipChat已经进入了一个指数增长周期。12亿的信息存储意味着他们现在每隔几个月的信息发送、存储和索引量都会翻一番。全文从统计、平台、产品、XMPP服务器架构、存储架构、常规、未来、经验教训等方面对HipChat做了全方位的介绍,即使HipChat没有谷歌那么大规模,我们仍能从中学到好东西,比如他们如何及时索引和搜索十亿信息。

8. 【CSDN云计算俱乐部】九城及携程的Hadoop大数据平台

随着移动互联网的发展,中国的手机网民已经接近6亿之巨,如此多设备带来的价值不言而喻,因此大家一直在谈论大数据,也一直在寻找更好的Hadoop使用途径,本期CSDN云计算俱乐部的主题就是围绕Hadoop展开的大数据掘金之路。2014年1月4日,CSDN云计算俱乐部在上海市第九城市信息技术有限公司培训室举办活动,本次活动的主题是“从Hadoop实践到基于业务的分析,开启你的数据掘金之路”。


来自九城技术部负责Hadoop的架构师,周诚带来的主题是“Hadoop大数据分析”,主要分享九城搭建的一个以Hadoop为基础的大数据平台,同时还分享了相关的具体案例。最后他还分享了九城的商品定向推荐功能。

下来进行主题分享的是来自于携程旅行网负责网站运营中心容量平台的周海燕,她带来的主题分享是“ctrip的web容量分析办法”。主要介绍了ctrip的容量规划任务,通过使用当前性能作为基线数据,评估以及预测系统需要什么资源,什么时候需要更多的资源。其中包括,基于周期性季节指数预测法的业务量预测,基于回归分析的web容量预测等。详细的PPT分享请点击原文链接。 


9-10. AWS会赢、OpenStack会消亡、Connected Cars可防僵尸攻击,Pivotal聘用eBay前副总裁,继续发力云计算市场,更多云计算热点,请继续关注CSDN云计算。(文/魏伟)

创业失败的七个原因及解决之道 集结号:最受开发者欢迎的跨平台游戏引擎 Cocos2d-x v3.0正式版本发布!优化C++、Lua、JavaScript接口 定价99元首发1万台 360安全路由器启动预约 AMD新产品线曝光 首次实现X86与ARM针脚融合 IT界最难以替代的9个角色 《近匠》英特尔® XDK:从开发、测试到部署,一站式HTML5开发工具 手游云测工具TestBird:测试走入垂直细分领域 阿里巴巴赴美IPO的种种及马云内部邮件全文 盘点EMC World 2014三大看点 2014年Q1:智能手机总销量下滑,WP同比反增119% 着眼无人驾驶技术 英特尔投资日本ZMP公司 移动云服务UCloud快速扩张 成立北京分公司 精准推送 个推推出2.0产品“Smart Push” 从张小龙的七大价值观说开去 2014高德LBS应用大赛正式启动 助力打造生态圈 专访永洪科技CEO何春涛:管理者的炼成及国内大数据公司的挑战 R语言如何发展?商业支持或许可行 专访InMobi CEO Naveen Tewari:Banner广告已经OUT 效力苹果18年的资深高管Katie Cotton将退休 主打“全、新、独、准”,华为推出游戏中心平台 阿里云计算出海挑战亚马逊 首站香港及东南亚 TIOBE 2014年5月编程语言排行榜:Adobe ActionScript挤进Top20 秒杀iPad Mini?微软或将下月发布Surface Mini 大道手游:详解应用内购买的定价趋势与技巧 与英特尔软硬合作,Cloudera将在中国建立业务机构 准备迎接第一个量子计算软件公司吧! 搜狗搜索发布新LOGO和移动App 正全面入驻腾讯各条产品线 做好扁平化设计-视觉篇 关于敏捷研发的跨界反思 《近匠》雨血,一个“独立游戏人”的反思 不知是否荒唐,大虾请 如果大家有问题告诉我(anjie@zj.soim.com) 如果大家有问题告诉我(anjie@zj.soim.com)一起讨论吗 想跟我交朋友anjie@zj.soim.com tc++3.0如何编写读鼠标程序(急) 都进来看看,程序员的下场... 各位高手,小弟问一个傻问题:怎么在播放一个AVI的时候用自定风格的滑块控制? 我上次在CSDN 上看到有人发贴子说自己写操作系统,我现在有个朋友也在写,想和他联系,但是我现在找不到那个贴子了, 有谁记得那个人的名字或贴子的位置请说.谢谢. 求助:打开网上邻居很慢为什么? 问一个蠢问题:控件何时获得焦点 请问一下哪里再收购软件呢? 请问一下在哪里可以找到收购软件的公司呢? 想作一个DOS程序,实现多台电脑间通过网卡传输文件. 辞职信 application.initialize完成了什么 高手来帮忙啊~ 看看java的魅力 如何通过自制程序的编辑框向现有一般应用程序编辑框传送内容? 窗口执行顺序问题,请多帮助,谢谢 如何自动取得server的日期和时间 怎样让文件指针指到文件末尾,必须skipline一行一行跳吗? 我想在菜单前添加图标,使用Bitmap属性但是为何只能载入*.bmp文件而不能使用*.ico文件,我只有*.ico的图标,请问该如何解决。 有新建一个文本文件并给其命名的函数吗,怎么用 我还真不懂呀? 这个COLTYPE是怎么用的呀?你说它怎么得到表中字段的类型呀? 有关存储器(ram,rom)的编址问题。以及32位或更多位芯片的问题。 一些汇编问题。想来问bcb的兄弟{bcb里好象有不少汇编高手} 救命:在安装了sco openserver之后,系统不能启动,先前安装的win98和win2k也不能。 请问如何进行URL译码??? 请问怎样截取一个string中的一段? 请问delphi做的exe最小可以到多少?怎么做? 我想请问一下WINGATE的具体怎样在WIN2000服务器版中进行设置。 ASP的同志们,能不能留一下QQ号码? 请问何处有破解ACCESS2000的程序或源代码呢? 请问要在TEdit.text组件文本串中找出当前光标在第几个字符上怎么办?谢谢! 请问关于dbImage控件的使用方法? 关于HDC及双缓冲的问题? xxxbird(*说你行,你就行,不行也行*),来领“我遇到几个怪问题。。。。。。”中的分 为什么ASP没法向SQL Server中写入数据?代码什么地方错了 大家帮忙找一下,找到我给50分 exe 捆绑机怎么做? 大家谈谈JSP的设计模式怎末了?我有个题目,设计好的大大有奖! 浏览器下的那个进度条是怎么弄出来的? C中的typedef struct和C++中的 struct有何区别? C中的typedef struct和C++中的 struct有 什么区别?谢谢 lastlove(本栏位广告招商中,欢迎投放!),jjdelphi(我真的不懂),jinesc(杂牌军)-(人民军队为人民) 开利息了 一个网页的原代码可以保存到字符串里吗? 有没有各种C++编译器都支持的字符串类型或字符串类? <@> 关于 ProcessMessages 一个想不如大家想,请各位帮忙想个主页的名字吧。 女友23岁,她会选择前途还是爱情?-----一个VB程序员的痛苦 如何实现应用程序与动态库通信??? 一个半径10厘米的半圆形花坛.他的周长是几厘米,面积是几平方厘米 一个圆的半径增加3厘米,直径增加________厘米,周长增加________厘米 如右下图,已知三角形ABC面积是12平方厘米,求阴影部分的面积还有,我是小学生,麻烦写能看得懂的, 一个半圆形周长是10.28厘米,这个半圆形的面积是多少? 2.一个圆的半径增加2厘米,它的周长增加()厘米,面积增加()平方厘米.3.大小两个圆的半径比是2:3,面积差是30平方厘米,求两个圆的面积各是多少?4.已知一个圆的面积是62.8平方厘米,求跟它 如图,三角形abc面积是70平方厘米,BD=CD=6厘米,角C=45°.阴影部分面积多少? 一个圆的半径扩大到原来的三倍他的直径扩大到原来的【 】倍周长扩大到原来的【 】倍面积扩大到原来的【 】 一个圆的半径扩大3倍,周长扩大几倍,面积扩大几倍 回答马上采纳 图中三角形ABC的面积是36平方厘米,AC长8厘米,DE长3厘米.求阴影部分的面积(ADFC不是正方形) 一个圆的半径扩大a倍,直径扩大( )倍,周长扩大( )倍,面积扩大( )倍.A.2 B.a C.2a D.pài(3.14) E.2pài(3.14) F.a的平方 我想问的是为什么最后选F 一个圆的半径扩大几倍,直径就扩大几倍,周长就扩大几倍,面积就扩大几倍这类题目该怎么做?明天我就要期末考了,有没有什么公式? 图中ABC的面积是36平方厘米,AC长8厘米,DE长3厘米,求阴影部分的面积(ADFC不是正方形) 一个圆的半径是a厘米,它的直径是几,周长是几,面积是几十万火急 图中梯形的上底是18厘米,高是15厘米,阴影部分面积是54平方厘米,求梯形的面积 如图,扇形AOB的圆心角为60°,半径为6cm,C,D分别是的三等分点,则阴影部分的面积是 . 等腰梯形的周长是48厘米,面积是96平方厘米,高8厘米,则腰长( )厘米? 2、如图,梯形ABCD的上底长5厘米,下底长8厘米,已知三角形ABE的面积是24平方厘米,求梯形的面积.阴影部分是棕色的。 图中扇形半径都是4cm,阴影部分面积是多少? 一个半圆的半径为8厘米,它的周长是( )厘米,面积是( )平方厘米. 如图,梯形ABCD的上底长5厘米,下底长8厘米,已知三角形ABE的面积是24平方厘米,求阴影部分的面积.写出全过程. 图中的扇形半径都是4厘米,求阴影部分面积? 已知一个半圆的直径是8厘米,求它的周长是多少? 如下图,在一个梯形内有两个三角形分别是4平方厘米和6平方厘米,梯形下底的长是上底的2倍,求阴影部分面积?不能上传图就是在那个梯形中任取一点连接四个角上面那个三角形是4平方厘米下 一个圆心角为45度半径为2的扇形和一个等腰直角三角形组成的图形,那么图中的阴影部分面积是多少 一张直径为8厘米的圆形,剪去一半,剩下的半圆周长( ),面积( ) 在如图所示的长方形abcd中,△abd的面积比△bcd的面积大10平方厘米,ab=8厘米,cd=3厘米,求阴影部分的面积急! 圆P与扇形OAB的半径OA、OB分别交于C、D,与弧AB相交于点E,已知OA=15,角AOB=60度,求图中阴影部分的面积圆P在扇形里面,求扇形减去圆形的面积,圆P于弧AB相交 求阴影部分周长 直径是8厘米,求半径,周长,面积π取3.1 已知阴影部分的面积为24平方厘米,求梯形的面积. 求阴影部分的周长,明天就要上学啦! 一个等腰梯形的周长是48厘米,面积是96平方米,告示8厘米,则腰是多少厘米? 六上数学题求阴影部分的面积(空白部分面积为80平方厘米),高是8厘米 六、计算下面左边图形阴影部分的周长和右边图形阴影部分的面积. 半圆的半径是8厘米,求半圆周长和面积急用 已知梯形上底6厘米,下底8厘米,阴影面积24平方厘米,求梯形面积(需要提供计算方式) 求阴影部分的面积和周长 一个圆,半径是5厘米,求出面积和周长怎么算?“ 下面图中三角形ABC的高是6cm,面积是36平方厘米,求阴影部分的面积,······ 如图,已知圆O1与圆O2相交于A,B两点,圆O2过O1,且AB是圆O2的直径,若圆O1的半径为4,求图中阴影部分的面积 一个圆的半径扩大3倍,它的周长扩大( )倍,面积扩大( )倍写分析 两条对角线把梯形ABCD分割成四个三角形,如图所示,已知两个三角形的面积,求另两个三角形的面积各是多少已知三角形BOC等于12 三角形AOB等于6 O1的半径为4㎝,O2的半径为2㎝,求这个图形阴影部分的周长. 一个圆的半径是2厘米,那么它的面积和周长相等这道题对还是错 如下图,BCEF是平行四边形,三角形ABC是直角三角形,BC长8厘米,AC长7厘米,阴影部分的面积比三角形ADG的面积大12平方厘米,求GC的长. 如图,AB是⊙O1的直径,AO1是⊙O2的直径,弦MN‖AB,且MN与⊙O2相切于C点,⊙O1的半径为2,求阴影部分面积 一个圆的半径是2厘米,它的周长和面积相等.对还是错. 如下图:四边形BCEF是平行四边形,ABC是直角三角形,BC长8厘米,AC长7厘米,阴影部分的面积比ADH的面积大12平方厘米.求HC的长? 如右图所示,O1,O2分别是所在圆的圆心.如果两圆半径均为2厘米,且图中两块阴影部分的面积相等那么EF的长度是多少厘米? 当一个圆的半径是几厘米时,他的周长和面积的数值相等 如图,四边形BCEF是平行四边形,三角形ABC是直角三角形,BC长9cm,AC长8cm,阴影部分的面积比三角形ADH的面积大9平方厘米,求HC的长是多少 一个环形铁片的外运周长是25.12厘米,内圆直径是6厘米.求环形铁片的面积 一个圆的半径是5厘米,它的周长=( ),面积=( ) 如右图,已知直角三角形ABC的面积是12平方厘米,求阴影部分的面积 一个半圆形铁片的周长是10.28分米,它的半径是( ),面积是( ). 一个圆的直径是5厘米半径是()厘米周长是()厘米面积是()厘米 如图,已知三角形abc面积是12平方厘米,求阴影部分面积? 一个半圆形纸片的直径是10厘米,它的周长是()厘米,面积是()平方厘米 一个圆的半径由2厘米增加到了3厘米,那么,它的周长增加了()厘米,面积增加了()% 已知图中三角形ABC的面积为1998平方厘米,是平行四边形DEFC面积的3倍,那么图中阴影部分的面积是多少?
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn