说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

一周云热点:Google打造云中Hadoop便捷版,强势对抗AWS

HTML文档下载 WORD文档下载 PDF文档下载
春节的脚步越来越临近,年味越来越浓,在这喜庆的日子即将到来之际,云计算市场也热闹非凡,又是一个周末,本周云计算市场究竟发生了哪些吸引眼球的事,下面我们将为大家梳理本周的重点关注。

上周云计算领域的热点非Spark莫属,本周,我们云计算又有哪些热点新闻呢?

1. Google打造云中Hadoop便捷版,强势对抗AWS

上周,Google为其Google Cloud Platform增加了Hadoop 连接器,这样开发人员现在已经能够很轻松的在Google计算虚拟机上进行Hadoop操作了,Google Cloud Storage Hadoop的预览版将使开发人员不用再花大力气去管理集群和文件系统。在此领域,Google和AWS的竞争将更加激烈。


下图是Hadoop在Google Cloud Platform上的图解。在Google Cloud Storage上存储数据时HDFS、NameNode是可选的。 

下面是用Google Cloud Storage运行Hadoop的优势:

兼容性:Google Cloud Storage connector for Hadoop 代码兼容Hadoop。
快速启动:当数据复制到HDFS以及NameNode,你不必等待过长时间来结束安全模式。
更高的可用性和可扩展性: Google Cloud Storage比HDFS具有更高的可用性。
低成本:包括存储和计算两方面都节省成本,同时,它是以分钟计费。
没有存储管理开销:Google Cloud Storage只需要为计算付费。
互通性:通过在Google Cloud Storage保管数据,你可以从Google上其它的服务中获益。
性能:由于有了Google Cloud Storage,Google的基础设施将会比HDFS提供更高的性能

2. 平均比Hive快24倍,Impala剑指Stinger

在YARN之前,Hadoop仅适用于离线处理场景。基于实时性的需求,各个机构纷纷研发了自己的流处理框架,这次我们说的是两SQL-on-Hadoop项目的对决,同时也是两家知名Hadoop解决方案提供商的比拼——Impala vs. Stinger。

测试对比版本是 Impala 1.1.1与 Hive 0.12(集成了Stinger),Hive运行在ORCFile 数据集之上,Impala 则使用了Parquet存储相同的数据。为了让Hive得到最佳性能,Cloudera还将TPC-DS查询转换成SQL-92 join,并且手动优化了join顺序,指定了分区字段,Impala也做了同样的优化。数据大小是3TB,使用了典型的5 Hadoop数据节点配置。查询也使用了多种类型,也包含了多种标准join及聚合,还使用了复杂的多级聚合和子查询。


测试得出的结果是Impala比Hive快6-69倍不等,类型包括以下几种: 


3. Netflix开源S3一致性提升利器S3mper Fi

上周,Netflix开源了S3mper,这对那些在使用AWS S3存储服务,而且想要更高数据一致性的用户来说,绝对是个好消息。这一次,它的开源S3mper库已经经过优化和测试,这样可以确保在AWS巨大的S3存储服务里有更好的数据存储一致性。S3mper遵循Apache License 2.0。这对利用S3进行大量批处理以及对一致性要求很苛刻的金融或医疗领域会非常有用。

需要更好的一致性可以采用二次索引“在S3上支持原始数据的同时编制文件元数据目录,” Weeks 写道。但他同时表示这可能有问题。他说,在小范围里,你可以通过使用“一致的、二次索引在S3上支持原始数据的同时为文件元数据编制目录”得到你需要的一致性。但随着规模增大,情况会变得越来越棘手。一般来说,只要二次索引能够处理所有的请求,它就会正常工作。不过,当你依赖两个独立系统时,数据丢失和性能冲击的风险会随之上升,他说。 

4. 开放式创新改变世界——OpenStack生态系统将重新洗牌

OpenStack基础软件开发周期长、投入大、技术创新转化成产品需要更多时间,超越公司的开放协作才有利于和促进产业繁荣发展。OpenStack能否成为继Linux之后开放式创新的又一成功案例呢?这个成立之初仅有两个基础模块的OpenStack,如今已发展成为拥有9个核心子项目(Havana)一系列孵化项目的庞大开源组织。吸引到了众多开源领域的专家加入,还有厂商们的大力追捧。


但是OpenStack确实给一些初创公司带来了很高的知名度以及投资机会,但基础软件开发周期长,投入大、见效慢,技术创新转化成产品需要更多时间,而现在还搞不清楚用户在哪里的初创公司已经逐渐失去往日的光辉。

5. 【产业观察】金山云总裁王育林:星星之火 可以燎原

AWS近期的入华,使得业界对于云计算服务的关注度飙升到了最高点,国内云计算供应商也纷纷祭出了“价格战”这尊法宝。然而王育林认为,在企业级市场,“价格战”很难真正奏效,让用户亲身体验服务的质量才是王道。

 

我并不看好亚马逊AWS在国内的发展情况。抛开数据安全和保密性不说,其根本不能真正适应国内的市场发展情况。在这方面,本地化资源成为了左右战局的“胜负手”。说到底,云计算服务是一种资源整合的快速反应能力。这些资源包括了用户资源和产业资源。在中国,实践证明金山云的开发者资源、阿里云的金融资源已经强大到足以助推整个平台的发展。 

6. 回顾2013:HBase的提升与挑战

回顾2013年,总结下这一年HBase在这么一年中发生的主要变化。影响最大的事件就是HBase 0.96的发布。代码结构已经按照模块化发布了,而且提供了许多大家迫切需求的特点:

1. Compaction优化
2. Mean Time To Recovery/MTTR优化
3. Bucket Cache (L2 cache on HBase)
4. Java GC改进
5. HBase的企业级数据库特性(Secondary Index、Join和Transaction)
6. PrefixTreeCompression
7. 其他变化

展望2014年,HBase即将release 1.0版本,更好的支持multi-tenancy, 支持Cell级别的ACL控制。

7. 利用ElasticSearch和Redis检索和存储十亿信息

如果从企业应用的生存率来看,选择企业团队信息作为主要业务,HipChat的起点绝非主流;但是如果从赚钱的角度上看,企业市场的高收益确实值得任何公司追逐,这也正是像JIRA和Confluence这样的智能工具制造商Atlassian于2012年收购HipChat的原因。

同时,或许你不知道的是,在Atlassian资源和人脉的帮助下,HipChat已经进入了一个指数增长周期。12亿的信息存储意味着他们现在每隔几个月的信息发送、存储和索引量都会翻一番。全文从统计、平台、产品、XMPP服务器架构、存储架构、常规、未来、经验教训等方面对HipChat做了全方位的介绍,即使HipChat没有谷歌那么大规模,我们仍能从中学到好东西,比如他们如何及时索引和搜索十亿信息。

8. 【CSDN云计算俱乐部】九城及携程的Hadoop大数据平台

随着移动互联网的发展,中国的手机网民已经接近6亿之巨,如此多设备带来的价值不言而喻,因此大家一直在谈论大数据,也一直在寻找更好的Hadoop使用途径,本期CSDN云计算俱乐部的主题就是围绕Hadoop展开的大数据掘金之路。2014年1月4日,CSDN云计算俱乐部在上海市第九城市信息技术有限公司培训室举办活动,本次活动的主题是“从Hadoop实践到基于业务的分析,开启你的数据掘金之路”。


来自九城技术部负责Hadoop的架构师,周诚带来的主题是“Hadoop大数据分析”,主要分享九城搭建的一个以Hadoop为基础的大数据平台,同时还分享了相关的具体案例。最后他还分享了九城的商品定向推荐功能。

下来进行主题分享的是来自于携程旅行网负责网站运营中心容量平台的周海燕,她带来的主题分享是“ctrip的web容量分析办法”。主要介绍了ctrip的容量规划任务,通过使用当前性能作为基线数据,评估以及预测系统需要什么资源,什么时候需要更多的资源。其中包括,基于周期性季节指数预测法的业务量预测,基于回归分析的web容量预测等。详细的PPT分享请点击原文链接。 


9-10. AWS会赢、OpenStack会消亡、Connected Cars可防僵尸攻击,Pivotal聘用eBay前副总裁,继续发力云计算市场,更多云计算热点,请继续关注CSDN云计算。(文/魏伟)

移动周报:百度收购91,19亿美金背后的博弈 植物大战僵尸2:“免费+内付费”模式引发争论 [CTO俱乐部第103期] 高德和四维图新技术高管谈地图导航的发展与挑战 Java 7爆最新漏洞,10年前的攻击手法仍有效 Twitter联合创始人Biz Stone谈Facebook用户体验 提倡零广告 英雄会:企业的人才漏斗 开发者的武林大会 一次错误估算带来的启示 苹果开发者中心被黑:开发者信息或被窃取 SIM卡加密存漏洞 将影响数亿计的手机用户 搜狗茹立云:探索引擎产品落地 浏览器+搜索模式会成主流吗? 大势所趋,IBM Acme Air至少使用Netflix的5个开源工具 【观察】跨越“朦胧期”的云计算:产业、核心技术、生态圈以及突破点 Rovio Account:平台化之路修成正果 甲骨文总裁马克•赫德采访实录:用软硬件集成一体机打垮对手 如何一步一步打造高可扩展性的应用程序? 用Java编程,请保持简洁! 从安全隐患带来的商机来看,Hadoop同样很美 三年增四倍:如今谷歌服务占北美互联网流量四分之一 决战低功耗?Intel明年推低功耗Xeon处理器 在软件架构上增加新功能的注意事项 90后的代码界“女神”李雪:在编程中找到自己的“灵魂” 大数据之路不乏荆棘,然则其中的机遇却高于一切 iPhone销量令人意外:苹果Q3财季净利69亿美元 同比下滑 励志:12位早起的IT大佬们让小伙伴们都惊呆了 独家:苹果5周年限免神作,BADLAND开发者访谈 10亿次订阅!苹果Podcast的里程碑 免费利器Unity 4.2正式发布 支持WP8、Win8和BB10 SDCC 2013:Pinterest首位中国籍工程师两场演讲议题确定 甲骨文公布中国首届“Duke选择奖”名单 Moco、X幻想、开源中国获奖 直接拿来用,10个PHP代码片段 编程的未来 数据将成为主角 .net似乎对组件编程的支持很强?就是说,似乎省区了很多繁琐的细节? 各位有人可以告诉我怎么实现SMTP用户验证吗? 大家有用这个软件吗?有的话请写下你使用的感觉,有什么不足? CoolSoft HTML Optimizer 谁那里有页面开发规范,重金求购 帮助中HTML文件的链接问题!!! asp.net是否可以用任何一种vs.net语言? 请教---------一个函数返回指针值的问题!!!! 如何可以筛选出被修改过的数据记录。。。。。。 如何在广域网上实现SOCKET通讯,与局域网有什么不同? invocation在Java中怎么翻译啊? oracle中增量导数据的问题!! 过多的异常捕捉会影响程序性能吗? 二个form时怎样用request来收取数据? 在sybase里健好的表如何从新修改? 一个小问题,这个变量是什么类型的??? 使用通讯控件的疑惑 怎样实现在文本文件中修改某一行的其中字符串 Nokia MobileSet中如何让手机识别中文? 注册表坏了怎么办? 大哥们,能否告诉小弟,在 ms sql server2000中如何修改 sa 用户的口令 我的超星不能用了!!! 十万火急:PDF文件修改 大哥们,能否告诉小弟,在 ms sql server2000中如何修改 sa 用户的口令.. 作为初学者,每天的问题太多了?帮我看一下下面的小问题 我上午53,下午58.该不会下马吧????/我相知道什么时候才能知道是否已经Pass,什么时候下证? 有关DELPHI6中使用SKINENGINE??? C++ Builder中多国语言的问题 在哪下载到Exchange 2000 Server Resource Kit? 快捷方式损坏怎样修复? bluesky069(菜鸟一族)你帮助我把那个PBL放到蛛蛛的信箱好不好呢?让大家都可以下在的! 请问哪里有w32dsm.exe的教程??? 潘译<>印刷错误百出,令人不忍卒读... LISTBOX的问题?请高手帮忙!!高分向送! 帮我想想这个主键该怎么建SQL SERVER7 如何将控件,恢复init()到初始状态 急救:装有SCO UNIX的硬盘克隆后不能启动系统,怎么办? 如何在FTP的目录下再新建目录?我初学网络编程, 怎样设置ScrollView中的ScrollBar不可见? 有关comboBox问题??????急!急!!! 有那位朋友对ADO控件调用T-SQL的链接服务器或存储过程的命令有所了解,或知道怎样取链接服务器的相关信息 真诚的向大家请教一个问题!!先谢谢了 redhat linux7.2安装完成后,怎么没有工具栏 已知manager是employee的子类,那么这么写Employee epy=new Manager()为什么合法? 第五次提出这个问题:如何通过DELPHI调用SQL SERVER 过程向SQL SERVER 存入图象。 为什么我在新闻聚焦中发表不了评论? 在VB里怎样用ADO存贮Access的Memo型字段? 誰有在PB下用powersock做的聊天程序? SQL的好书是什么呀?难道就没有人有体会? vb怎样格式化硬盘?? 做个《曹操传》之类的游戏需要多少投资? 关于sfc(系统文件扫描)的问题 如图三角形ABC与三角形CDE都为等边三角形,且A,C,E在一条直线上,为什么ad与be相等 金属管浮子流量计与普通的转子流量计有什么区别?分别用在什么样的环境,和各自的特点? 如图,在△ABC中,AD是∠BAC的平分线,DE⊥AB于点E,DF⊥AC于点F,求证:AD⊥EF.如题,图如下, 3台设备功率各50KW,需要多大的电缆?什么规格型号?以及空气开关的参数也要.3台设备功率各50KW,一个是不锈钢拉丝机,两台等离子切割机,请问在最多同时运行两台设备的情况下选择电缆的规格 转子流量计的钢制转子改为塑胶转子,请问在同一刻度下的实际流量比换转子前是增加了还是减少了? 如图,△ABC中,E、F分别是AB、AC、上的点.①AD平分∠BAC:②DE⊥AB:DF⊥AC;③AD⊥EF.以此三个中的两个.条件,另外一个为结论,可构成三个命题,即①②→③,①③→②,②③→①.(1)试判断上述三 150千瓦的功率应该用多大的三相四线铝电缆.要配多大的空气开关. 60个千瓦的高压钠灯电源是三相四线制长度1000米怎么计算用多大的电缆 如图,AD是△ABC的中线,E,F分别是AB,AC上,且DE⊥DF,求证:BE+CF>EF. 3*16+1*10电缆能带多大功率负载?3*6+1*4电缆能带多大功率负载?计算公式怎么算的 多股铜芯线载流大小咋3相载流与2相载流怎么区别?16平方=πR² 所以直径5毫米对不?2.5以下乘以9 往上减一顺号 380V 50HZ 30A 需要多少平方的电源线,多大的空气开关 如图AD是△ABC的角平分线DE//AC交AB于E,DF交AC于点F.求证:AD⊥EF. 三相交流电动机总功率为80KW左右,请问要多大的三根铜电线和空气开关才能行? 在三角形ABC中,角ABC的平分线与外角角ACE的平分线交于点D,试说明角D=2分之1角A启东中学作业本(人教版)上的,三角形的外角,第13题 节流装置和流量计的区别是什么?流量计和变送器的区别是什么?有点晕有一种防堵测量装置算流量计还是节流装置? 已知:如图,在RT三角形ABC中,∠BAC=90°,三角形BCD、三角都ACE、三角形ABF均为等边三角形求证:S三角形BCD=S三角形ACE+S三角形ABF 如图,在三角形ABC中,角abc的平分线于角ace的平分线相交于点D,试探求角D与角A的关系,并说明理由. V锥流量计测量空气的安装要求DN200管径 垂直安装是否可以 220电4平方的铜线带空调 电磁炉 电饭锅 4平方的铜线能定住么 跳闸么?说简单点 LFX系列分流旋翼式蒸汽流量计表数什么读 调整型流量计中心节流装置锥体有什么用 我准备买一台功率9千瓦的开水炉,用4平方铜线是否可以?那住大师请指导! 500KW的功率,380伏电压,使用多大的电缆?装多少安的开关? 菲格瑞思平衡式流量计与传统节流装置有哪些区别? 如图,△ABC和△CDE都是等边三角形,且点A C E在同一条直线上,连接M、N点,△MNC是等边三角形吗?条件AD=BE 电锅炉18KW,功率380V,用多大铜丝线求:一平方铜丝线在380V的功率下通过的电流为多少? 总功率400kw 电压380v ,请问需要用多大电缆? 如图,△ABC和△CDE都是等边三角形,且点A C E在同一条直线上,度量比较AD与BE的大小说明理由 如图三角形ABC和三角形CDE均为等腰直角三角形,点B,C,D在一条直线上,点M是AE的中点,证明:S△ABC+S△CDE≥S△ACE要设AC为a CE为b 已知功率70KW,线长60米,电压380V,需要多大的开关?用多少平方的铝电缆? 如图所示,△ABC与△CDE都是等边三角形,AD与BE交于点M联结MC,求证:∠BMC=∠DMCAN:BN=MN:CN这个啥意识?没教过 如图,△ABC和△CDE均为等腰直角三角形,点B,C,D在一条直线上,点M是AE的中点,求证BM⊥DM V锥流量计可以用于对原油的测量吗? 如图,点B,C,D在同一条直线上,三角形ABC和三角形CDE都是等边三角形,BE交AC于F,AD交CE于H(1)求证:三角形BCE全等三角形ACD(2)求证:三角形FHC是等边三角形 如图,△ABC和△CDE均为等腰直角三角形,点B,C,D在一条直线上,点M是AE的中点,下列结论:①tan∠AEC=BCCD;②S△ABC+S△CDE≥S△ACE;③BM⊥DM;④BM=DM.正确结论的个数:A.1个 B.2个 C.3个 C.4个死度娘, 如图,已知BC//DE,∠ABC=∠DEF,试判断AB和EF的位置关系并说明理由 如图,已知△ABC,△CDE都是等边三角形,连接BE、AD,求证:AD=BE 如图1三角形abc与cde均为等腰直角三角形,且e在bc上,连接ae,bd 如图,∠ABC的两边分别与∠DEF的两边平行,即AB‖ED,BC‖EF1)在图1中,射线BA与ED同向,BC与EF也同向;在图2中,射线BA与ED异向,BC与EF也异向;在图3中,射线BA与ED同向,BC与EF异向.请问:在上述三种情况 如图,如图,B,C,D三点在同一条直线上,△ABC和△CDE都是等边三角形,试说明AD=BE,如果把“B,C,D三点在同一条直线上”这一条删去,结论还成立吗?你能画出几种不同情况的图?观察并说明.对不起,把 有的化学价有很多个要怎样才能知道在一个化学式中它的化合价呢如果其中有2个都是有不止一个的化合价如锰和氯在同一个化学式中(不考虑是否有这个化学式)锰的化合价为:+2,+4,+6, 如图所示,已知AB//DE,BC//EF.求证:△DEF相似于△ABC. 蒸汽发生器蒸汽阀出来的是水而不是蒸汽为什么 40kw.380v电压..要用多大的电线呢?220v又用多大的电线? 已知如图,A,F,C,D四点在同一直线上,AF=CD,AB‖DE,且AB=DE..求证:(1)△ABC≌△DEF(2)BC‖EF 蒸汽发生器开下来一开始出来的是水,正常吗, 我想问下怎样计算.例如10千瓦,分别用在220V,380V电压.用多大开关.多大电线.怎样计算得出在计出电流后,选多大电表 400A电流380V电压电机选择多大的电缆 蒸汽发生器可以一通电就把蒸汽阀打开吗 380V和220V电压分别在使用量达20千瓦时,空气开关最少要达到多少安倍 三相380V电机的功率为1.5KW,现改为电源为三相220V/60HZ ,启动电流会增加多少? 蒸汽发生器是不是要开20分钟后再把蒸汽阀打开 怎样从380v电压的开关下,取220v电源. 12KW的电动机三相380V电源要多大的电流?且要多大的电线? 水蒸气发生器问题发生器中插入一根玻璃管到液面以下,另一端与空气联通.这根管是干什么用的? 角ABC=角ACE=角CDE=90度,AC=CE,问三角形ABC是否全等于三角形CDE 一台设备电压为380V(多台电机及照明),在三相进线电缆上用卡钳表量电流每相为100A,请教每小时耗电量多少 如图三角形ABC与三角形CDE都为等边三角形,且A,C,E共线.证明直线AC,BD的夹角. 实验室用质量流量计和转子流量计价格哪个高 如图,在△ABC中,D是BC边上一点,DE⊥AB于点E,DF⊥AC于点F且DE=DF,EF与AD交于点O,求证AD⊥EF.图发不上来,
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn