说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

一周云热点:Google打造云中Hadoop便捷版,强势对抗AWS

HTML文档下载 WORD文档下载 PDF文档下载
春节的脚步越来越临近,年味越来越浓,在这喜庆的日子即将到来之际,云计算市场也热闹非凡,又是一个周末,本周云计算市场究竟发生了哪些吸引眼球的事,下面我们将为大家梳理本周的重点关注。

上周云计算领域的热点非Spark莫属,本周,我们云计算又有哪些热点新闻呢?

1. Google打造云中Hadoop便捷版,强势对抗AWS

上周,Google为其Google Cloud Platform增加了Hadoop 连接器,这样开发人员现在已经能够很轻松的在Google计算虚拟机上进行Hadoop操作了,Google Cloud Storage Hadoop的预览版将使开发人员不用再花大力气去管理集群和文件系统。在此领域,Google和AWS的竞争将更加激烈。


下图是Hadoop在Google Cloud Platform上的图解。在Google Cloud Storage上存储数据时HDFS、NameNode是可选的。 

下面是用Google Cloud Storage运行Hadoop的优势:

兼容性:Google Cloud Storage connector for Hadoop 代码兼容Hadoop。
快速启动:当数据复制到HDFS以及NameNode,你不必等待过长时间来结束安全模式。
更高的可用性和可扩展性: Google Cloud Storage比HDFS具有更高的可用性。
低成本:包括存储和计算两方面都节省成本,同时,它是以分钟计费。
没有存储管理开销:Google Cloud Storage只需要为计算付费。
互通性:通过在Google Cloud Storage保管数据,你可以从Google上其它的服务中获益。
性能:由于有了Google Cloud Storage,Google的基础设施将会比HDFS提供更高的性能

2. 平均比Hive快24倍,Impala剑指Stinger

在YARN之前,Hadoop仅适用于离线处理场景。基于实时性的需求,各个机构纷纷研发了自己的流处理框架,这次我们说的是两SQL-on-Hadoop项目的对决,同时也是两家知名Hadoop解决方案提供商的比拼——Impala vs. Stinger。

测试对比版本是 Impala 1.1.1与 Hive 0.12(集成了Stinger),Hive运行在ORCFile 数据集之上,Impala 则使用了Parquet存储相同的数据。为了让Hive得到最佳性能,Cloudera还将TPC-DS查询转换成SQL-92 join,并且手动优化了join顺序,指定了分区字段,Impala也做了同样的优化。数据大小是3TB,使用了典型的5 Hadoop数据节点配置。查询也使用了多种类型,也包含了多种标准join及聚合,还使用了复杂的多级聚合和子查询。


测试得出的结果是Impala比Hive快6-69倍不等,类型包括以下几种: 


3. Netflix开源S3一致性提升利器S3mper Fi

上周,Netflix开源了S3mper,这对那些在使用AWS S3存储服务,而且想要更高数据一致性的用户来说,绝对是个好消息。这一次,它的开源S3mper库已经经过优化和测试,这样可以确保在AWS巨大的S3存储服务里有更好的数据存储一致性。S3mper遵循Apache License 2.0。这对利用S3进行大量批处理以及对一致性要求很苛刻的金融或医疗领域会非常有用。

需要更好的一致性可以采用二次索引“在S3上支持原始数据的同时编制文件元数据目录,” Weeks 写道。但他同时表示这可能有问题。他说,在小范围里,你可以通过使用“一致的、二次索引在S3上支持原始数据的同时为文件元数据编制目录”得到你需要的一致性。但随着规模增大,情况会变得越来越棘手。一般来说,只要二次索引能够处理所有的请求,它就会正常工作。不过,当你依赖两个独立系统时,数据丢失和性能冲击的风险会随之上升,他说。 

4. 开放式创新改变世界——OpenStack生态系统将重新洗牌

OpenStack基础软件开发周期长、投入大、技术创新转化成产品需要更多时间,超越公司的开放协作才有利于和促进产业繁荣发展。OpenStack能否成为继Linux之后开放式创新的又一成功案例呢?这个成立之初仅有两个基础模块的OpenStack,如今已发展成为拥有9个核心子项目(Havana)一系列孵化项目的庞大开源组织。吸引到了众多开源领域的专家加入,还有厂商们的大力追捧。


但是OpenStack确实给一些初创公司带来了很高的知名度以及投资机会,但基础软件开发周期长,投入大、见效慢,技术创新转化成产品需要更多时间,而现在还搞不清楚用户在哪里的初创公司已经逐渐失去往日的光辉。

5. 【产业观察】金山云总裁王育林:星星之火 可以燎原

AWS近期的入华,使得业界对于云计算服务的关注度飙升到了最高点,国内云计算供应商也纷纷祭出了“价格战”这尊法宝。然而王育林认为,在企业级市场,“价格战”很难真正奏效,让用户亲身体验服务的质量才是王道。

 

我并不看好亚马逊AWS在国内的发展情况。抛开数据安全和保密性不说,其根本不能真正适应国内的市场发展情况。在这方面,本地化资源成为了左右战局的“胜负手”。说到底,云计算服务是一种资源整合的快速反应能力。这些资源包括了用户资源和产业资源。在中国,实践证明金山云的开发者资源、阿里云的金融资源已经强大到足以助推整个平台的发展。 

6. 回顾2013:HBase的提升与挑战

回顾2013年,总结下这一年HBase在这么一年中发生的主要变化。影响最大的事件就是HBase 0.96的发布。代码结构已经按照模块化发布了,而且提供了许多大家迫切需求的特点:

1. Compaction优化
2. Mean Time To Recovery/MTTR优化
3. Bucket Cache (L2 cache on HBase)
4. Java GC改进
5. HBase的企业级数据库特性(Secondary Index、Join和Transaction)
6. PrefixTreeCompression
7. 其他变化

展望2014年,HBase即将release 1.0版本,更好的支持multi-tenancy, 支持Cell级别的ACL控制。

7. 利用ElasticSearch和Redis检索和存储十亿信息

如果从企业应用的生存率来看,选择企业团队信息作为主要业务,HipChat的起点绝非主流;但是如果从赚钱的角度上看,企业市场的高收益确实值得任何公司追逐,这也正是像JIRA和Confluence这样的智能工具制造商Atlassian于2012年收购HipChat的原因。

同时,或许你不知道的是,在Atlassian资源和人脉的帮助下,HipChat已经进入了一个指数增长周期。12亿的信息存储意味着他们现在每隔几个月的信息发送、存储和索引量都会翻一番。全文从统计、平台、产品、XMPP服务器架构、存储架构、常规、未来、经验教训等方面对HipChat做了全方位的介绍,即使HipChat没有谷歌那么大规模,我们仍能从中学到好东西,比如他们如何及时索引和搜索十亿信息。

8. 【CSDN云计算俱乐部】九城及携程的Hadoop大数据平台

随着移动互联网的发展,中国的手机网民已经接近6亿之巨,如此多设备带来的价值不言而喻,因此大家一直在谈论大数据,也一直在寻找更好的Hadoop使用途径,本期CSDN云计算俱乐部的主题就是围绕Hadoop展开的大数据掘金之路。2014年1月4日,CSDN云计算俱乐部在上海市第九城市信息技术有限公司培训室举办活动,本次活动的主题是“从Hadoop实践到基于业务的分析,开启你的数据掘金之路”。


来自九城技术部负责Hadoop的架构师,周诚带来的主题是“Hadoop大数据分析”,主要分享九城搭建的一个以Hadoop为基础的大数据平台,同时还分享了相关的具体案例。最后他还分享了九城的商品定向推荐功能。

下来进行主题分享的是来自于携程旅行网负责网站运营中心容量平台的周海燕,她带来的主题分享是“ctrip的web容量分析办法”。主要介绍了ctrip的容量规划任务,通过使用当前性能作为基线数据,评估以及预测系统需要什么资源,什么时候需要更多的资源。其中包括,基于周期性季节指数预测法的业务量预测,基于回归分析的web容量预测等。详细的PPT分享请点击原文链接。 


9-10. AWS会赢、OpenStack会消亡、Connected Cars可防僵尸攻击,Pivotal聘用eBay前副总裁,继续发力云计算市场,更多云计算热点,请继续关注CSDN云计算。(文/魏伟)

京东“宙斯杯”创新应用大赛,百万奖金为“你”而等待 12306上的分布式内存数据技术GemFire Canalys:苹果、三星2014年仍统治平板市场 微软压力山大 Google和苹果的下一个战场 回顾2013科技界大事件:Mayer登Vouge杂志、Ballmer离职 《近匠》第03期:移动开发工具访谈,AVOS Cloud——后端的金刚钻 次世代视觉:Avegant Glyph智能眼镜技术解析 技术栈的选择:从Groupon转向Node.js、淘宝去IOE谈起 首席数据官:一个属于你的时代已经来临 盘点2013年Facebook七大最受欢迎的hack 见证中国开源的力量:“开源力量”2013年度庆典活动亮点汇总 专访APU13讲师、西电朱虎明:概念难以理解成异构编程最大阻力 盘点2013:21款最优秀的开源数据库 苹果三星再次谈判,欲和解所有侵权案 应对iOS in the Car,Google将携手奥迪推Android车载系统 10个技巧让你更轻松地使用AWS 《近匠》第04期:移动开发技术访谈,多看科技CTO王毅——阅读未来 2013年Linux领域重要事件回顾 2013年12月操作系统份额:Windows XP跌破30%大关 Linux小幅上涨 Snapchat存安全漏洞 460万用户信息被窃 年底广告高峰:AdMob团队支招“马上赚钱” 从远程调用框架认识Zookeeper 盘点Hadoop生态圈:13个让大象飞起来的开源工具 【开源推荐】Ejoy2D:“风魂”游戏引擎作者云风的又一力作 Web应用在IE11里的实际使用性能 回顾2013年十个值得关注的WordPress设计主题 为什么Google眼镜注定会失败? 2013移动开发工具盘点:最火原型设计工具 2013年12月份浏览器份额:IE 11暴涨3倍 【PPT集萃】十位一线专家分享Spark现状与未来(二) 2014年,怎么做产品才能获得成功? 在vc#中如何删除目录下的所有文件? 急 关于分级菜单 求救,如何在注册表中得到一个硬件设备(如猫)的驱动文件名称? 一个难题,希望高手能解决,急切等待! 关于网络状况测试的问题 新手上路,问一个很初级的问题,呵呵。。。 请问如何实现在同一个窗口中的自动跳转? 为什么不能调用类? 关于SQL语句求助 如何在asp和asp.net里面共享信息 溢出错误,麻烦来看看! 知道汉字的国标(gb?)码值,如何显示汉子,急求救!!!! 在SQL2000怎样建立全文索 Cannot start SQL Server Agent 能用case when 举一个例子吗?如果工资>1000 职务='处长',如果工资<1000 职务='科员' 如何将从xml文件中读取的文本在网页上保持格式的显示? sql语句求助!1 有宁波考高程的吗?有参加班的吗? 水晶报表问题???高手请进!!!!!! 使用openquery建立视图。急!急!急!急!急!急! 小问提 交个朋友 Blob类型的字段为什么不能做为Lookup或Calculated字段 有谁知道Any to Icon 的 注册码 怎么实现不同文件中的变量互访? ICS 的FTP控件问题:怎样建目录,我这样做不出错,但是就是建不出来: 数据库出错 怎样将weblogic7和MS sql 2000连接起来? sql语句求助! 关于文件关联的问题,不是那么简单的哦.!!!!!! 一个MM每天回家后做的事 [贴图] 我需要得到记录集中的一条记录 关于MODEN的问题 如何编写Delphi的DLL为C++Buider调用? 我将数据库连接作为一个bean封装,怎么样在sevlet中引用它? 源文件,修改?? 我该怎么做? IIS为什么不能解析中文? Exchange怪问题,求救求救...... 请问VB写的ActiveX DLL,其中的函数如何声明为导出函数?在线等待!! 寻求组件上传多图片源代码 很菜的问题!各位帮帮忙啊!在线等。。 请推荐一本软件工程的书。 我的计算机一接通电源就开机,在98系统中关机显示屏熄灭后风扇仍然旋转,不知是什么原因? 如何在某个页面实现自动跳转??? 紧急求救,我的机器崩溃了。帮帮我啊。!!!!!!!!!(在线等) 改变DW某些内容颜色问题 drearwear ultradev4 在连接数据库最后'确定'键没有作用???? 一个关于 ASP邮件发送问题有错, 大家帮忙看看,散分 200 利用VB制作数据库 我MM要去杭州了。。不爽ing...散分!! captain issac的意思是什么? issac asimov简介 A song for XX 滨崎步歌词的中文读音 ISSAC怎么发音 什么叫隔离电阻?隔离电阻有什么用? 请教电阻隔离电路中的电阻是怎样起到隔离作用的? 尝试是什么,尝试是乌云蔽日时,勇于直上云霄的海燕;尝试是----造句 我需要多大的电阻?尽量让我说的让电子商场的人听明白我好买到电阻回来加工.我房间有一个220V变12V.3A直流电出来.现在想在外面利用12V3A的电变3V.1A到2A电都可以.请问我要加多少的电阻和多 窿 nong 怎么组词 在众多的兔姐妹中,有一只白兔独具审美的慧心.她爱大自然的美,尤爱皎洁的月色.每天夜晚,她来到林中草(1)简要回答白兔的得与失用自己的话回答,白兔在得到了月亮之后为什么反而没有得 英文名Issac的含义是什么? 《我是特种兵之火凤凰》演员拍摄搞笑花不留遗憾,5对老夫妻补拍婚纱照美对华钢铁产品发起贸易救济调查宁波市环境空气质量优良率在浙江省排名发改委官员:我国城市群交通存在三大问工业利润增势保持稳定但增长基础仍然脆廊坊数百学生不满校园管理聚集抗议 官俄媒:俄中简化边界海关检查体现两国高医改网站技术问题百出 奥巴马上教堂也上海自贸区基本运行制度创新框架已建立收入分配改革有望三中全会后推进 提低多个小区仍未模拟计量收费公交改革遭网友“理性吐槽”佛山49万辆车受益王杰个唱座无虚席河源文物几多?快看这套书86中今年开设4个“海洋班”女大学生“出租大腿”当广告位班主任涉嫌猥亵女学生黄晓明“要传宗接代”打包票娶Baby色彩绘缤纷 儿童绘画小组“巴哥”教你乘车防狼
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘