说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

一周云热点:Google打造云中Hadoop便捷版,强势对抗AWS

HTML文档下载 WORD文档下载 PDF文档下载
春节的脚步越来越临近,年味越来越浓,在这喜庆的日子即将到来之际,云计算市场也热闹非凡,又是一个周末,本周云计算市场究竟发生了哪些吸引眼球的事,下面我们将为大家梳理本周的重点关注。

上周云计算领域的热点非Spark莫属,本周,我们云计算又有哪些热点新闻呢?

1. Google打造云中Hadoop便捷版,强势对抗AWS

上周,Google为其Google Cloud Platform增加了Hadoop 连接器,这样开发人员现在已经能够很轻松的在Google计算虚拟机上进行Hadoop操作了,Google Cloud Storage Hadoop的预览版将使开发人员不用再花大力气去管理集群和文件系统。在此领域,Google和AWS的竞争将更加激烈。


下图是Hadoop在Google Cloud Platform上的图解。在Google Cloud Storage上存储数据时HDFS、NameNode是可选的。 

下面是用Google Cloud Storage运行Hadoop的优势:

兼容性:Google Cloud Storage connector for Hadoop 代码兼容Hadoop。
快速启动:当数据复制到HDFS以及NameNode,你不必等待过长时间来结束安全模式。
更高的可用性和可扩展性: Google Cloud Storage比HDFS具有更高的可用性。
低成本:包括存储和计算两方面都节省成本,同时,它是以分钟计费。
没有存储管理开销:Google Cloud Storage只需要为计算付费。
互通性:通过在Google Cloud Storage保管数据,你可以从Google上其它的服务中获益。
性能:由于有了Google Cloud Storage,Google的基础设施将会比HDFS提供更高的性能

2. 平均比Hive快24倍,Impala剑指Stinger

在YARN之前,Hadoop仅适用于离线处理场景。基于实时性的需求,各个机构纷纷研发了自己的流处理框架,这次我们说的是两SQL-on-Hadoop项目的对决,同时也是两家知名Hadoop解决方案提供商的比拼——Impala vs. Stinger。

测试对比版本是 Impala 1.1.1与 Hive 0.12(集成了Stinger),Hive运行在ORCFile 数据集之上,Impala 则使用了Parquet存储相同的数据。为了让Hive得到最佳性能,Cloudera还将TPC-DS查询转换成SQL-92 join,并且手动优化了join顺序,指定了分区字段,Impala也做了同样的优化。数据大小是3TB,使用了典型的5 Hadoop数据节点配置。查询也使用了多种类型,也包含了多种标准join及聚合,还使用了复杂的多级聚合和子查询。


测试得出的结果是Impala比Hive快6-69倍不等,类型包括以下几种: 


3. Netflix开源S3一致性提升利器S3mper Fi

上周,Netflix开源了S3mper,这对那些在使用AWS S3存储服务,而且想要更高数据一致性的用户来说,绝对是个好消息。这一次,它的开源S3mper库已经经过优化和测试,这样可以确保在AWS巨大的S3存储服务里有更好的数据存储一致性。S3mper遵循Apache License 2.0。这对利用S3进行大量批处理以及对一致性要求很苛刻的金融或医疗领域会非常有用。

需要更好的一致性可以采用二次索引“在S3上支持原始数据的同时编制文件元数据目录,” Weeks 写道。但他同时表示这可能有问题。他说,在小范围里,你可以通过使用“一致的、二次索引在S3上支持原始数据的同时为文件元数据编制目录”得到你需要的一致性。但随着规模增大,情况会变得越来越棘手。一般来说,只要二次索引能够处理所有的请求,它就会正常工作。不过,当你依赖两个独立系统时,数据丢失和性能冲击的风险会随之上升,他说。 

4. 开放式创新改变世界——OpenStack生态系统将重新洗牌

OpenStack基础软件开发周期长、投入大、技术创新转化成产品需要更多时间,超越公司的开放协作才有利于和促进产业繁荣发展。OpenStack能否成为继Linux之后开放式创新的又一成功案例呢?这个成立之初仅有两个基础模块的OpenStack,如今已发展成为拥有9个核心子项目(Havana)一系列孵化项目的庞大开源组织。吸引到了众多开源领域的专家加入,还有厂商们的大力追捧。


但是OpenStack确实给一些初创公司带来了很高的知名度以及投资机会,但基础软件开发周期长,投入大、见效慢,技术创新转化成产品需要更多时间,而现在还搞不清楚用户在哪里的初创公司已经逐渐失去往日的光辉。

5. 【产业观察】金山云总裁王育林:星星之火 可以燎原

AWS近期的入华,使得业界对于云计算服务的关注度飙升到了最高点,国内云计算供应商也纷纷祭出了“价格战”这尊法宝。然而王育林认为,在企业级市场,“价格战”很难真正奏效,让用户亲身体验服务的质量才是王道。

 

我并不看好亚马逊AWS在国内的发展情况。抛开数据安全和保密性不说,其根本不能真正适应国内的市场发展情况。在这方面,本地化资源成为了左右战局的“胜负手”。说到底,云计算服务是一种资源整合的快速反应能力。这些资源包括了用户资源和产业资源。在中国,实践证明金山云的开发者资源、阿里云的金融资源已经强大到足以助推整个平台的发展。 

6. 回顾2013:HBase的提升与挑战

回顾2013年,总结下这一年HBase在这么一年中发生的主要变化。影响最大的事件就是HBase 0.96的发布。代码结构已经按照模块化发布了,而且提供了许多大家迫切需求的特点:

1. Compaction优化
2. Mean Time To Recovery/MTTR优化
3. Bucket Cache (L2 cache on HBase)
4. Java GC改进
5. HBase的企业级数据库特性(Secondary Index、Join和Transaction)
6. PrefixTreeCompression
7. 其他变化

展望2014年,HBase即将release 1.0版本,更好的支持multi-tenancy, 支持Cell级别的ACL控制。

7. 利用ElasticSearch和Redis检索和存储十亿信息

如果从企业应用的生存率来看,选择企业团队信息作为主要业务,HipChat的起点绝非主流;但是如果从赚钱的角度上看,企业市场的高收益确实值得任何公司追逐,这也正是像JIRA和Confluence这样的智能工具制造商Atlassian于2012年收购HipChat的原因。

同时,或许你不知道的是,在Atlassian资源和人脉的帮助下,HipChat已经进入了一个指数增长周期。12亿的信息存储意味着他们现在每隔几个月的信息发送、存储和索引量都会翻一番。全文从统计、平台、产品、XMPP服务器架构、存储架构、常规、未来、经验教训等方面对HipChat做了全方位的介绍,即使HipChat没有谷歌那么大规模,我们仍能从中学到好东西,比如他们如何及时索引和搜索十亿信息。

8. 【CSDN云计算俱乐部】九城及携程的Hadoop大数据平台

随着移动互联网的发展,中国的手机网民已经接近6亿之巨,如此多设备带来的价值不言而喻,因此大家一直在谈论大数据,也一直在寻找更好的Hadoop使用途径,本期CSDN云计算俱乐部的主题就是围绕Hadoop展开的大数据掘金之路。2014年1月4日,CSDN云计算俱乐部在上海市第九城市信息技术有限公司培训室举办活动,本次活动的主题是“从Hadoop实践到基于业务的分析,开启你的数据掘金之路”。


来自九城技术部负责Hadoop的架构师,周诚带来的主题是“Hadoop大数据分析”,主要分享九城搭建的一个以Hadoop为基础的大数据平台,同时还分享了相关的具体案例。最后他还分享了九城的商品定向推荐功能。

下来进行主题分享的是来自于携程旅行网负责网站运营中心容量平台的周海燕,她带来的主题分享是“ctrip的web容量分析办法”。主要介绍了ctrip的容量规划任务,通过使用当前性能作为基线数据,评估以及预测系统需要什么资源,什么时候需要更多的资源。其中包括,基于周期性季节指数预测法的业务量预测,基于回归分析的web容量预测等。详细的PPT分享请点击原文链接。 


9-10. AWS会赢、OpenStack会消亡、Connected Cars可防僵尸攻击,Pivotal聘用eBay前副总裁,继续发力云计算市场,更多云计算热点,请继续关注CSDN云计算。(文/魏伟)

“DIY”可穿戴设备:索尼开放智能手表固件 在微软的八个月里,我学到了这些 谷歌实习生每月都拿$6000,你呢? 【第五届中国云计算大会】由瓦特变比特输出,新疆要做中亚云服务中心 应用程序扩展性实现的十宗罪 图文:看谷歌实习生的惬意生活 为移动而设计:交互设计篇 小米游戏中心月度报告:极品、神庙、找你妹 中科院:常温下的液态金属电路3D打印机 细数IE10里的HTML5特性 使用Twitter Bootstrap的五大理由 Twitter重塑API战略 开启V1.1时代 Sony开放SmartWatch 支持第三方定制固件 甩啦甩啦!Apptopia帮开发者在线买卖App所有权 聚焦全球移动市场:印度,这块肥肉不太肥 Google决定明年一月份停止对Chrome Frame支持与更新 你应该关注的几个Eclipse超酷插件 华为王丰:FusionCube打造下一代融合一体机 上海云人联合创始人吴朱华:中国人也能做出最好的实时数据库产品 Facebook RSS替代Google Reader?或因其社交属性失败 让这么多国外开发者如此兴奋,iOS 7到底好在哪里? Web开发中那些不招人“待见”的功能 最好的超级计算机在中国 为开发者提供的10款Web应用程序 5000万次下载:HandyGames如何征服Google Play? 红帽大战Ubuntu:750小时免费企业版红帽套餐即将登陆AWS EMC Sanjay Mirchandani:92%虚拟化,使更少IT人拥有更大交付能力 从NSA携谷歌、微软等9家名企监控用户行为看数据安全 【专访间】新科兰德创始人左磊:我们的“卖点”是“数据弹药” 甲骨文公司宣布推出最新Java EE 7 10款最佳CSS/jQuery开源图片说明 唉,又遇到一个研究生,那叫他妈的一个笨!! 脾气还贼他妈大! 有没有英文版的关于Information System 规划,设计和实施的教程?? 如何将DataGrid中的某一个Column用ComboBox表示? 怎样在edit中只显示分、秒? ******了解WaitCommEvent函数的请帮帮忙?***** 请问前辈哪里有PB 8初学的书籍下载,多谢 100分求助关于几个结构相同的DBF表合并的问题 送大家一礼物,得到ie版本与操作系统的function 从SUN收购事件看IT业的发展。 安装office2k的问题 一个update语句的问题。 jsp和mysql的问题小弟拜求再线等 请大家介绍几种检测内存溢出的软件,谢谢!(各种系统下的都行) 这是如何做的 我发的贴子没人来看呀,解决了,我把自己的分全给你!********** mysql远程连接的问题 为什么国内域名比国际的还贵呢? 是否继续当中型软件公司做程序员还是到小公司独当一面? vc7中的CDHtmlDialog值得用吗?请大家来讨论一下! 为什么国内域名比国际的还贵呢? 急急急,我又碰到大麻烦了!~? 在DOS环境下用什么命令来查看非文本文件内容,如在UNIX下的cat命令的功能,在线急等。。。 ★在软件中提供了自定义热键的功能,但是我如何判断该热键已被占用了呢??? 羽毛球爱好者,请进 入门:关于验证字已失效的问题 blob字段如何存取? 一个编程论坛 那位能给我一个qq号呀,我急用 liangdiantech@163.com 羽毛球爱好者,请进 请问哪里有Microsoft Application Center Test的相关资料?多谢 非常简单的问题!!! 轻松心态,远离非典! 在自己的机器上打不开联接 DataModule的问题(菜鸟级) 怎么把表中的列约束为唯一的? 一个编程论坛 从没见过的问题!!!晕了!! 安装问题,请指教! C++的应用是什么意思呢? 得到上传文件大小的问题,解决高分相送!! R6中的问题!高手请进!高分求救! 一个电子书籍下载和编程论坛 请问怎么在vb中调用纯c接口的api并实现多线程 如何在一个很大的文件中删除一段数据?不用拷贝的方法 the C++ programing language里的两个小问题!!! 找在没行带checkbutton的listbox控件类 我可怜的QQ被盗了~~有什么密码破译软件取回QQ的密码吗 VARIANT结构中,如何通过pvarVal指针来获得串口传来的二进制流?? 天啊,这就是《程序员》? 编译java程序需要哪些工具,菜鸟提问. how to use *.pak?? 曝汪峰或哈林明年退出好声音 女导师不停摆还卖票3万人受困 台高铁再“出包民进党台北市长初选 五月天主唱阿信被田径队进行备战里约动员 刘翔红军装亮瞭望:把巩固党的执政基础作为政治责任儿子常在小区网吧过夜 其母向警方投诉广东400村官旁听贪贿案庭审 纪委书经济复苏强于预期 10月PMI创18柯文哲批民进党“乱邦” 苏贞昌:不必苗族大妈不识总书记:“怎么称呼您?”台湾花莲发生4.7级地震 民众再度心香港名医庄善春捐资120万修建华侨大16秒26 温州女生刘伊玮单手还原魔温州一对母女裸死出租房内 腿部有烧焦浙江大学教授演示神奇“隐身衣” 鱼缸上周末金华16个监测点 11个点空气婴儿注射疫苗险丧命 “疫苗后遗症”家浙江多举措扶持小微企业浙江商品房销售增幅下降上海总价地王刺激周边二手房 两月单价朴槿惠出席法国韩剧派对 当地民众热情钼镁等小金属价格持续上涨 相关公司望餐饮业开发APP客户端转型O2O电商5大券商周四看好6板块40股周边局势持续紧张 台海关系面临转折 机器人新能源汽车等高端装备发展工程将券商评级:暴跌难掩抄底潮 12股绝对沪指再度杀跌 创业板重挫3%一大利空突袭A股 两大思路应对急跌天顺股份5月19日申购指南 顶格申购实力肉盾大翻身 圣战神使用姿势中美汽车文化摄影展在北京汽车博物馆盛三胖发型里的秘密信用贷款还不上怎么办?2016年东莞东城人才就业创业奖励措开封交运集团钢材市场积极做好安全生产入夏后天长夜短三条睡眠建议有助改善精涵鑫国际相亲会所盛装开业开封训犬师王柳生的爱犬\"惊蛰\"获保安因拒请客打死保安队长 两被告公司英女子贪便宜隆胸 一周后左胸爆炸消失济南公交女色狼再度现身:向驾驶员求抱
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘