说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

一周云热点:Google打造云中Hadoop便捷版,强势对抗AWS

HTML文档下载 WORD文档下载 PDF文档下载
春节的脚步越来越临近,年味越来越浓,在这喜庆的日子即将到来之际,云计算市场也热闹非凡,又是一个周末,本周云计算市场究竟发生了哪些吸引眼球的事,下面我们将为大家梳理本周的重点关注。

上周云计算领域的热点非Spark莫属,本周,我们云计算又有哪些热点新闻呢?

1. Google打造云中Hadoop便捷版,强势对抗AWS

上周,Google为其Google Cloud Platform增加了Hadoop 连接器,这样开发人员现在已经能够很轻松的在Google计算虚拟机上进行Hadoop操作了,Google Cloud Storage Hadoop的预览版将使开发人员不用再花大力气去管理集群和文件系统。在此领域,Google和AWS的竞争将更加激烈。


下图是Hadoop在Google Cloud Platform上的图解。在Google Cloud Storage上存储数据时HDFS、NameNode是可选的。 

下面是用Google Cloud Storage运行Hadoop的优势:

兼容性:Google Cloud Storage connector for Hadoop 代码兼容Hadoop。
快速启动:当数据复制到HDFS以及NameNode,你不必等待过长时间来结束安全模式。
更高的可用性和可扩展性: Google Cloud Storage比HDFS具有更高的可用性。
低成本:包括存储和计算两方面都节省成本,同时,它是以分钟计费。
没有存储管理开销:Google Cloud Storage只需要为计算付费。
互通性:通过在Google Cloud Storage保管数据,你可以从Google上其它的服务中获益。
性能:由于有了Google Cloud Storage,Google的基础设施将会比HDFS提供更高的性能

2. 平均比Hive快24倍,Impala剑指Stinger

在YARN之前,Hadoop仅适用于离线处理场景。基于实时性的需求,各个机构纷纷研发了自己的流处理框架,这次我们说的是两SQL-on-Hadoop项目的对决,同时也是两家知名Hadoop解决方案提供商的比拼——Impala vs. Stinger。

测试对比版本是 Impala 1.1.1与 Hive 0.12(集成了Stinger),Hive运行在ORCFile 数据集之上,Impala 则使用了Parquet存储相同的数据。为了让Hive得到最佳性能,Cloudera还将TPC-DS查询转换成SQL-92 join,并且手动优化了join顺序,指定了分区字段,Impala也做了同样的优化。数据大小是3TB,使用了典型的5 Hadoop数据节点配置。查询也使用了多种类型,也包含了多种标准join及聚合,还使用了复杂的多级聚合和子查询。


测试得出的结果是Impala比Hive快6-69倍不等,类型包括以下几种: 


3. Netflix开源S3一致性提升利器S3mper Fi

上周,Netflix开源了S3mper,这对那些在使用AWS S3存储服务,而且想要更高数据一致性的用户来说,绝对是个好消息。这一次,它的开源S3mper库已经经过优化和测试,这样可以确保在AWS巨大的S3存储服务里有更好的数据存储一致性。S3mper遵循Apache License 2.0。这对利用S3进行大量批处理以及对一致性要求很苛刻的金融或医疗领域会非常有用。

需要更好的一致性可以采用二次索引“在S3上支持原始数据的同时编制文件元数据目录,” Weeks 写道。但他同时表示这可能有问题。他说,在小范围里,你可以通过使用“一致的、二次索引在S3上支持原始数据的同时为文件元数据编制目录”得到你需要的一致性。但随着规模增大,情况会变得越来越棘手。一般来说,只要二次索引能够处理所有的请求,它就会正常工作。不过,当你依赖两个独立系统时,数据丢失和性能冲击的风险会随之上升,他说。 

4. 开放式创新改变世界——OpenStack生态系统将重新洗牌

OpenStack基础软件开发周期长、投入大、技术创新转化成产品需要更多时间,超越公司的开放协作才有利于和促进产业繁荣发展。OpenStack能否成为继Linux之后开放式创新的又一成功案例呢?这个成立之初仅有两个基础模块的OpenStack,如今已发展成为拥有9个核心子项目(Havana)一系列孵化项目的庞大开源组织。吸引到了众多开源领域的专家加入,还有厂商们的大力追捧。


但是OpenStack确实给一些初创公司带来了很高的知名度以及投资机会,但基础软件开发周期长,投入大、见效慢,技术创新转化成产品需要更多时间,而现在还搞不清楚用户在哪里的初创公司已经逐渐失去往日的光辉。

5. 【产业观察】金山云总裁王育林:星星之火 可以燎原

AWS近期的入华,使得业界对于云计算服务的关注度飙升到了最高点,国内云计算供应商也纷纷祭出了“价格战”这尊法宝。然而王育林认为,在企业级市场,“价格战”很难真正奏效,让用户亲身体验服务的质量才是王道。

 

我并不看好亚马逊AWS在国内的发展情况。抛开数据安全和保密性不说,其根本不能真正适应国内的市场发展情况。在这方面,本地化资源成为了左右战局的“胜负手”。说到底,云计算服务是一种资源整合的快速反应能力。这些资源包括了用户资源和产业资源。在中国,实践证明金山云的开发者资源、阿里云的金融资源已经强大到足以助推整个平台的发展。 

6. 回顾2013:HBase的提升与挑战

回顾2013年,总结下这一年HBase在这么一年中发生的主要变化。影响最大的事件就是HBase 0.96的发布。代码结构已经按照模块化发布了,而且提供了许多大家迫切需求的特点:

1. Compaction优化
2. Mean Time To Recovery/MTTR优化
3. Bucket Cache (L2 cache on HBase)
4. Java GC改进
5. HBase的企业级数据库特性(Secondary Index、Join和Transaction)
6. PrefixTreeCompression
7. 其他变化

展望2014年,HBase即将release 1.0版本,更好的支持multi-tenancy, 支持Cell级别的ACL控制。

7. 利用ElasticSearch和Redis检索和存储十亿信息

如果从企业应用的生存率来看,选择企业团队信息作为主要业务,HipChat的起点绝非主流;但是如果从赚钱的角度上看,企业市场的高收益确实值得任何公司追逐,这也正是像JIRA和Confluence这样的智能工具制造商Atlassian于2012年收购HipChat的原因。

同时,或许你不知道的是,在Atlassian资源和人脉的帮助下,HipChat已经进入了一个指数增长周期。12亿的信息存储意味着他们现在每隔几个月的信息发送、存储和索引量都会翻一番。全文从统计、平台、产品、XMPP服务器架构、存储架构、常规、未来、经验教训等方面对HipChat做了全方位的介绍,即使HipChat没有谷歌那么大规模,我们仍能从中学到好东西,比如他们如何及时索引和搜索十亿信息。

8. 【CSDN云计算俱乐部】九城及携程的Hadoop大数据平台

随着移动互联网的发展,中国的手机网民已经接近6亿之巨,如此多设备带来的价值不言而喻,因此大家一直在谈论大数据,也一直在寻找更好的Hadoop使用途径,本期CSDN云计算俱乐部的主题就是围绕Hadoop展开的大数据掘金之路。2014年1月4日,CSDN云计算俱乐部在上海市第九城市信息技术有限公司培训室举办活动,本次活动的主题是“从Hadoop实践到基于业务的分析,开启你的数据掘金之路”。


来自九城技术部负责Hadoop的架构师,周诚带来的主题是“Hadoop大数据分析”,主要分享九城搭建的一个以Hadoop为基础的大数据平台,同时还分享了相关的具体案例。最后他还分享了九城的商品定向推荐功能。

下来进行主题分享的是来自于携程旅行网负责网站运营中心容量平台的周海燕,她带来的主题分享是“ctrip的web容量分析办法”。主要介绍了ctrip的容量规划任务,通过使用当前性能作为基线数据,评估以及预测系统需要什么资源,什么时候需要更多的资源。其中包括,基于周期性季节指数预测法的业务量预测,基于回归分析的web容量预测等。详细的PPT分享请点击原文链接。 


9-10. AWS会赢、OpenStack会消亡、Connected Cars可防僵尸攻击,Pivotal聘用eBay前副总裁,继续发力云计算市场,更多云计算热点,请继续关注CSDN云计算。(文/魏伟)

为Canvas而生:开源2D HTML5渲染引擎CutJS 第九届中国互联网创业者大会在京举办 腾讯发布“三驾马车”组合拳产品 入手Beats,苹果史上最大手笔收购为哪般? Gmail有生以来最大手术 全新设计曝光 Python开发者最常犯的10个错误 博康智能副总裁张善海:活化运用大数据 实现传统交通系统间的数据融合和共享 刘刚:从互联网到传统行业 Hadoop发展迅猛! OpenFlow多级流表在云计算网络中的应用 分享大数据最佳落地实践 助力企业数据驱动型转型 怎样成为优秀的产品经理? Google发布新版AdMob 将在更多市场推出 触控ARM“结连理”,Cocos2d-x性能提速70% Per Brashers:智能、能耗、安全将是未来数据中心发展的关键! 梁博:OpenStack已在IaaS层面扮演重要角色 云计算三大主流阵营的竞争与合作 如何使用15美元每月的机器实现百万文档检索 外媒路透社:小米本周四发布首款平板电脑,八九不离十 移动支付帝国战:谷歌、苹果、Facebook、亚马逊孰胜孰负? 十大响应式Web设计框架 Giraph助力Facebook打造亿万用户间关系链 跪求出名:让应用在App Store中出人头地的12种方式 束文辉:Intel如何玩转OpenStack Facebook社交业务进军中国内地,困难重重 《近匠》透镜:代码级定位,让App性能监控更从容! 联想移动与云新战略 重点深耕企业移动方案 美国高通公司在深圳召开参考设计及无线创新峰会 提供“一站式”整合服务 友盟正式推出消息推送平台 iOS 8新功能再曝光:或推出分屏多任务功能 Framer:开源原型设计工具,巨头们的心头好 亚特兰大峰会精彩看点:软件吞噬世界,OpenStack是变革核心 数据中心基础设施是大数据战略成败的关键 请各位帮助 如何得到开机时间? 我想把smalldatetime类型显示为“yyyy_mm_dd 00:00:00” 急须一个完全免费的MP3刻录软件 怎样修改xml的节点的值? Tabpage(子项)可以改变颜色,但Tabcontrol(父项)改变不了颜色。高手帮忙。 MM说:“你可真够没良心的!”! (邀请水园MM请参与) 测试流程! 在用ADO时如何判断在所取得的记录中,值为null的的情况 急(送100分):多个image控件如何用imagexxx使用? 关于数组的问题。 Weblogic 死锁的问题 想到亚信去,请各位兄台给点建议!(有分!) 请问能不能用System.Drawing对象在一个页里里画多张图? 索引和自增字段 关于对话框? 求能人?或给思路 请问哪儿有Lotus Notes C API的教程?以及要进行编程必须进行哪些配置? 100分求助:怎麼判斷數據庫服務器存在與否? JUnit重复测试的问题 请问一个hyperlink简单问题 求助:datagrid中控件事件的使用问题? 在C中写文件的内容,在线等待!!! 装了linux后,我的win2000和linux的时间老是都不对了 如果结束会话 如何送分呀? 谁有这个文档的中文资料,谢谢,高分奉送!!! 急!!!请问系统恢复盘的问题! 自定义数据类型如何定义?(数组) dw疑问 请问一下,李维的哪几本书比较好,我有VC基础,想学学DELPHI,望各位给个建议谢谢! jbuild好用吗? 怎样将一个单值的String类型赋给char类型的变量? 哪位有实现(首页 上一页 下一页 末页)的例子? 对话框?求救? 高手看过来,超难问题,高分求解!!!!!分不够,再加~!!! 关于VB中DataGrid控件挂ADO的问题,我想程序中运行时,改变ADO的RecordSoure,并希望DataGrid显示时动态更新? 怎样读懂msdn中的英语 最近我们将用C语言开发一个接口快帮我哦~~~~~~~~~~ 关于socket.setSoTimeout()的问题,请进,请进…… 一个小问题帮我看看该怎样写!!! 百分询问一个问题,哪里有JBUILDER的电子图书下载? 拷贝内存时出现的问题! 拼音加加输入法是我用国的的最好的输入法,可是遇到了一点问题 我要支持MP3的JAVA JMF包文件(FOR POCKET PC),谁有阿???50分 为什么GETDATE()在自定义函数中不能使用 请问EXEC()语句是 执行完后返回? 未来在哪里?---献给大多数人 那里有使用Analysis Service进行数据挖掘方面的例子! 关于程序的输出 在数据窗口中RETRIEVE的参数是DATETIME型如何写这个参数//.. 温州限购令引质疑 政府称未违反国务院杭州本地蔬菜受干旱影响减产 价格波动杭州明起下雨最高温或跌35℃ 双台风浙江今年高温达44天 已人工降雨25上半年杭产食品合格率超9成 考虑建设下周气温或跌破35℃ 降水可能性不大台风“潭美”正在孕育 今起影响浙东沿毒贩不识字 子女指导父亲用银行卡汇毒杭州市组织企业为300户孤寡老人送月农业用电受干旱影响 杭州电力部门紧急高考第三批平行志愿首轮投档 24日结双台风周一或登陆浙江 未来多阵雨受台风影响 京广铁路途经杭州的部分列盘点四个方向去杭州东站枢纽最快攻略杭严格落实八项规定 公务接待费同比下杭州地铁2号线中河路站23日开始迁管杭州复兴路与西湖隧道近日封闭施工杭州公园地下停车库试营业 价格贵居民东海低压带来久违的雨水 高温得到一定浙医二院解放路佑圣观路口要造人行天桥杭州三江两岸规划建设31个旅游码头 伸缩汽车?你以为你是变形金刚啊!一个日本人看完抗日神剧,居然笑了!Baidu Inside,能否成为智圣基茨护照无移民监!无语言要求!无需降速都是骗人的 t7猎上分依旧飞速从全新英朗看别克如何建立营销新触点科学家成功将熟鸡蛋变生鸡蛋:能治疗癌Bungie将封停命运挂机玩家 资料必维2014年首场IBR研讨会圆满结玩家分享大话手游PK系统规则和流程女人一生从不洗澡!探访神奇的纳米比亚TUV南德助衡器出口认证通关跨境电商B2B首批货物“出海” 外贸Elon Musk :我觉得我就是位桂由美 (Yumi Katsura)娱乐节目今起停播 TFBOYS将在抗龙蟠润滑油风靡北京车展后市场:很多入口其实是虎口!南京路边炒饭火了,“燃点”是什么?以手机为节点众包3G及4G网络,2B韩式炸酱面
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘