说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

一周云热点:Google打造云中Hadoop便捷版,强势对抗AWS

HTML文档下载 WORD文档下载 PDF文档下载
春节的脚步越来越临近,年味越来越浓,在这喜庆的日子即将到来之际,云计算市场也热闹非凡,又是一个周末,本周云计算市场究竟发生了哪些吸引眼球的事,下面我们将为大家梳理本周的重点关注。

上周云计算领域的热点非Spark莫属,本周,我们云计算又有哪些热点新闻呢?

1. Google打造云中Hadoop便捷版,强势对抗AWS

上周,Google为其Google Cloud Platform增加了Hadoop 连接器,这样开发人员现在已经能够很轻松的在Google计算虚拟机上进行Hadoop操作了,Google Cloud Storage Hadoop的预览版将使开发人员不用再花大力气去管理集群和文件系统。在此领域,Google和AWS的竞争将更加激烈。


下图是Hadoop在Google Cloud Platform上的图解。在Google Cloud Storage上存储数据时HDFS、NameNode是可选的。 

下面是用Google Cloud Storage运行Hadoop的优势:

兼容性:Google Cloud Storage connector for Hadoop 代码兼容Hadoop。
快速启动:当数据复制到HDFS以及NameNode,你不必等待过长时间来结束安全模式。
更高的可用性和可扩展性: Google Cloud Storage比HDFS具有更高的可用性。
低成本:包括存储和计算两方面都节省成本,同时,它是以分钟计费。
没有存储管理开销:Google Cloud Storage只需要为计算付费。
互通性:通过在Google Cloud Storage保管数据,你可以从Google上其它的服务中获益。
性能:由于有了Google Cloud Storage,Google的基础设施将会比HDFS提供更高的性能

2. 平均比Hive快24倍,Impala剑指Stinger

在YARN之前,Hadoop仅适用于离线处理场景。基于实时性的需求,各个机构纷纷研发了自己的流处理框架,这次我们说的是两SQL-on-Hadoop项目的对决,同时也是两家知名Hadoop解决方案提供商的比拼——Impala vs. Stinger。

测试对比版本是 Impala 1.1.1与 Hive 0.12(集成了Stinger),Hive运行在ORCFile 数据集之上,Impala 则使用了Parquet存储相同的数据。为了让Hive得到最佳性能,Cloudera还将TPC-DS查询转换成SQL-92 join,并且手动优化了join顺序,指定了分区字段,Impala也做了同样的优化。数据大小是3TB,使用了典型的5 Hadoop数据节点配置。查询也使用了多种类型,也包含了多种标准join及聚合,还使用了复杂的多级聚合和子查询。


测试得出的结果是Impala比Hive快6-69倍不等,类型包括以下几种: 


3. Netflix开源S3一致性提升利器S3mper Fi

上周,Netflix开源了S3mper,这对那些在使用AWS S3存储服务,而且想要更高数据一致性的用户来说,绝对是个好消息。这一次,它的开源S3mper库已经经过优化和测试,这样可以确保在AWS巨大的S3存储服务里有更好的数据存储一致性。S3mper遵循Apache License 2.0。这对利用S3进行大量批处理以及对一致性要求很苛刻的金融或医疗领域会非常有用。

需要更好的一致性可以采用二次索引“在S3上支持原始数据的同时编制文件元数据目录,” Weeks 写道。但他同时表示这可能有问题。他说,在小范围里,你可以通过使用“一致的、二次索引在S3上支持原始数据的同时为文件元数据编制目录”得到你需要的一致性。但随着规模增大,情况会变得越来越棘手。一般来说,只要二次索引能够处理所有的请求,它就会正常工作。不过,当你依赖两个独立系统时,数据丢失和性能冲击的风险会随之上升,他说。 

4. 开放式创新改变世界——OpenStack生态系统将重新洗牌

OpenStack基础软件开发周期长、投入大、技术创新转化成产品需要更多时间,超越公司的开放协作才有利于和促进产业繁荣发展。OpenStack能否成为继Linux之后开放式创新的又一成功案例呢?这个成立之初仅有两个基础模块的OpenStack,如今已发展成为拥有9个核心子项目(Havana)一系列孵化项目的庞大开源组织。吸引到了众多开源领域的专家加入,还有厂商们的大力追捧。


但是OpenStack确实给一些初创公司带来了很高的知名度以及投资机会,但基础软件开发周期长,投入大、见效慢,技术创新转化成产品需要更多时间,而现在还搞不清楚用户在哪里的初创公司已经逐渐失去往日的光辉。

5. 【产业观察】金山云总裁王育林:星星之火 可以燎原

AWS近期的入华,使得业界对于云计算服务的关注度飙升到了最高点,国内云计算供应商也纷纷祭出了“价格战”这尊法宝。然而王育林认为,在企业级市场,“价格战”很难真正奏效,让用户亲身体验服务的质量才是王道。

 

我并不看好亚马逊AWS在国内的发展情况。抛开数据安全和保密性不说,其根本不能真正适应国内的市场发展情况。在这方面,本地化资源成为了左右战局的“胜负手”。说到底,云计算服务是一种资源整合的快速反应能力。这些资源包括了用户资源和产业资源。在中国,实践证明金山云的开发者资源、阿里云的金融资源已经强大到足以助推整个平台的发展。 

6. 回顾2013:HBase的提升与挑战

回顾2013年,总结下这一年HBase在这么一年中发生的主要变化。影响最大的事件就是HBase 0.96的发布。代码结构已经按照模块化发布了,而且提供了许多大家迫切需求的特点:

1. Compaction优化
2. Mean Time To Recovery/MTTR优化
3. Bucket Cache (L2 cache on HBase)
4. Java GC改进
5. HBase的企业级数据库特性(Secondary Index、Join和Transaction)
6. PrefixTreeCompression
7. 其他变化

展望2014年,HBase即将release 1.0版本,更好的支持multi-tenancy, 支持Cell级别的ACL控制。

7. 利用ElasticSearch和Redis检索和存储十亿信息

如果从企业应用的生存率来看,选择企业团队信息作为主要业务,HipChat的起点绝非主流;但是如果从赚钱的角度上看,企业市场的高收益确实值得任何公司追逐,这也正是像JIRA和Confluence这样的智能工具制造商Atlassian于2012年收购HipChat的原因。

同时,或许你不知道的是,在Atlassian资源和人脉的帮助下,HipChat已经进入了一个指数增长周期。12亿的信息存储意味着他们现在每隔几个月的信息发送、存储和索引量都会翻一番。全文从统计、平台、产品、XMPP服务器架构、存储架构、常规、未来、经验教训等方面对HipChat做了全方位的介绍,即使HipChat没有谷歌那么大规模,我们仍能从中学到好东西,比如他们如何及时索引和搜索十亿信息。

8. 【CSDN云计算俱乐部】九城及携程的Hadoop大数据平台

随着移动互联网的发展,中国的手机网民已经接近6亿之巨,如此多设备带来的价值不言而喻,因此大家一直在谈论大数据,也一直在寻找更好的Hadoop使用途径,本期CSDN云计算俱乐部的主题就是围绕Hadoop展开的大数据掘金之路。2014年1月4日,CSDN云计算俱乐部在上海市第九城市信息技术有限公司培训室举办活动,本次活动的主题是“从Hadoop实践到基于业务的分析,开启你的数据掘金之路”。


来自九城技术部负责Hadoop的架构师,周诚带来的主题是“Hadoop大数据分析”,主要分享九城搭建的一个以Hadoop为基础的大数据平台,同时还分享了相关的具体案例。最后他还分享了九城的商品定向推荐功能。

下来进行主题分享的是来自于携程旅行网负责网站运营中心容量平台的周海燕,她带来的主题分享是“ctrip的web容量分析办法”。主要介绍了ctrip的容量规划任务,通过使用当前性能作为基线数据,评估以及预测系统需要什么资源,什么时候需要更多的资源。其中包括,基于周期性季节指数预测法的业务量预测,基于回归分析的web容量预测等。详细的PPT分享请点击原文链接。 


9-10. AWS会赢、OpenStack会消亡、Connected Cars可防僵尸攻击,Pivotal聘用eBay前副总裁,继续发力云计算市场,更多云计算热点,请继续关注CSDN云计算。(文/魏伟)

Hike副总裁杜中强:携手阿里云OS,拥抱云时代 玩蟹科技CEO叶凯:手游和云计算的合作相得益彰 倒计时20天!金玩奖各大奖项花落谁家由你主宰 宅男程序员福利:来自纽约的28位智慧与美貌并存的IT女神 创季度记录:苹果发布第四季财报 iPhone仍是苹果商业心脏 在破晓中行走:一位盲人开发的盲人应用 腾讯云俱乐部成都站——云时代手游开发:用数据说话 首届微App峰会将在MDCC2013上举行 微信易信百度新浪等平台开发商云集 TUP Masters第七期:C++大师Lippman论编程新范式Hugo OpenCL用于13个微型计算机领域的经典案例 从测试数据来看Node.js和Java EE的性能区别 工作效率低下?业内人士建议你切勿追求完美 Mozilla发布可视化在线跟踪工具Lightbeam 望向海外:十大移动应用开发外包公司 Facebook支撑万亿Post搜索背后的技术窥探 云OS:共创智能化生态圈 云计算,让游戏世界更加精彩 360推儿童卫士手环,你怎么看? 量产谈判正在进行时:谷歌手表或比Google Glass先上市 Mozilla发布新版Firefox 25 提供支持Web Audio API UC产品总裁何小鹏:轻应用,做什么?怎么做? 高德携手阿里云发布“LBS云”,账户打通只是第一步 最后2天!2013移动开发者大会5折抢票倒计时 大数据如何改变在线广告业? 摩托罗拉推开源硬件平台计划Project Ara 七个垂手可得的敏捷开发工具 微信新版公众平台调整细节381处 300/次认证费引争议 libgit2:纯C语言实现的Git开发包 MongoDB的得与失 开箱即用!Android四款系统架构工具 谁说Kinect只是玩物?微软研究院使用它实现口语手语实时翻译 怎样在vc中使用嵌入式SQL 为什么已指向一个窗体的指针还是空指针!!!!!!!!!急 怎么样安装Exchange Server 2000的SP 学习JAVA,可以?????????? 解释脚本,(百分向送!)急急急!!!!!!!!!!!!! 请教,如何将英文IE改为中文的 masm的版本是6.11是不是就是masm32v6之类的东西呀?还有一个masm32v7,想学汇编是不是有了一个就可以了呀? 高分救命啊[急]200分在线等待 请你帮帮忙 如何设定属性页的大小? EXCHANGE 2000 SERVER的怪问题?! 等值线算法及源程序 如何使用VB访问MySQL数据库? 哪位大哥帮帮忙(跟贴有分),小问题,vb里怎样调用vc的动态库,还有为什么vc生成的Dll文件不好用regsvr32注册 急需解决的问题!一个向数据库写入时间数据的问题!多谢高手指教!100分! @@@谁有我郁闷???@@@ 应用cdo编程,怎样获得任意公用文件夹的FolderID 移动文件 DataSource的问题 cookie的问题 我学C语言有一段时间了但我发现没有什么成果?? 我想做一个象MSN类似的界面,请教各位应该怎么整啊? 简单的textbox控件问题,再次散分了! 有一个1024K*32位的存储器,由128K*8位的DRAM芯片构成,看下面对吗? colordialog的问题 win98窗口上的最大化最小化按钮变成了数字 请问,如何以编程的方式创建SQL server的实例的? 请问“[System.ComponentModel.DesignerCategory("Code")]的意义? table1.FieldbyName('Company').asstring:= ExpandFileName (filelistbox1.filename); 网卡使用的问题!在线等候 会c/s的高手请帮忙! 为什么我的winme关机后在开机总是要检查磁盘,可是我是正常关机呀,烦死我了。谁能解决给100分。 各位高高手,有没有MS SQLServer6.5的JDBC驱动?救人一命胜造十级**,忘了咋说的了. 大家给我解答我不会用,请再帮帮忙(前后贴200分一起结,谢谢) 在一个dataset中,对于不是主键的列中的值如何进行查询? 星球大战前传2:美国人全面攻击 有谁知道在哪有IIS6.0下载呢 请问在mysql中怎么建立自动增加的字段呢 , 好想在mysql中没有那么强大的工具。 请问哪里可以下载中文的windows Media Player SDK? 高分求助 数据备份 为什么Access中排序顺序不正确?<在线等待> 在菜单中增加CIMAGELIST中的位图,这样写对吗? 为什么受伤的总是我?只因为我是菜鸟??? 寻一个asp.net(codebehind)实现的数据库访问的demo sybase事务处理的问题 我的程序用的Access,,运行时出现“无法为更新引集定位:一些值可能已在最后读取后改变”什么原因? 怎样加大在sql server中存储图片字段的大小 这回真的是“高手请进”了!!!! 求救,javabean编译问题?? 如何获取Dispatch接口中的事件? 小小问题:如何清空用ADO连接的数据库表中的记录 大家由没有碰到这样的问题? 蔗糖与甘蔗有何区别 白菜、甘蓝均为二倍体,体细胞染色体数目分别为20、18.二倍体“白菜-甘蓝”的染色体数为为什么 红曲粉怎么用 下列涉及化学变化的是 房屋倒塌 山体滑坡 树林失火 树枝折断 萝卜的体细胞内有9对染色体,白菜的体细胞有9对染色体,现将萝卜和白菜杂交,培育出能 开花结籽的新作物,这种作物最少应有多少染色体?A.9 B.18C.36D.72我的问题是:为什么不是同源染色体联会 硫酸铵可以使蛋白质盐析吗 森林起火是物理变化还是化学变化 判断有机物的碳原子是否共面,老师说可以把一些类比成甲烷,乙稀,笨那些,但是怎样类比啊,字数有限制,写在这里,我的疑问是,就好像2个碳原子是碳碳双键的,他们是共面,那碳原子再连接的其 1mol/L的HNO3是浓的还是稀的?怎么看的啊..还有那个浓硫酸还是稀硫酸怎么根据量浓度来区分呢? 下列属干化学变化的是A粗盐提纯B葡萄酿酒C冰雪融化D酒精挥发 有机物中碳、氢原子个数比为1:4,则该有机物为CH4这句话怎么错了 我的世界手机版生存版红石电路怎么弄 铁与稀硫酸化学方程式 什么和碘气反应会形成氧气不知道有没有这种反应- - (1/2)两支一样高的蜡烛,同时点燃后,第一支蜡烛每小时缩短八厘米.第二支蜡烛每小时缩短六厘米,两小...(1/2)两支一样高的蜡烛,同时点燃后,第一支蜡烛每小时缩短八厘米.第二支蜡烛每小时缩 我国正值隆冬季节,巴西高原是 A、干季 B、湿季 C、春季 D、冬季 有机化合物中碳原子的成键特点它的特点是什么,谁能给我总结一下 有两根蜡烛,第一根长8厘米,第二根长6厘米,燃烧了一段时间后第二根是第一根的五分之三,燃烧了多少厘米(用方程解, 体细胞杂交获得的“白菜-甘蓝”可育, 碘气的化学性质是什么?它是否有毒?是否易燃?使用的时候都应该注意什么? 1、2支一样高的蜡烛,同时点燃后,第一支蜡烛每小时缩短8cm第二支蜡烛每小时缩短6cm.2小时后,第二支蜡烛的高度是第一字蜡烛的1.5倍.求二支蜡烛原来的高度?在1中,是否存在一个时刻,第一支蜡 白菜-甘蓝杂交细胞可育否有人说联会紊乱不可育(此版本我觉得很有理的呀)可还有人说有同源染色体,所以可育,求解啊 低盐时为什么能提高蛋白质的溶解度 2支同高的蜡烛同时点燃第一支每小时短8厘米第二支短6厘米2小时后第二支是第一支2支同高的蜡烛同时点燃第一支每小时短8厘米第二支短6厘米2小时后第二支是第一支的1.5倍求原来的高度 , 电单车铅酸电池充电出了问题今天给电单车电池充电,可能是在把电池提出来的时候 把电池前后倾斜了一下,等到插上充电器的时候,充电器就显示已经充满了,无奈,就把电池前后晃了一下,发现 蛋白质在氯化钠中的溶解度 什么是红曲红、亚硝酸钠. 48v铅酸电池充电时能开关(电动车上的电源)吗 不同浓度的中性盐溶液对蛋白质的溶解性有什么影响、特点和用途 2蔬菜.3白菜.4植物.排列顺序 三种化合物:CH4 C2H6 C2H2若碳的质量相同时,则氢元素的质量比是? 蜡烛燃烧时,剩下的长度y(厘米)是燃烧时间x(小时)的一次函数现测得蜡烛燃烧1小时后其长度为15厘米,燃烧2小时后其长度为10厘米.(1)写出 y 与 x 的函数关系式;(2)蜡烛原来长多少?(3 还有其他的物理方法帮助高烧病人降温吗原理是什么 电动车铅酸电池充电时间问题刚买了辆电动车,第一次充电要充多久?是不是要等完全没电了才充电?在日后的充电中,勤充电对电池的影响大还是等电用完了再充电? 白菜甘蓝是不是多倍体育种RT 请问哪位大侠知道在蔬菜甘蓝上怎样使用植物生长调节剂 2,4D 提高甘蓝的产量吗 具体怎么使用啊 电动车铅酸电池充电问题新车显示满电,骑了之后剩80%的时候我充电,这是第一次充电,充了大概8个小时,不知道有没有充满,别人帮我拔下充电器的.有几个问题:我在电量剩下80%的时候充电 白菜-甘蓝植株不可育的原因?白菜,甘蓝体细胞染色体数目分别为20、18,经处理后等到二倍体植株不可育.那如果是两个均为二倍体,体细胞染色体数均为20的两不同生物植株得到的二倍体后代 高烧病人用冰袋降温是利用了什么物理现象 听说铅酸电池充电时会产生酸雾.我现在用的电动车是铅酸电池.在家里充电.会产生酸雾吗.我怕影响健康是电动自行车 地下水中含硝量重,对人体有哪些危害家乡有一个矿山,从矿山里挖也的矿渣堆在外面用水淋,淋后的水浸入地下,因此地下水含硝量很重,村里人都是吃地下水,还有些是直接饮用,或者用来做饭、 高热病人常用的物理降温方法有哪些 请大家帮帮看看,我这老款的立马电动车的电机这里加什么油? 我的世界手机版有没有红石电路 高热病人用冰袋降温是什么物理现象 植物体细胞杂交得出的融合细胞为什么是四倍体 我的世界怎么做红石电路? 声波具有的能量叫什么能?如何计算声波的能量高低? 由乙烯和乙醇组成的混合气体中,若碳元素质量分数为60%,则氧元素的质量分数为?A、15.6% B、26.7% C、30% D、无法确定 红曲粉上色?我想问下用红曲粉上色到底是怎么个加法,因为我是做卤菜的,才刚学会没多久,是多少水放多少红曲粉呀,还有就是该什么时候放最好呀?那要不要等到东西快熟的时候倒,还是泡好就 用双氧水再用酒精再用双氧水擦伤口有害吗?不小心弄伤了皮肤,有点出浓,我用双氧水擦过了,之后又用酒精擦了,现在又用双氧水擦,请问对伤口有好处吗? 由乙烯和乙醇组成的混合气体,经测定其中碳元素的质量分数为72%,则氧元素的质量分数为? 什么是红曲粉?它是什么成分?产地?用途?作用? 先擦酒精 还是双氧水啊 一天擦几次 什么是温度和溶解度之间的关系? 哪里有买红曲粉?用于做叉烧的红曲粉. 胡萝卜、鸡蛋和咖啡豆的问题当胡萝卜、鸡蛋、咖啡豆同样进入煮沸的开水中时,它们会发生怎样的变化,分别象征着怎样的人生态度? 用甘蔗榨糖,7.5吨甘蔗榨出0.9吨糖,要榨12吨糖需要多少甘蔗? 如何使用红曲粉 我用过期的过氧化氢溶液清洗伤口了...
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘