说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

一周云热点:Google打造云中Hadoop便捷版,强势对抗AWS

HTML文档下载 WORD文档下载 PDF文档下载
春节的脚步越来越临近,年味越来越浓,在这喜庆的日子即将到来之际,云计算市场也热闹非凡,又是一个周末,本周云计算市场究竟发生了哪些吸引眼球的事,下面我们将为大家梳理本周的重点关注。

上周云计算领域的热点非Spark莫属,本周,我们云计算又有哪些热点新闻呢?

1. Google打造云中Hadoop便捷版,强势对抗AWS

上周,Google为其Google Cloud Platform增加了Hadoop 连接器,这样开发人员现在已经能够很轻松的在Google计算虚拟机上进行Hadoop操作了,Google Cloud Storage Hadoop的预览版将使开发人员不用再花大力气去管理集群和文件系统。在此领域,Google和AWS的竞争将更加激烈。


下图是Hadoop在Google Cloud Platform上的图解。在Google Cloud Storage上存储数据时HDFS、NameNode是可选的。 

下面是用Google Cloud Storage运行Hadoop的优势:

兼容性:Google Cloud Storage connector for Hadoop 代码兼容Hadoop。
快速启动:当数据复制到HDFS以及NameNode,你不必等待过长时间来结束安全模式。
更高的可用性和可扩展性: Google Cloud Storage比HDFS具有更高的可用性。
低成本:包括存储和计算两方面都节省成本,同时,它是以分钟计费。
没有存储管理开销:Google Cloud Storage只需要为计算付费。
互通性:通过在Google Cloud Storage保管数据,你可以从Google上其它的服务中获益。
性能:由于有了Google Cloud Storage,Google的基础设施将会比HDFS提供更高的性能

2. 平均比Hive快24倍,Impala剑指Stinger

在YARN之前,Hadoop仅适用于离线处理场景。基于实时性的需求,各个机构纷纷研发了自己的流处理框架,这次我们说的是两SQL-on-Hadoop项目的对决,同时也是两家知名Hadoop解决方案提供商的比拼——Impala vs. Stinger。

测试对比版本是 Impala 1.1.1与 Hive 0.12(集成了Stinger),Hive运行在ORCFile 数据集之上,Impala 则使用了Parquet存储相同的数据。为了让Hive得到最佳性能,Cloudera还将TPC-DS查询转换成SQL-92 join,并且手动优化了join顺序,指定了分区字段,Impala也做了同样的优化。数据大小是3TB,使用了典型的5 Hadoop数据节点配置。查询也使用了多种类型,也包含了多种标准join及聚合,还使用了复杂的多级聚合和子查询。


测试得出的结果是Impala比Hive快6-69倍不等,类型包括以下几种: 


3. Netflix开源S3一致性提升利器S3mper Fi

上周,Netflix开源了S3mper,这对那些在使用AWS S3存储服务,而且想要更高数据一致性的用户来说,绝对是个好消息。这一次,它的开源S3mper库已经经过优化和测试,这样可以确保在AWS巨大的S3存储服务里有更好的数据存储一致性。S3mper遵循Apache License 2.0。这对利用S3进行大量批处理以及对一致性要求很苛刻的金融或医疗领域会非常有用。

需要更好的一致性可以采用二次索引“在S3上支持原始数据的同时编制文件元数据目录,” Weeks 写道。但他同时表示这可能有问题。他说,在小范围里,你可以通过使用“一致的、二次索引在S3上支持原始数据的同时为文件元数据编制目录”得到你需要的一致性。但随着规模增大,情况会变得越来越棘手。一般来说,只要二次索引能够处理所有的请求,它就会正常工作。不过,当你依赖两个独立系统时,数据丢失和性能冲击的风险会随之上升,他说。 

4. 开放式创新改变世界——OpenStack生态系统将重新洗牌

OpenStack基础软件开发周期长、投入大、技术创新转化成产品需要更多时间,超越公司的开放协作才有利于和促进产业繁荣发展。OpenStack能否成为继Linux之后开放式创新的又一成功案例呢?这个成立之初仅有两个基础模块的OpenStack,如今已发展成为拥有9个核心子项目(Havana)一系列孵化项目的庞大开源组织。吸引到了众多开源领域的专家加入,还有厂商们的大力追捧。


但是OpenStack确实给一些初创公司带来了很高的知名度以及投资机会,但基础软件开发周期长,投入大、见效慢,技术创新转化成产品需要更多时间,而现在还搞不清楚用户在哪里的初创公司已经逐渐失去往日的光辉。

5. 【产业观察】金山云总裁王育林:星星之火 可以燎原

AWS近期的入华,使得业界对于云计算服务的关注度飙升到了最高点,国内云计算供应商也纷纷祭出了“价格战”这尊法宝。然而王育林认为,在企业级市场,“价格战”很难真正奏效,让用户亲身体验服务的质量才是王道。

 

我并不看好亚马逊AWS在国内的发展情况。抛开数据安全和保密性不说,其根本不能真正适应国内的市场发展情况。在这方面,本地化资源成为了左右战局的“胜负手”。说到底,云计算服务是一种资源整合的快速反应能力。这些资源包括了用户资源和产业资源。在中国,实践证明金山云的开发者资源、阿里云的金融资源已经强大到足以助推整个平台的发展。 

6. 回顾2013:HBase的提升与挑战

回顾2013年,总结下这一年HBase在这么一年中发生的主要变化。影响最大的事件就是HBase 0.96的发布。代码结构已经按照模块化发布了,而且提供了许多大家迫切需求的特点:

1. Compaction优化
2. Mean Time To Recovery/MTTR优化
3. Bucket Cache (L2 cache on HBase)
4. Java GC改进
5. HBase的企业级数据库特性(Secondary Index、Join和Transaction)
6. PrefixTreeCompression
7. 其他变化

展望2014年,HBase即将release 1.0版本,更好的支持multi-tenancy, 支持Cell级别的ACL控制。

7. 利用ElasticSearch和Redis检索和存储十亿信息

如果从企业应用的生存率来看,选择企业团队信息作为主要业务,HipChat的起点绝非主流;但是如果从赚钱的角度上看,企业市场的高收益确实值得任何公司追逐,这也正是像JIRA和Confluence这样的智能工具制造商Atlassian于2012年收购HipChat的原因。

同时,或许你不知道的是,在Atlassian资源和人脉的帮助下,HipChat已经进入了一个指数增长周期。12亿的信息存储意味着他们现在每隔几个月的信息发送、存储和索引量都会翻一番。全文从统计、平台、产品、XMPP服务器架构、存储架构、常规、未来、经验教训等方面对HipChat做了全方位的介绍,即使HipChat没有谷歌那么大规模,我们仍能从中学到好东西,比如他们如何及时索引和搜索十亿信息。

8. 【CSDN云计算俱乐部】九城及携程的Hadoop大数据平台

随着移动互联网的发展,中国的手机网民已经接近6亿之巨,如此多设备带来的价值不言而喻,因此大家一直在谈论大数据,也一直在寻找更好的Hadoop使用途径,本期CSDN云计算俱乐部的主题就是围绕Hadoop展开的大数据掘金之路。2014年1月4日,CSDN云计算俱乐部在上海市第九城市信息技术有限公司培训室举办活动,本次活动的主题是“从Hadoop实践到基于业务的分析,开启你的数据掘金之路”。


来自九城技术部负责Hadoop的架构师,周诚带来的主题是“Hadoop大数据分析”,主要分享九城搭建的一个以Hadoop为基础的大数据平台,同时还分享了相关的具体案例。最后他还分享了九城的商品定向推荐功能。

下来进行主题分享的是来自于携程旅行网负责网站运营中心容量平台的周海燕,她带来的主题分享是“ctrip的web容量分析办法”。主要介绍了ctrip的容量规划任务,通过使用当前性能作为基线数据,评估以及预测系统需要什么资源,什么时候需要更多的资源。其中包括,基于周期性季节指数预测法的业务量预测,基于回归分析的web容量预测等。详细的PPT分享请点击原文链接。 


9-10. AWS会赢、OpenStack会消亡、Connected Cars可防僵尸攻击,Pivotal聘用eBay前副总裁,继续发力云计算市场,更多云计算热点,请继续关注CSDN云计算。(文/魏伟)

Go 1.3正式发布,改进正则表达式! API设计如龙生九子,Tunneling、Hypermedia等更受开发者青睐 NFV+SDN,博科打造开放式网络平台 亚马逊开放双SDK:摄像购物,追踪脸部玩游戏 解析淘宝Hadoop作业平台——宙斯Zeus 亚马逊的心思:要Android不要谷歌 Vuforia SDK全面更新:3.0版可实时生成虚拟场景和物体 Stream SDK:以手为“剪”,随时随地分享精彩内容 一周消息树:惠普研发基于Linux开源操作系统 打造全新计算机 我从谷歌学到的那些事:Toilet文化、代码实验室 对话大神Scott Shenker:从物理博士到SDN's Uncle 巨头们的又一战:健康数据服务平台 移动应用广告新竞争,Facebook不再一家独大 为什么Fire Phone手机价格不便宜? 老牌播放器暴风影音发力线下与自制内容 APP运营:“小数据”为合理化推送定位 TCL H5TV:回归电视本质,与开发者共赢 烽火星空徐国龙:依托平台,坚持开放与标准,企业移动化快速研发之道 首届bong线上黑客马拉松第一阶段达成! 12支团队晋级 APSys 2014,AMD将发表基于异构体系的DNN实现与评估 PagerDuty实战分析:将MySQL迁移至XtraDB并成功运行EC2 Molecule:自食其力的免费HTML5游戏框架 智能家居升级:Nest启动开发者计划,并开放API Docker,从这里做起! 《近匠》云巴创始人张虎:低门槛云服务为小团队创造更多机会 Oculus公司同意收购Xbox 360手柄设计团队 公有云VS私有云 哪个数据更安全? 调查:开发者越老越吃香吗? Facebook在线支付:取代虚拟货币的终极边界 Google I/O前析:关于新一代设计框架Quantum Paper的猜想 Google I/O 2014前瞻:“令人发指”的Android产品线 求:JB7+BAS5的下载地址 怎样在XP professional 下,做ISAPI的调试设置 小弟初学vc,对它的变量的命名方法不是很了解,望高手指点一二 远程网络安全存储!!!! 什么是T/S?兄弟高分求救 弱智问题,不好意思(马上给分!!!!!) 大家进来出出主意呀!第一次帮女朋友过生日?该如何安排最合理最浪漫呀?烦呀! 运行了不了EJB,请高手指教 求救了,通过一个单文档菜单上的一个子菜单选定它后在窗口里显示一个网页,能帮帮吗,谢谢了 关于如何对应在photoshop和dreamweaver4.0中的大小问题! InterBase数据库中数据的倒入倒出 关于C中scanf 的一点问题,请大家赐教 如何在Jboss3中建立一个守护线程?? MyICQ真的能免费吗?大家一起来交流交流. 一个小问题 关于DATAWINDOW的问题,在线等待 COBOL语言主要干什么用?它有什么特殊功能,什么公司或个人开发的?现在它还有市场吗? 非高手就不要进来了!很难的。 域登陆的问题 请教高手指导WINDOWS消息的问题!!!!! 互联网在线支付平台可行性讨论, 谁安装过Ehlib 2.4a?为什么我会出现File not found: 'DBSumLst.dcu'??? B/S结构的ERP系统是使用J2EE和.NET的架构哪个比较好? 我是初学者,请教一个简单的问题,关于jbuilder7和tomcat的 急救 关于b/s下 文档删除的问题 请热心的朋友一定看——帮忙 本人一定感谢大家——加分 实际编程中碰到的问题,高手赐教 关于树的问题!急 C++菜鸟有分!!! 无线问题 如何管理软件系列版本 快要疯掉了!服务器端与客户端的文件传送问题,请高手千万援助! 山东的朋友能否将较好的公司和较差的公司曝光一下!!!! 有哪位高高手知道ldap数据库怎么进行迁移呀? 互联网在线支付平台可行性 关于Form的问题??? 简单数字段问题 不能用redhat7.3自带的输入法,中文名字显示为问号。怎么解决 请问怎样把整型转换成字符串型? 谁在BCB下用过研华的PCL-812采集卡? 8数码和8皇后的算法,大家指点我一下看看,up有分,分可以加 数据库连接讨论!各位在连的时候用的是ADO,还是RDS? 有关上网设主机的问题(双网卡)(在线等) directx8中哪只函数支持播放内存中的声音文件 万分紧急!!!!!!先谢过! 那里又"绝世宝贝"下载? 哪位大哥帮翻译一句话!非常感谢!!!!!!!!!! 请问一个问题:用acdsee如何把点阵图转化成矢量图? cdonts在客户端发送附件,为什么失败? 第一行,第一列错误是什么回事阿? 怎样计算php里的时间差,mysql的时间差? 关于控制台程序 白公鹅把脚掌放到地上.(把句子写具体 1.碱式碳酸铅与硫化氢反应的方程式(我只知道会生成黑色PbS) 2.PbS与双氧水反应的方程式第一个方程式看上去两边不平 主题:生活中食品安全调研要求:对生活中食品安全问题状况,分析原因并提出整改建议 白公鹅这个作品是谁写的 在双氧水通入硫化氢气体的反应中乳白色浑浊物质是什么 如何分析食品安全案件 节约用水的报告 400字写的内容是一个人流泪和水龙头滴水 电路节点电压法,图中的G24电导为何为0? 食品安全调查问卷我是大一学生,即将升大二,学校要求在暑期做社会实践调研,需要调查问卷,并附带采访人的录音及视频,我不太清楚该怎么做,求指导,课题可以做调整. 6伏的电压 若小灯泡的电阻式20欧.则通过小灯泡的电流大小为( )A 求明朝时期朝鲜行政地图 涮羊肉起源于哪个朝代? 课文白公鹅的主要内容是什么 为什么会产生电阻 干电池的电压是什么伏,锌筒是干电池的什么极,炭棒是干电池的什么极.蓄电池的电压是什么伏? 小学四年级上策课文《白公鹅》全篇不是语文书上的一段,是一整篇! 物质的电阻是怎样产生的?主要是想知道微观上的了解.是因为被原子束缚么?现在比较宏观的物理也是由量子物理造成的么?还有有一个什么相关的BCS理论又说的是什么?原子核失去对外层电子 在西方人眼里,中国历代王朝中,对人类文明影响最大的是唐朝还是宋朝?抑或是元朝? 有的同学认为6g铁粉和6g硫粉混合密闭加热得到12g固体全部是硫化亚铁固体这一点很好地验证了质量守恒定律.你是怎样看待此问题的 白公鹅和白鹅两篇课文都非常注重把动物当做人来写.这句话对吗 人的干燥双手间电阻1000~5000Ω,如果人的双手接触电压为36V的电源,那么通过人体的电流最多不会超过几A?及详细过程 (2013•江都市二模)如图所示,电源电压U=12V,R1为定值电阻,阻值为100Ω,R为滑动变阻器,R的最大阻值为50Ω,电流表量程为“0~0.6A”,电压表量程为“0~15V”,小灯泡上标有“6V 3W”字样,小灯泡 电源电压4.5V不变,定值电阻5Ω变阻器最大为20Ω电流表为0到0.6A电压表为0到3V为保护电路,变阻器的范围 有谁知道金属总有电阻的微观原因(除超导外) 如图,电源电压12V,R2=10欧,滑动变阻器最大阻值100欧,电压表0~3V,电流表0~0.6A,为了不烧坏电表,变阻器阻值变化为多大? 生活中的创新的事例都有哪些 从微观的角度,电阻是由什么因素决定的 14克铁粉和7克硫粉混合后高温下充分反应能生成21克硫化亚铁 错 为什么 导体的电阻是导体本身的一种性质,它的大小决定于导体的长度,横截面积和材料.小明根据白炽灯常在开灯瞬间灯丝被烧断的现象,提出了导体的电阻还与温度有关的观点.为了证明他的观点,他 我该怎样成为美国公民?我今年15周岁,我妈妈申请我移民美国,她已经是美国公民了,和一个美国人结的婚.我昨天刚刚在广州美领馆得到移民IR2签证,我想问的是我到那边后要怎样获得美国籍成 将4克硫粉跟10克铁粉混合加热,能生成硫化亚铁多少克?哪一种反应物有剩余,剩余几克? 硫酸钠在水中电离,碳酸氢钠在水中电离的离子方程式 怎么样才能成为美利坚合众国公民?我是一名中国大陆维吾尔族公民,我怎么样才能成为美国公民?需要什么条件和手续? 为什么在酸性条件下二价铁离子会被氧化成三价铁离子 怎么判断原电池的阴阳两极?哪个极会冒泡泡啊?电流方向又是什么? 宋朝著名人物或者四大发明的经典小故事,方便小朋友讲解又能够体现教育意义!四大发明中指南针、活字印刷、火药的发明;算盘的发明和使用;北宋的交字是世界上最早使用的纸币;蹴鞠 明朝时期的地图 清晰版的包括朱元璋起义时候的打仗地图 开始到 清朝进攻 时候的地图 这277 年 详细的地图.多多益善.要清晰的.我要打印出来的要有很多郡县的名字,比如 南京,北京等等 3楼 构成原电池两极必须是两种不同的金属是吗? 归纳宋代教育的新现象.宗教在魏晋南北朝时期盛行的原因是什么? 长度相同 材料相同的导线越粗通过电阻越大还是小 金属活动性大于氢的两金属构成原电池,负极会有气泡吗 说明宋朝文盛的具体表现,就教育方面分析宋代形成开放文化环境的原因 求明朝地名在现代地图上的表示二楼的朋友 哪些字体是古代的? 那位业内人士知道选矿设备哪里做的好,推荐个好的选矿设备厂家? 食品安全检测指标有哪些好像在化学与生活课本里 将铁粉和硫粉的混合物分离,最好的办法是用______?由此我们得到的结论是______________? 求明朝地图全图,这个不完整啊上面怎么不完整 一滴水的水龙头每天要白白浪费掉12千克水,一个月(3O天)浪费多少千克水?一年(365天)浪费多少千克水?12x3O=36O千克,12x365=4380千克这样做对吗? 美国大平原的主要农作物是什么QAQ 节约用水后的感想!急 食品安全快速检测需要检测哪些指标?急!谢谢了!例如对一家餐馆的菜进行检验,看它是否符合标准,需要检验哪些指标呢?要用到哪些仪器呢? 美国大平原位于美国——地区的——河流域,地势——土壤——农作物以——为主1稻作文化的典型分布区如——国境内的——这里——(天时),——,——(地利),——人和2水稻的生长需要 节水感悟求!快点!1 通过人体的电流达到30MA时,通电时间超过3秒,人就有危险,双手间的电阻是1000-5000欧,算人体安全电压 《白公鹅》中作者从白公鹅()和()两方面进行描写,突出了它()和()的特点. 稀硫酸在水中的电离方程式 从经济发展水平来看,亚洲多数国家属于 A发达国家B新型工业化国家C高收入国家D发展中国家 叶.诺索夫写的白公鹅文章中的鹅有什么特点 过氧化氢和过硫化氢哪个更稳定通过高斯计算 请分析制约我国食品安全的原因.
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘