说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

一周云热点:Google打造云中Hadoop便捷版,强势对抗AWS

HTML文档下载 WORD文档下载 PDF文档下载
春节的脚步越来越临近,年味越来越浓,在这喜庆的日子即将到来之际,云计算市场也热闹非凡,又是一个周末,本周云计算市场究竟发生了哪些吸引眼球的事,下面我们将为大家梳理本周的重点关注。

上周云计算领域的热点非Spark莫属,本周,我们云计算又有哪些热点新闻呢?

1. Google打造云中Hadoop便捷版,强势对抗AWS

上周,Google为其Google Cloud Platform增加了Hadoop 连接器,这样开发人员现在已经能够很轻松的在Google计算虚拟机上进行Hadoop操作了,Google Cloud Storage Hadoop的预览版将使开发人员不用再花大力气去管理集群和文件系统。在此领域,Google和AWS的竞争将更加激烈。


下图是Hadoop在Google Cloud Platform上的图解。在Google Cloud Storage上存储数据时HDFS、NameNode是可选的。 

下面是用Google Cloud Storage运行Hadoop的优势:

兼容性:Google Cloud Storage connector for Hadoop 代码兼容Hadoop。
快速启动:当数据复制到HDFS以及NameNode,你不必等待过长时间来结束安全模式。
更高的可用性和可扩展性: Google Cloud Storage比HDFS具有更高的可用性。
低成本:包括存储和计算两方面都节省成本,同时,它是以分钟计费。
没有存储管理开销:Google Cloud Storage只需要为计算付费。
互通性:通过在Google Cloud Storage保管数据,你可以从Google上其它的服务中获益。
性能:由于有了Google Cloud Storage,Google的基础设施将会比HDFS提供更高的性能

2. 平均比Hive快24倍,Impala剑指Stinger

在YARN之前,Hadoop仅适用于离线处理场景。基于实时性的需求,各个机构纷纷研发了自己的流处理框架,这次我们说的是两SQL-on-Hadoop项目的对决,同时也是两家知名Hadoop解决方案提供商的比拼——Impala vs. Stinger。

测试对比版本是 Impala 1.1.1与 Hive 0.12(集成了Stinger),Hive运行在ORCFile 数据集之上,Impala 则使用了Parquet存储相同的数据。为了让Hive得到最佳性能,Cloudera还将TPC-DS查询转换成SQL-92 join,并且手动优化了join顺序,指定了分区字段,Impala也做了同样的优化。数据大小是3TB,使用了典型的5 Hadoop数据节点配置。查询也使用了多种类型,也包含了多种标准join及聚合,还使用了复杂的多级聚合和子查询。


测试得出的结果是Impala比Hive快6-69倍不等,类型包括以下几种: 


3. Netflix开源S3一致性提升利器S3mper Fi

上周,Netflix开源了S3mper,这对那些在使用AWS S3存储服务,而且想要更高数据一致性的用户来说,绝对是个好消息。这一次,它的开源S3mper库已经经过优化和测试,这样可以确保在AWS巨大的S3存储服务里有更好的数据存储一致性。S3mper遵循Apache License 2.0。这对利用S3进行大量批处理以及对一致性要求很苛刻的金融或医疗领域会非常有用。

需要更好的一致性可以采用二次索引“在S3上支持原始数据的同时编制文件元数据目录,” Weeks 写道。但他同时表示这可能有问题。他说,在小范围里,你可以通过使用“一致的、二次索引在S3上支持原始数据的同时为文件元数据编制目录”得到你需要的一致性。但随着规模增大,情况会变得越来越棘手。一般来说,只要二次索引能够处理所有的请求,它就会正常工作。不过,当你依赖两个独立系统时,数据丢失和性能冲击的风险会随之上升,他说。 

4. 开放式创新改变世界——OpenStack生态系统将重新洗牌

OpenStack基础软件开发周期长、投入大、技术创新转化成产品需要更多时间,超越公司的开放协作才有利于和促进产业繁荣发展。OpenStack能否成为继Linux之后开放式创新的又一成功案例呢?这个成立之初仅有两个基础模块的OpenStack,如今已发展成为拥有9个核心子项目(Havana)一系列孵化项目的庞大开源组织。吸引到了众多开源领域的专家加入,还有厂商们的大力追捧。


但是OpenStack确实给一些初创公司带来了很高的知名度以及投资机会,但基础软件开发周期长,投入大、见效慢,技术创新转化成产品需要更多时间,而现在还搞不清楚用户在哪里的初创公司已经逐渐失去往日的光辉。

5. 【产业观察】金山云总裁王育林:星星之火 可以燎原

AWS近期的入华,使得业界对于云计算服务的关注度飙升到了最高点,国内云计算供应商也纷纷祭出了“价格战”这尊法宝。然而王育林认为,在企业级市场,“价格战”很难真正奏效,让用户亲身体验服务的质量才是王道。

 

我并不看好亚马逊AWS在国内的发展情况。抛开数据安全和保密性不说,其根本不能真正适应国内的市场发展情况。在这方面,本地化资源成为了左右战局的“胜负手”。说到底,云计算服务是一种资源整合的快速反应能力。这些资源包括了用户资源和产业资源。在中国,实践证明金山云的开发者资源、阿里云的金融资源已经强大到足以助推整个平台的发展。 

6. 回顾2013:HBase的提升与挑战

回顾2013年,总结下这一年HBase在这么一年中发生的主要变化。影响最大的事件就是HBase 0.96的发布。代码结构已经按照模块化发布了,而且提供了许多大家迫切需求的特点:

1. Compaction优化
2. Mean Time To Recovery/MTTR优化
3. Bucket Cache (L2 cache on HBase)
4. Java GC改进
5. HBase的企业级数据库特性(Secondary Index、Join和Transaction)
6. PrefixTreeCompression
7. 其他变化

展望2014年,HBase即将release 1.0版本,更好的支持multi-tenancy, 支持Cell级别的ACL控制。

7. 利用ElasticSearch和Redis检索和存储十亿信息

如果从企业应用的生存率来看,选择企业团队信息作为主要业务,HipChat的起点绝非主流;但是如果从赚钱的角度上看,企业市场的高收益确实值得任何公司追逐,这也正是像JIRA和Confluence这样的智能工具制造商Atlassian于2012年收购HipChat的原因。

同时,或许你不知道的是,在Atlassian资源和人脉的帮助下,HipChat已经进入了一个指数增长周期。12亿的信息存储意味着他们现在每隔几个月的信息发送、存储和索引量都会翻一番。全文从统计、平台、产品、XMPP服务器架构、存储架构、常规、未来、经验教训等方面对HipChat做了全方位的介绍,即使HipChat没有谷歌那么大规模,我们仍能从中学到好东西,比如他们如何及时索引和搜索十亿信息。

8. 【CSDN云计算俱乐部】九城及携程的Hadoop大数据平台

随着移动互联网的发展,中国的手机网民已经接近6亿之巨,如此多设备带来的价值不言而喻,因此大家一直在谈论大数据,也一直在寻找更好的Hadoop使用途径,本期CSDN云计算俱乐部的主题就是围绕Hadoop展开的大数据掘金之路。2014年1月4日,CSDN云计算俱乐部在上海市第九城市信息技术有限公司培训室举办活动,本次活动的主题是“从Hadoop实践到基于业务的分析,开启你的数据掘金之路”。


来自九城技术部负责Hadoop的架构师,周诚带来的主题是“Hadoop大数据分析”,主要分享九城搭建的一个以Hadoop为基础的大数据平台,同时还分享了相关的具体案例。最后他还分享了九城的商品定向推荐功能。

下来进行主题分享的是来自于携程旅行网负责网站运营中心容量平台的周海燕,她带来的主题分享是“ctrip的web容量分析办法”。主要介绍了ctrip的容量规划任务,通过使用当前性能作为基线数据,评估以及预测系统需要什么资源,什么时候需要更多的资源。其中包括,基于周期性季节指数预测法的业务量预测,基于回归分析的web容量预测等。详细的PPT分享请点击原文链接。 


9-10. AWS会赢、OpenStack会消亡、Connected Cars可防僵尸攻击,Pivotal聘用eBay前副总裁,继续发力云计算市场,更多云计算热点,请继续关注CSDN云计算。(文/魏伟)

日本很积极:富士通和NEC确认将推Tizen设备 10大支持移动“触摸操作”的JavaScript框架推荐 数据科学家的争夺及美分析学专业研究生院的建立 从开放走向封闭 Netflix宣布停止发布API key 《植物大战僵尸》神秘续作:可能是一款横版游戏 高性价比:GlassUp宣布支持Windows Phone系统 未挖掘到足够信息:非收集数据少,是利用率只有1% 下一个帝国:谷歌收购初创公司DNNresearch 苹果更新Apple Store应用,可查看零售店库存 开源软硬件:福特汽车的OpenXC计划 Temple Run:Oz稳坐付费榜头把交椅,迪士尼名利双收 Facebook开放图谱示好开发者 新增书籍电影等九项操作 源代码管理的六大视觉模式 最新算法面世 可提高云数据库性能 分析称平板电脑应用将占全球应用经济的35% 三大运营商对微信等OTT业务摊牌 Runscope联合创始人John Sheehan:API已死,API永存! IBM在京发布大数据白皮书 提出五项关键建议 Twitter开源Parquet 将支持Impala加速实时查询 使用Go代替Ruby,将服务器数量从30降到2 初创公司SwiftStack:“放在盒子里的S3” 赫尔辛基:全球移动游戏开发者的“黄埔军校” 不只属于三星!uMoove将发布“眼球追踪”SDK Android掌门人Andy Rubin宣布辞职 Chrome主管接任 openSUSE 12.3发布 弃MySQL拥抱MariaDB Meteor:让实时Web App成为主流 别了,Google Reader!谷歌于7月1日关闭服务 “天网”降临 机器人或将崛起? 涅槃重生:Qt 5 for Android预览版发布 Google Play将逐步移除广告拦截应用 Shapeways公司开放API 3D打印时代来临 请问怎样订阅google上的新闻组?? 浏览器中的时间选择 谁知道程序员大本营2001光盘那个EXE文件的制作方法吗? 为什么没有actionscript的论坛?那个可是前沿啊/ 错误类型:Microsoft JET Database Engine (0x80040E09)是什么错误啊?请大虾们帮忙! 紧急:请问怎样在windows me中添加、设置并使用传真机 有谁有字节序转换的c代码?现在我要将网络字节序和主机字节序相互转换,但又不能调用api,不知那位大侠可以帮忙?先谢了! 用.NET制作安装盘的一些问题 有谁有字节序转换的c代码?现在我要将网络字节序和主机字节序相互转换,但又不能调用api,不知那位大侠可以帮忙?先谢了! 不能访问asp文件了?? 能做到让页面不刷新吗? 请教一个算法,有关数学的 FastReoprt 要!要!要!要!要!要!要!要! 《C++ Primer》 中文版怎么还不出啊! 重庆高程报名时间 怎样用NMFTP象网络蚂蚁那样自动获得下载文件的地址 特酷的串口通讯调试工具,有其它工具... 有没有win32版的mysql JDBC驱动? 郁闷!菜鸟的“关于数据库订购与发布的问题” :( 如何使子类的属性不可见 我想画曲线,类似log曲线的样子,不知道vc里面怎样才能方便的实现,有源码最好 特酷的串口通讯调试工具,有其它工具... 请问如何用电话线将各分公司连网,并实现数据上传功能,以保证总公司的数据汇总,CSDN的高手到那里去了,我已经第二次提了,没有一个人回 请指教! 特酷的串口通讯调试工具,有其它工具... 菜得不得了的 问题,从SQL SERVER中导入一个表(如表名QK)到ORACLE后,不知表名变成什么? 怎样看到PowerBuilder User’s Guide使用手冊。Application Techniques使用手冊呀? 一直想看古天乐的《创世纪》,请哪位提供一下网上哪里有它下载或在线看网址,不甚感激! 为什么一执行文件ss.txt得内容就清空了??? 中文问题 特酷的串口通讯调试工具,有其它工具... sos sos 求,向access2000中写数据的asp代码?和用asp连接access有几种方法? 如何保存xml的网页,谢谢! 如何声明一个变量,可在整个程序内调用,并其生命周期和程序一样长??? 请推荐一本数据结构的书,最好是大学教材,c++描叙,写了 求助:vc++ 6.0中,用向导生成了一个windows程序, 我又新加了一个工具条,怎样让它和以前的工具条在同一行上? 请问VIA VT82C686A芯片的主板最大支持的CPU是多少?? 怎样看vb中控件的代码?如:from,command... 大家帮我看看这段代码哪里错了???? 在jbuilder6下如何存取中文数据库,内码的转换如何实现?高手请进,100分奉上 请问如何在dbgrid控件中 第3列=第2列×第1列 有什么方法可以获得页面信息 菜鸟请教一个复杂结构类型结构体成员变量初始化赋值出错的问题。 CDC实现图片运动问题,请大家多多帮忙?如何擦掉已经画出的图片 那里有Delphi函数表?API的个人理解,希望修正!(新人学习在过程中的问题) exchange的路由器问题 WinFax的烦事。 请问IsProxyClass函数在哪找 请问怎么才能实现将一个datawindow中的某一列拖放到另外一个同样的datawindw中 欧洲是伸向欧亚大陆的一个半岛,为什么说澳大利亚更像一个大半岛 你整么看? 一个碟子一段铁丝一勺洗衣粉怎么证明声音声波的形式传到远方 口语交际 湖北省潜江市的环境污染以及为保护环境应做点什么? 世界最典型的季风气候分布在哪里它们是怎么形成的 近腊月下,夜登华子冈,辋水①沦涟,与月上下;寒山远火,明灭林外.深巷寒犬,吠声如豹;村墟夜舂,复与疏钟相间.此时独坐,僮仆静默,多思曩者②,携手赋诗,步仄迳③,临清流也.当待春中,草木蔓 怎样才能保护环境?6年级的口语交际怎样才能保护环境?别那么长 欧洲西部的三大半岛是什么?在地图上的位置是?学哥学姐们帮帮忙,马上就要结业考试了 英语翻译近腊月下,夜登华子冈,辋水①沦涟,与月上下;寒山远火,明灭林外.深巷寒犬,吠声如豹;村墟夜舂,复与疏钟相间.此时独坐,僮仆静默,多思曩者②,携手赋诗,步仄迳③,临清流也.当待春 自我介绍作文结尾怎么写?教下! 世界上最典型的季风气候区在什么地方? 自吸泵的吸程跟扬程都是什么意思?另外:矿洞垂直深度为约33米,里面进水深约17米,有没有什么型号的自吸泵可以把水抽出来?什么牌子的水泵? 1月,7月的高低气压中心有哪些? 欧洲南部的三大半岛中,面积最大,气候最复杂的是( )半岛形状像长筒皮靴的是( )半岛,该半岛以( )气候为主,岛上主要的国家是( ). 怎样鉴别自吸泵的扬程7.5KW电机自吸泵,参数是扬程55米,流量60立方米.怎么能够知道是否能到达它所说的参数.以前用的是离心泵,平面距离30米,垂直高度3米.电机7.5KW,扬程32米,流量50立方米.24个 如何判断气压的高低有道题给了地区海平面等压线分布图 可是我不会看这个图该如何判断它是低压还是高压呢 求方法 欧洲西部的四大半岛,三大岛屿,两大内海 分别是谁? 在国际单位制中,功率的单位是“瓦”它用基本单位表示是什么? 南北半球1月7月的高低气压中心有哪些? 怎么让母鸡生小鸡?公鸡和母鸡交配后才能生小鸡,交配后的母鸡生出的所有蛋都能生出小鸡吗?还是不一定哪一次生出的蛋才能孵出小鸡?怎么才能让母鸡生出的所有的蛋都能孵出小鸡? 用一个碟子,一段铁丝和一勺洗衣粉如何做实验?小明在家中打开音响听音乐,忽然想起课本上说声音能使空气形成疏密相间的波动并以此把声音传到远处,他找来一个碟子,一段铁丝和一勺洗衣 澳大利亚1月和七月气压差异的原因 750瓦的带压力罐自吸泵最大压力能达到几个压力? 小明在家中听音响时,忽然想到课本上说声音能使空气形成疏密相间的波动,...写不下了,下面继续:并通过空气将声音传到远方.小明想:“声音的波动我为什么看不见?这种说法到底对不对” 我们能听到物体发出的声音是因为: A有物体 B有发声的物体 C发声体在空气中振动 D物体在真空中被敲击 《华歆王朗》文言文翻译题华歆,王朗俱乘船避难·······世以比定华,王之劣.(1)解释下列括号中词语歆辄难之(难) 既以纳其自托(以)(2)用现代汉语解释下列句子王欲舍所携人既 盐水蒸发是分解反应吗? 怎样跟孩子解释动物交配跟孩子出去时正好看到两只小狗在交配,孩子问,一时不知道该怎么跟孩子说,只好说了句“两只小狗在打架”,我知道这样不是很好,可又不知道该怎样跟孩子解释, 亚洲南部的三大半岛自西向东依次是? 窑洞的特点是什么 Mg在空气中可以和N2反应,但是按照氧化还原反应中O2的氧化性比N2的氧化性强,那么Mg应该先和氧气反应,等氧气完了后在和氮气反应,也就是镁在空气中只和氧气反应?这是怎么回事?希望解释下. 华歆王朗俱乘船避难中王朗表现出怎样的性格? 山西的窑洞特点就是一些特点,急用 常温下Mg能与空气中的O2反应吗?为什么?常温下Mg能与空气中的O2发生反应吗?为什么?那高温下呢? 欧洲南部的三大半岛自西向东分别是?rt 窑洞的特点? 有若干克浓度为4%的盐水,蒸发了一些水分后变成了10%的盐水,再加入300克4%的盐水混合后变为6.4%的盐水.问最初的盐水多少克?一定要用二元一次方程! 我找不到华歆王朗的介绍! ( )的物体,在液体中( ),比同体积的液体( )的物体,在液体中( ) 有若干克5%的盐水,蒸发一些水分之后变成了10%的盐水,再加进300克4%盐水,混合后变为6.4%的盐水,问:最初的盐水是多少克? 欧洲南部三大半岛自西向东依次为? 液体的体积常用什么来表示 有若干千克4%的盐水,蒸发了一些水分后变成了10%的盐水,在加300克4%的盐水,混合后变成6.4%的盐水,问最初的盐水是多少千克? 华歆...华歆、王朗的(品质)好坏.的原文和题目十分钟内 液体的体积用什么表示 有4%的盐水若干克,蒸发掉一部分水后,浓度变为10%;然后在加进4%的盐水300克,混合后变为浓度是6.4%的盐水,问最初 盐水多少克? 亚洲南部三大半岛的气候类型自西向东分别为 液体体积常用()、()来表示 有若干克浓度为4%的盐水,蒸发了一些水分后变成了10%的盐水,再加入300克40%的盐水混合后变为6.4%的盐水问最初的盐水多少克 华歆和王朗谁更好? 力的作用效果可以表现在两个方面:一是改变物体的运动状态,包括()改变和()改变两种情况. 噪声是指发声体做 的振动时发出的声音 用一个碟子、一段铁丝和一勺洗衣粉做实验.证明声音能使空气形成疏密相同的波动.请写出实验过程. 窑洞是什么地方的房子 如何给孩子讲解关于性问题 一个碟子 一段铁丝 一勺洗衣粉做一个试验证明声音能使空气形成波动并以次把声音播到远处? 口语交际:怎么样保护环境(几句话)只要几句话 孩子们想知道的有关性和成长的那些事怎么样 用碟子、铁丝、牛奶证明声波存在小宇在家听广播时,想起课本上说:“声音能使空气形成疏密相间的波动并以此把声音传播开来”这种说法到底对不对呢?于是他找来了一个碟子、一段铁丝 帮我写一下保护环境的口语交际.急!1 立式无密封自吸泵不出水怎么处理
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘