说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Hadoop Summit 2013见闻:创业与Hadoop 2.0不可阻挡

HTML文档下载 WORD文档下载 PDF文档下载
Hadoop Summit 2013正在美国进行,这不仅Hadoop生态圈的盛宴,也是各路玩家的战场。不仅有Sqrrl、Wandisco、GridGain等新创业公司涌现,也能看到核心玩家Cloudera和Hortonworks互相角力。本文转自钱岭的博客。

Day 2:

今天参加了3个keynotes,42个session中的8个,和一大堆厂商讨论技术,真是信息大爆炸的一天。

Hadoop从诞生到今年已经有7个年头,今年出现了很多新的变化:

1、Hadoop被公认是一套行业大数据标准开源软件,在分布式环境下提供了海量数据的处理能力(Gartner)。


几乎所有主流厂商都围绕Hadoop开发工具、开源软件、商业化工具和技术服务。今年大型IT公司,如EMC、Microsoft、Intel、Teradata、Cisco都明显增加了Hadoop方面的投入,Teradata还公开展示了一个一体机;另一方面创业型Hadoop公司层出不穷,这次看到的几个是Sqrrl、Wandisco、GridGain、InMobi等等,都推出了开源的或者商用的软件。

2、Hadoop生态系统丰富多彩,但是核心已经被Cloudera、Hortonworks牢牢掌控,基本上没有撼动之可能。今年Hortonworks的宣传是100%open source,Cloudera只好干着急,谁叫他不开放Cloudera Enterprise Manager的源代码呢?Hortonworks介绍Ambari的时候,会场至少5个Cloudera的工程师在仔细聆听,有个小伙不停地在iPad上面速记,竞争可见一斑。个人估计,Cloudera早晚将Enterprise Manager开源。Hortonworks目前Ambari的committer是20+,Contributor 50+,后一个数字可能有些水,但是第一个是没有问题的。目前每天有update,1.25版本比1.0x版本明显好用了。其他大小厂商的生存之道就是搞插件,如Wandisco、VMware、Mellanox、GridGain,而且插件均是不用修改内核的外挂,这些厂商是没有能力动内核的,持续投入可能会有一些作用,如VMware,但是一线Hadoop厂商是绝不会松手的。

3、Hadoop 2.0转型基本上无可阻挡。Hortonworks的VPArun在介绍 Tez的时候,给出了很多有趣的PPT,主旨就是一个:MapReduce已经是昨日黄花, Yarn将是未来并行计算的基础设施。我自己还没有使用Yarn,但是Hortonworks已经围绕Yarn开发了很多工具,尤其是Tez,这个玩意可以提升查询计划的执行时间,PIG和Hive将被改写并重装上阵。Hortonworks虽然没有搞出来 Impala,但是从更底层的技术上包围Impala,两个老大的布局和较量始终没有停止。

 


4、SQL over Hadoop是一个重要的技术趋势。去年Hadoop World时,MPP还吹嘘自己如何牛X。但是Google发布了 Dremel和 PowerDrill,EMC搞出来 HAWQ,Cloudera搞出来Impala之后,所有的MPP都开始反思自己的技术路线。和Parccel技术人员(感觉是售前)讨论了一下,她找出一张卡片说Parccel速度是Hive的100X,领先Impala10年。我感觉这个说话很快就会失灵,首先是Hive的优化一直没有停止,Hortonworks搞出来Tez、 Stinger(与Facebook合作)。虽然MPP领先Hadoop很多年,根据80:20原则,如果HadoopSQL只做用户需要的20%特性,那么这个差距最多2年,2年内,HadoopSQL将在部分领域超越MPP。MPP企业的出路就是学习HAWQ。列存储也是推陈出新,近期主要是ORC(微软和Hortonworks合作)、 Parquet(Twitter和Cloudera合作),有木有看出来两个巨头PK的身影?有木有看到抱团PK?这些技术在测试中均显示出很大的优势。


5、IT和开源组织合作广泛。这个不仅仅存在IT厂商和开源之间,实际上开源之间也在密切合作。不太清楚合作的内部信息,但是基本上有两种模式:产品/软件交叉集成(含管理系统集成);合作开发和推广。在技术方面就要求软件有很好的架构,提供开放的接口,这一点Ambari的设计和俺对HT的要求一模一样,可以俺未能如愿,而Amabri已经开发了好几个版本。

6、技术上看,大数据和云的整合也是一个选项(注意,不是趋势,而是选项)。今年新增了OpenStack相关议题,一些集成商和厂商也提出了云上Hadoop的适用场景。这个并不是适用于所有人,但是部分用户可以因此获益。Netflix是一个典型的例子,他们的实例都在AWS上面,显然他们的Hadoop是基于虚拟机的,和一个Netflix小伙子(日本人)交流,他们大约有2000个虚拟实例,基于 EMR,并开发了Gennie管理系统。


Day 1:

由于时差,大早上5:00左右就起来了,早餐并干活后就跑到会场去了,第一天是meetup、BOF和布展,好几个感兴趣的Meetup在时间上重叠,上午听了YARN和 Accumulo,下午听了HBase和Ambari。其他的还有包括data scientist、System Integration、PIG、Hive等众多meetup,也就只好放弃,好在很多内容都会在今天上午的主题演讲中出现。

YRAN的Developer Meetup是几个Hortonworks的哥们主持的,先是收集大家的问题,主要包括intro、roadmap、API、compability、 Storm、HBase等内容,以讨论形式为主,不过由于参加者中只有少数是Yarn Developer,也会有有很多基础的问题讨论。有个Yarn的用户提到jar包的依赖性和命名规范等问题,这个目前Yarn目前并未考虑。

Accumulo是NSA(PRISM的源头)发布的开源系统,基本上类似HBase,但是提供了Cell级别的安全访问控制,在内部实现方面可能也有些不同(需要看代码才行),提供了Iterator API和一些批量处理的API。介绍者有2人,一人估计是 Sqrrl的,一人是HortonWorks的,感觉里面不少人都互相认识,这个也不奇怪,要是在中国,这种meetup肯定也会遇到很多熟人和前任同事啥的。Sqrrl是一个基于Accumulo的商业化软件和服务,提供了图分析和计算的能力,感觉是个挺不错的东西,可惜不是开源的,掩饰着给出了一些类SQL,输出结果是可视化的图形,而且可以在图形上进一步操作。


HBase meetup貌似也是Hortonworks的人主持的,一个印度哥们代替演讲者介绍了一个基于Yarn的HBase部署工具 Hoya,这个玩意不是必备工具,但是对于需要在同一个Hadoop集群上部署不同HBase版本进行测试同志、或者需要按需使用HBase进行分析的同志使用。现场演示看了一个Yarn集群上部署N多HBase的演示,只需指定配置文件和几个参数就可以部署。在演示HBase集群停止再启动的时候,戏剧性的场面出现了,只有master启动了,3个region server都没有出现,全场哗然,印度小哥们很淡定,说I trust our system。等了几分钟,不断刷新,最终还是成功了,全场报以掌声,不过这个玩意依然是一个内部工具,在github上面有source code。

Ambari meetup仅看到了后面的部分,是一个哥们在介绍如何在VMM、Windows Azure上面部署Hadoop,和WA集成的挺不错,充分利用了WA的storage等服务,看来术业却有专攻,这个玩意Linux哥们是绝对不懂的。


大门口和工作人员


下午4点左右离开会场,请一个老外帮我在门口拍了一张和yellow elephant的合影

(文/ 钱岭责编/ 包研。在原文基础有所删改,欢迎在评论中纠错。)

原文: Hadoop Summit 2013 Day2:信息大爆炸

2014年手游和社交游戏行业重要趋势解读 腾讯副总裁罗道锋:共建全国最大安全云库 5分钟内数据精准共享 Connected Cycle 一举两得的智能自行车踏板 CES可穿戴产品前瞻:汽车厂商入局智能手表领域 果断Mark!国外程序员收集整理的PHP资源大全 Google 2015项目前瞻:智能隐形眼镜、Google X、Ara Swift的坑:如何实现enum的多选? Swift,其实没那么任性 如何利用单台服务器实现10万多个Git仓库托管 Swift的初始化方法 TIOBE 2015年1月编程语言排行榜:JavaScript成大赢家 为什么iOS开发不需要Storyboard? 仅有纽扣大小的开发板 Intel Curie “撒娇”的豌豆荚?被百度手机助手屏蔽太糟心! 【工具推荐】Pgcli—自动完成和语法高亮的Postgres命令行工具 CES 2015:挑一款机器人带回家? 夜行、睡眠与健康:CES 2015十款酷炫的可穿戴产品 Java 9中新的货币API 唯“简”不破,Apple Watch App的设计之道 Google Glass从X labs“毕业”,更换项目负责人 不进化,则消亡——互联网时代企业管理的十项实践 RedMonk 2015年1月编程语言排行榜:进击的Swift! 微信开放JS SDK,这场web巨变意味着什么? 盘点一些iOS开发技巧:Swift和Objective-C 2014年,那些“颜值”爆表的UI动画 《近匠》爱加密:谁说iOS应用不需要保护? SwiftColorArt:开源易用的Swift图片类库 人气爆棚 干货满满 中国电信天翼开放平台开放日圆满落幕 必须Mark!43个优秀的Swift开源项目推荐 治拖延、疗懒癌!安利12款提高工作效率工具 把ES6带进Node社区 Io.js 1.0.0正式发布 DELPHI 调用过程ADOStoredProc1的问题?? 如何在多页面浏览器里面设置“前进”,“后退”的按扭的状态?? 使用CppWebBrowser控件显示WEB页面,如何以流的方式读入web页面数据 javabean的一个问题 vc的远程调试 请教一个局域网视音频合成传输的问题!!! 用SQL如何更新数据表的图片? 一个30多岁的人,他刚开始学VC,请问他有前途吗? 关于Cookie的问题,不知道在哪里问合适 谁有用ASP做用MSchart控件生成的饼图源程序给我一份,给他30分! 为什么我的显卡驱动程序安装不上???主板是815Ep的! 请教一个局域网视音频合成传输的问题!!! 不好!出现错误!请帮忙! 有谁对java3d熟悉阿,急需探讨 暴笑中国队连环画 谁能帮帮新手啊!!!!! 如何通过一个网卡用adsl将整个局域带上网 程序中的消息对话框怎么不直接蹦出来,而是要按一下Alt才行? 程序中的消息对话框怎么不直接蹦出来,而是要按一下Alt才行? ListBox->Items->Add()的问题! 为什么我们的局域网内客户机不自动得到dns server 和默认网关??? 请推荐几款多系统启动控制软件 问各位高手一个很菜的问题! 数据窗口中的检索数据问题 毕业设计要交了!急啊!请问fastreport预览时,怎么没有“页面设置”菜单?? SetCellTextColor 的问题 ===读取时如何成比例的改变一张图片的尺寸及大小=== 毕业设计要交了!急啊!请问fastreport预览时,怎么没有“页面设置”菜单?? 意大利终于出线了 QuickRep1.PrinterSettings.duplex中duplex(双重,双向)是怎样用? 怎样使FORM上默认的最大,最小按钮变小一点,比如象OICQ的FORM上按钮? 关于servlet的问题 数组使用的问题,两种下标为什么只一种可以? 关于C语言编写数值计算的,事关人命啊~~~~ 关于组件问题? 急!急!急!一个宽带的问题? 做了个网站,希望大家看看!!!www.gz111.net 谁有window blinds的注册码 在DOS下,如何设置成1024 X 768,256色 如何分页显示XML数据岛内容 非常常见的一个问题,现在也没有解决,请高手帮忙。 公司要求学日语,学三个月,没工资,不知道努力学三个月能否达到凑合能用水平 我在昆明的迪信通买了摩托罗拉998++后才发现上当了!! 紧急求救,关于断电 简单:几个子查询合并为一个记录? 请问如何用sql语句查询一段日期之内的数据? 有没有人做过向excel模版导出数据 用户控件之间如何传递参数? help me !!!数据库无法启动!!! java IDE 开发环境有哪些比较小而快? 矿酸水怎么配置我要配置1%的矿酸水.是用冰乙酸还是用草酸配置 是不是用矿泉水 具体怎么配置 春节期间桂林气温、气候怎样?去旅游应如何穿衣? 将大米装满一次性杯,然后压紧插入筷子,提起筷子后观察并分析我知道杯子提起来了,主要求原因,急!! 乙稀通入溴水中化学方程式要用有机物结构简式表示 右图是某品牌家用电饭锅的工作原理图,已知R2的阻值为44欧.单独闭合开关S1时,电饭锅处于保温状态,此时的保温功率为44W.求:(1)R1的阻值是多少?(2)同时闭合开关S1,S2,电饭锅工作1min消耗 现在去海南三亚旅游.请问当地气温多少?有什么衣服合适? 乙烯和甲烷的混合气通入足够的溴水方程式 养鸡场鸡舍内用什么节能灯泡好?要能防潮防鸡舍内腐蚀性气体,最好说下什么牌子的具体到什么型号,价格多少. 谁知道钢笔水弄身上怎么办啊 将2mol/LCuSO4溶液和1mol/LH2SO4溶液等体积混合求混合液中CuSO4和H2SO4的物质的量浓度混合液中铜离子氢离子 硫酸根离子物质的量浓度 【求助】蛋鸡鸡舍照明!白织灯与节能灯哪个好?对鸡或者鸡蛋有什么影响?会不会影响产蛋?这两种灯哪个好?小弟真的没分!真的不怎么用这个! 一水柠檬酸一般与什么化工物品混合使用? 将0.06mol/LH2SO4与0.1mol/LNaOH溶液等体积混合后,说的溶液PH为A.1.7 B.2 C.12 D.12.3 什么是湿式氧气储罐?湿式氧气储罐和低温液氧储罐的区别是什么?储存氧时都带压储存吗 在电渡车间上班,因都是酸类化学水,硫酸,盐酸铬酸等空气又不好身上起包,极痒请问怎样治疗特别感谢你们了 溴水中通入乙烯 质量加重4.2克 求溴吸收的乙烯体积 液氧在储存的时候需要注意哪些事项? 化工油里有酸怎么办 20ml0.1mol/L的HNO3溶液与10mlo.1mol/LH2SO4溶液导电能力比较 350平方米的鸡舍灯高度2米,需要多少瓦的暖光节能灯?需要多少个? 初中三年有关于描写风、霜、雪、雨的诗句! 把2mol/CuSO4溶液与1mol/LH2SO4溶液等体积混合,向其中加入足量的铁粉充分反应,求反应后溶液中Fe2 的...把2mol/CuSO4溶液与1mol/LH2SO4溶液等体积混合,向其中加入足量的铁粉充分反应,求反应后溶液中Fe 液氧储存需要满足哪些条件,压力多少,温度多少.需要哪些设备? 描写雪的优美语句,写作文要用!这两天杭州雪特别大,想写一篇描写雪的作文,需要一些好句子. 用PH试纸测溶液的PH时,试纸用蒸馏水润湿,为什么溶液的PH不一定有误差 Ca 与 酸骨骼中都含有一定量的碳酸钙,在猪骨头汤时常常要加入少量食醋,这样可是是汤中的钙含量增加,更好地打倒不改的效果,为什么? 谁有描写雪的诗句? 乙烯与苯乙烯混合的加聚反应方程式 高压低温是怎么回事?一般不是压力越高,温度也越高吗!为什么我看书上写液化天然气是在高温低压的情况呢? 已知在0.1mol/l的nahso3溶液中有关微粒浓度大小的顺序为c(na+)>c(hso3-)>c(so)已知在0.1mol/l的nahso3溶液中有关微粒浓度大小的顺序为c(na+)>c(hso3-)>c(so42-)>c(h2so3).则溶液中c(h+)_____c(oh-).答案是大于.但 A和E溶液显碱性,为碱或强碱弱酸盐.根据离子共存可知二者为Ba(OH)2、Na2CO3,由于0.1mol/L的A溶液的pH小于13,所以A是Na2CO3;E是Ba(OH)2不明白 氧气在低温、高压时能变为液体或固体吗?简略而准确即可, 有没有描写雪很纯洁,很白 的诗句 最好有作者 谢了 急~~! 式子列好.并说出原因题目完全在这里;一个圆柱体玻璃杯内盛有水,水面高是2.5厘米,玻璃杯内侧的底面积是72平方厘米.在这个玻璃杯中放入棱长为6厘米的正方体贴快后,水面没有铁块.这是水面 氧气变液态氧要高压、低温.我知道要低温,可是高压氧气密度不是变大吗 雪真大,把句子写具体. 姑家有6个鸡舍,平均每个鸡舍一个月能下240个鸡蛋,6个月能下.你有什么发现 氧气在低温,高压是是否能变成液体或固体 体积相同的铁块和吕块放入水中都沉入水底,他们受到的浮力相同吗?为什么? 一摩尔乙烯于Cl2发生加成反应完全后,在于Cl2发生取代反应,整个过程最多消耗多少Cl2. 浓度都为0.1mol/L的下列各溶液,pH值顺序?浓度都为0.1mol/L的HCL,NAOH,H2SO4,BA(OH)2,NH4CL,CH3COOH,NA2SO4,它们的pH从小到大的顺序是? 一块冰中含有一个小气泡,浮在水面上,当冰熔化之后水面将()A上升B原来的位置C下降D无法确定说明理由 小强家的鸡舍占地面积是16平方米,扩建后占地20平方米,现在鸡舍的占地面积比原来增加了百分之几? 鸡舍另三边长35米,鸡舍的面积是多少平方米 包粽子的叶子是什么.为什么要包粽子.粽子是谁发明的. 求几个加成反应反应方程式!要加成反应方程式~1乙烯与氢气反应方程式2乙烯与氯化氢反应3乙烯与水反应4甲烷的加成反应5乙烯的取代反应 鱼的氧气需求!家里有个水缸长40宽18高22的水缸 里面养着2个5厘米左右长的金鱼9个小家伙1个清道夫,有个600L/H的过滤器,请问需要开24小时吗?晚上要不要开呢? 我国北方为什么每年春季常受到沙尘暴的侵袭? 1.小强家的鸡舍占地面积是16平方米翻建后占地20平方米现在鸡舍的占地面积比原来增加了百分之几在线等急2.小李去年的身高是125CM今年的身高是133cm 小李今年的身高比今年增加了百分之几 鱼需要氧气吗?把它放进封闭的瓶子了能活吗? 包粽子用的是什么叶子 分光光度法测铁含量时为什么配置铁的标准溶液时硝酸添加量依次降低? 牛奶里有氧气吗?鱼在牛奶里能活吗? 包粽子的叶子是什么叶子?可以重复使用吗?英文翻译说是竹叶或芦苇叶? 为什么配置铁的标准溶液时硝酸的添加量依次降低 这些鱼能活多久,从氧气方面考虑用的是矿泉水15cm*9cm的缸,水深7cm,3条金鱼 通过燃烧除去密闭容器中的氧气且不产生其他气体,可选用的物质是A红磷,B蜡烛,C木炭,D煤,说理由 化学:关于有水化合物的配制问题就是那种五水什么,十水神马的化合物,在配置中要不要把它的N水的相对原子质量算进去?或者该怎么算?求大神指教,最好能有易理解的举例!急! 求浓度为0.1mol/L的HCOOH溶液的pH值 写一篇关於去沙滩游泳的英语作文(用现在完成时)是现在完成时!100字左右.
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘