说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Hadoop Summit 2013见闻:创业与Hadoop 2.0不可阻挡

HTML文档下载 WORD文档下载 PDF文档下载
Hadoop Summit 2013正在美国进行,这不仅Hadoop生态圈的盛宴,也是各路玩家的战场。不仅有Sqrrl、Wandisco、GridGain等新创业公司涌现,也能看到核心玩家Cloudera和Hortonworks互相角力。本文转自钱岭的博客。

Day 2:

今天参加了3个keynotes,42个session中的8个,和一大堆厂商讨论技术,真是信息大爆炸的一天。

Hadoop从诞生到今年已经有7个年头,今年出现了很多新的变化:

1、Hadoop被公认是一套行业大数据标准开源软件,在分布式环境下提供了海量数据的处理能力(Gartner)。


几乎所有主流厂商都围绕Hadoop开发工具、开源软件、商业化工具和技术服务。今年大型IT公司,如EMC、Microsoft、Intel、Teradata、Cisco都明显增加了Hadoop方面的投入,Teradata还公开展示了一个一体机;另一方面创业型Hadoop公司层出不穷,这次看到的几个是Sqrrl、Wandisco、GridGain、InMobi等等,都推出了开源的或者商用的软件。

2、Hadoop生态系统丰富多彩,但是核心已经被Cloudera、Hortonworks牢牢掌控,基本上没有撼动之可能。今年Hortonworks的宣传是100%open source,Cloudera只好干着急,谁叫他不开放Cloudera Enterprise Manager的源代码呢?Hortonworks介绍Ambari的时候,会场至少5个Cloudera的工程师在仔细聆听,有个小伙不停地在iPad上面速记,竞争可见一斑。个人估计,Cloudera早晚将Enterprise Manager开源。Hortonworks目前Ambari的committer是20+,Contributor 50+,后一个数字可能有些水,但是第一个是没有问题的。目前每天有update,1.25版本比1.0x版本明显好用了。其他大小厂商的生存之道就是搞插件,如Wandisco、VMware、Mellanox、GridGain,而且插件均是不用修改内核的外挂,这些厂商是没有能力动内核的,持续投入可能会有一些作用,如VMware,但是一线Hadoop厂商是绝不会松手的。

3、Hadoop 2.0转型基本上无可阻挡。Hortonworks的VPArun在介绍 Tez的时候,给出了很多有趣的PPT,主旨就是一个:MapReduce已经是昨日黄花, Yarn将是未来并行计算的基础设施。我自己还没有使用Yarn,但是Hortonworks已经围绕Yarn开发了很多工具,尤其是Tez,这个玩意可以提升查询计划的执行时间,PIG和Hive将被改写并重装上阵。Hortonworks虽然没有搞出来 Impala,但是从更底层的技术上包围Impala,两个老大的布局和较量始终没有停止。

 


4、SQL over Hadoop是一个重要的技术趋势。去年Hadoop World时,MPP还吹嘘自己如何牛X。但是Google发布了 Dremel和 PowerDrill,EMC搞出来 HAWQ,Cloudera搞出来Impala之后,所有的MPP都开始反思自己的技术路线。和Parccel技术人员(感觉是售前)讨论了一下,她找出一张卡片说Parccel速度是Hive的100X,领先Impala10年。我感觉这个说话很快就会失灵,首先是Hive的优化一直没有停止,Hortonworks搞出来Tez、 Stinger(与Facebook合作)。虽然MPP领先Hadoop很多年,根据80:20原则,如果HadoopSQL只做用户需要的20%特性,那么这个差距最多2年,2年内,HadoopSQL将在部分领域超越MPP。MPP企业的出路就是学习HAWQ。列存储也是推陈出新,近期主要是ORC(微软和Hortonworks合作)、 Parquet(Twitter和Cloudera合作),有木有看出来两个巨头PK的身影?有木有看到抱团PK?这些技术在测试中均显示出很大的优势。


5、IT和开源组织合作广泛。这个不仅仅存在IT厂商和开源之间,实际上开源之间也在密切合作。不太清楚合作的内部信息,但是基本上有两种模式:产品/软件交叉集成(含管理系统集成);合作开发和推广。在技术方面就要求软件有很好的架构,提供开放的接口,这一点Ambari的设计和俺对HT的要求一模一样,可以俺未能如愿,而Amabri已经开发了好几个版本。

6、技术上看,大数据和云的整合也是一个选项(注意,不是趋势,而是选项)。今年新增了OpenStack相关议题,一些集成商和厂商也提出了云上Hadoop的适用场景。这个并不是适用于所有人,但是部分用户可以因此获益。Netflix是一个典型的例子,他们的实例都在AWS上面,显然他们的Hadoop是基于虚拟机的,和一个Netflix小伙子(日本人)交流,他们大约有2000个虚拟实例,基于 EMR,并开发了Gennie管理系统。


Day 1:

由于时差,大早上5:00左右就起来了,早餐并干活后就跑到会场去了,第一天是meetup、BOF和布展,好几个感兴趣的Meetup在时间上重叠,上午听了YARN和 Accumulo,下午听了HBase和Ambari。其他的还有包括data scientist、System Integration、PIG、Hive等众多meetup,也就只好放弃,好在很多内容都会在今天上午的主题演讲中出现。

YRAN的Developer Meetup是几个Hortonworks的哥们主持的,先是收集大家的问题,主要包括intro、roadmap、API、compability、 Storm、HBase等内容,以讨论形式为主,不过由于参加者中只有少数是Yarn Developer,也会有有很多基础的问题讨论。有个Yarn的用户提到jar包的依赖性和命名规范等问题,这个目前Yarn目前并未考虑。

Accumulo是NSA(PRISM的源头)发布的开源系统,基本上类似HBase,但是提供了Cell级别的安全访问控制,在内部实现方面可能也有些不同(需要看代码才行),提供了Iterator API和一些批量处理的API。介绍者有2人,一人估计是 Sqrrl的,一人是HortonWorks的,感觉里面不少人都互相认识,这个也不奇怪,要是在中国,这种meetup肯定也会遇到很多熟人和前任同事啥的。Sqrrl是一个基于Accumulo的商业化软件和服务,提供了图分析和计算的能力,感觉是个挺不错的东西,可惜不是开源的,掩饰着给出了一些类SQL,输出结果是可视化的图形,而且可以在图形上进一步操作。


HBase meetup貌似也是Hortonworks的人主持的,一个印度哥们代替演讲者介绍了一个基于Yarn的HBase部署工具 Hoya,这个玩意不是必备工具,但是对于需要在同一个Hadoop集群上部署不同HBase版本进行测试同志、或者需要按需使用HBase进行分析的同志使用。现场演示看了一个Yarn集群上部署N多HBase的演示,只需指定配置文件和几个参数就可以部署。在演示HBase集群停止再启动的时候,戏剧性的场面出现了,只有master启动了,3个region server都没有出现,全场哗然,印度小哥们很淡定,说I trust our system。等了几分钟,不断刷新,最终还是成功了,全场报以掌声,不过这个玩意依然是一个内部工具,在github上面有source code。

Ambari meetup仅看到了后面的部分,是一个哥们在介绍如何在VMM、Windows Azure上面部署Hadoop,和WA集成的挺不错,充分利用了WA的storage等服务,看来术业却有专攻,这个玩意Linux哥们是绝对不懂的。


大门口和工作人员


下午4点左右离开会场,请一个老外帮我在门口拍了一张和yellow elephant的合影

(文/ 钱岭责编/ 包研。在原文基础有所删改,欢迎在评论中纠错。)

原文: Hadoop Summit 2013 Day2:信息大爆炸

前雅虎CTO:Hadoop扩展过程中的7个危险信号 【云先锋】星环TDH:性能大幅领先于开源Hadoop2的技术架构赏析 一周消息树:我想创业,但不懂技术怎么办? GitHub迁移数据库,借助MySQL大行其道! 实例亲授:教你如何创建AR应用 iOS七年,苹果都为开发者准备了哪些工具? TIOBE 2014年9月编程语言排行榜:Java、C++跌至历史最低点 如何甄别具有软实力的IT应聘者? 避免关注底层硬件,Nvidia将机器学习与GPU绑定 盘点MIT Demo Day上4个最有前途的创业点子 IDF 2014第一天纵览:智能设备唱主角 时尚化才是可穿戴的未来 ASP.NET之父Scott Guthrie:借技术之力铺平未来之路 两年测试,NSA或将让其数据中心洗上油浴 【云先锋】数云:另类淘宝创业,瞄准背后百万卖家的数据挖掘 Xcode 6 GM、6.1齐出,Swift终迎1.0版! 我眼中的Devops——倍道而进! 英特尔物联网世界:提供开发工具包,实现万物互联 三十功名尘与土——我的程序员生涯自白 触摸未来:为什么说AR是未来最重要的人机界面? 科普:谈云计算中间件理念 能准确“猜透”玩家心理,深度学习让游戏更智能 阿里过程改进专家:看板核心在于拉动式管理过程+数据化支持改进 英特尔Edison全面上市,专为小型可穿戴设备设计 APM最佳实践:Web 2.0和AJAX四大优化战略 开放•创新•共赢 2014华为开发者联盟沙龙即将开幕 排名前十的SQL和NoSQL数据库 干货议题,中国互联网安全大会免费门票等你来! 【云先锋】红象云腾:Hadoop将和高铁一样改变我们的生活 IDF 2014上开发者最应关注的三件事之:原生应用兼容性篇 《近匠》WRTnode创始人罗未:OpenWrt,下一个时代的Android AMD爆新一代架构,代号Zen! 如何获得按钮的位置(x y) 请问“GetVolumeInformation( )”函数所获取的“序列号”,在用FORMAT格式化后是否会发生变化? 怎么建立XML树状目录? 救命啊 我也很着急,拜托~~~~~~~~~(关于发布和订阅的简单问题) 在pb中如何自激动窗口,急! 遍了一个简单的servlet,编译时提示:package javax.servlet does not exist! 怎样统计新闻发布系统的新闻点击数 小弟是新手,用GCC编译了一个源文件,生成一个叫a.out的文件,好像是可执行文件,但不知怎样执行,请告知!!! 请问怎样才能用MainFrame类中的函数来控制同一项目中的视(View类)的操作??? 搞个调查:在杭州的程序员年薪有多少K? 请问大虾,Active Dictroy有什么作用,另外到什么地方可以下载? 请问各位仁兄,珠海的2002年程序员考试在哪里报名?谢谢! 如何绕过禁止IP?请指点? 小和尚想开网吧!请问各位高手!网吧应该用什么样的的配置比较好!扩朴方式那总比较好! Question:有没有_获取“视频采集卡”的AV信号 的控件? win98下能安装oracle8i吗? 如何在ASP页面中对XML文档进行询?(问题较多) Insert into TableName values(?,?,?,?,?) 为何写入中文时数据库会是乱码??? 有几个技术问题求助!!!! 有人要去参加Visual studio.net发布会吗 失落中 如何打开被屏蔽的“运行”窗口、注册表编辑器?? 小和尚想开网吧!请问各位高手!网吧应该用什么样的的配置比较好!扩朴方式那总比较好! 哪位能给个简单的dll例子吗?我不知怎样写。 简单问题:谁知道改变屏幕的一块区域的颜色的函数是什末? 有关数字视频监控系统的问题!!! 改错误 打算用PB做个Oracle管理器,请给点意见参考参考 如何在APPLET中读入 HTTP中将其他网页的内容 小女子求教!对您可能非常easy的问题! pb6.5做b/s!求救!送分! 这个问题,我都不好意思问,pb70如何编译成exe文件啊? 集成主板的声、显、网卡的问题。(内详) 怎么连sybase 数据库! 怎样用vb实现ctrl + alt + delete键的功能 求超级兔子魔法设置4.2的注册码,一定高分相送 如何调用数据库中带输入、输出参数的存储过程 ASP页面里用下拉框控制日期显示时,没有31号的月份怎么控制不显示31号呢? 寻EPOC高手。 刚学VC要注意点什么哈 如何将BMP图形转成JPEG后,存入数据呢?请教! 脸红请教! 先装好了linux还能加装windows吗? 请问高手:怎样在interDev6.0中调试ASP?? 高手请教,在线等待 一段代码整体一定的快捷方式 MSHFlexGrid的数据显示问题!(40) 使用ADO时,说interface not supported是怎么回事? 请教! 谁知哪儿有flash控制影片的源文件? (2001年全国高考试题)如图所示,虚线a、b和c 是某静电场中的三个等势面,它们的电势分别为φa、φb和φc,φa>φb>φc,一带正电的粒子射入电场中,其运动轨迹如实线KLMN所示,由图可知A.粒子从K 正确描述金属通性的是( )A.具有金属光泽 B.具有良好延展性、易导电导热C.具有高熔点 D.具有强还原性 有的同学认为:摩擦起电创造了电荷,放电现象以又使得电荷消失,你的看法? 导线中感应电动势的公式和场强大小和方向的公式 大学普通物理 静电场环路定律 相关的数学知识 人际交往, 为什么"解放思想事实求是"是邓小平理论的精髓? 求名词解释“结构第一” 沟通里面的名词解释.第三只耳朵现象 静电场的环路定理表明,静电场的电场线不可能是闭合的.为什么thankyou, 选择结构的名词解释using System;public class switchTest{public static void Main(){int num;Console.WriteLine("请输入一个1-7之间的数字:");string input = Console.ReadLine();num = int.Parse(input);switch (num){case 1:Console.WriteLine 沟通的名词解释 物理密度,要过程,满意给好评 身体结构的名词解释什么是身体结构?能不能一句话概括? 人际关系理论 化学题(关于晶胞中原子个数比)这个问题有人提问过,但我觉得答案很奇怪:如图是某晶体的一个晶胞,Y原子位于立方体中心,4个X原子位于立方体的四个顶点,该晶体的化学式为A.XY4B.XY2C.XYD.YX 名词解释社会情绪 横向信息沟通 原子晶体 如果有晶胞 那是用平摊法还是直接数原子个数?比如SIO2 最小的环里 有几个 SI原子几个O原子? 摩擦起电不是创造了电荷,只是电荷从一个物体__到另一个物体,使正,负电荷__了. 求下列表达式的值20mod19,15mod9,7div8,19div3(4>5)and(79)or(9 用稳恒电流场模拟静电场理论依据是什么 一个晶胞的原子数怎么求 文献上看到浓度单位 μM 是指 μmol/ml 那么 mM 静电场的模拟r的理论值如何求 一边长为10cm的立方体木块,在水中静止时,刚好有1/2露出水面,若g取10N/kg,盛水容器中水的深度为15cm.若忽略将木块压入水中的过程中容器水面的上升,则将木块从如图所示位置缓慢压至容器底部, 如图所示,放在水平桌面上的如图所示,放在水平桌面上的薄壁圆柱器重4N,底面积100CM2,弹簧测力计的挂钩如图所示,放在水平桌面上的薄壁圆柱器重4N,底面积100CM2,弹簧测力计的挂钩上的挂的重 用稳恒电流场模拟静电场(1) 如果电源电压Ua增加一倍,等位线和电力线的形状是否发生变化?电场强度和电位分布是否发生变化?为什么?(2) 试找出一对带等量异号电荷的长平行导线的静电场的 何谓不锈钢加工成形后所产生型变马氏体 放在水平桌面上的薄壁圆柱形容器底面积为100cm2,弹簧测力计的挂钩上挂着重为10N放在水平桌面上的薄壁圆柱形容器底面积为100cm2,弹簧测力计的挂钩上挂着重为10N的物体,现将物体浸没在水 密排六方晶胞的图是这样的吗?就是A3的图.是不是第一层有7个(6个围1个)第二层就只有3个?我一直认为第二层有6个的(因为第一层留了6个三角形空隙)可是查百度的图才发现不是我想确认 马氏体和普通不锈钢的价格哪个高 放在水平桌面上的薄壁圆柱形容器重4N,底面积100cm2,弹簧测力计的挂钩上挂着重为10N的物体,先将物体浸没于水中,容器内水面由16cm上升到20cm.求(1)物体放入水中时,容器底受到的水的压强(2 画出Au(CN)2-的结构图,此结构图可以表示出Au(CN)2-的所有原子的空间位置. 社会舆论状态 matlab如何在圆内随机画点 我国宪法为什么只有四个基本原则?其相互之间有什么关系? 历史、社会方面的一些名词解释历史社会课的一些名词,帮我解释一下(每个只要一句或几句话的简短解释),最好用初中历史知识.如果不能全部帮我解释的话,解释其中几个也可以的.谢谢各 虚假购买力(附例子) 联系实际理解宪法的基本原则问题 静电屏蔽时导体球内部放上一个点电荷,则内部场强会不会处处为0?如题 名词解释 公民不要太长 有一块花岗岩石碑,体积为1.2m³,从它上面敲下一小块,用天平称得质量是70g,用量筒和水测得其体积是25立方厘米.求这块石碑的质量是多少吨? 静电屏蔽中导体场强为什么会被弱化,在电场中导体内部电场削弱逐渐为零,电子流动导体内部电场电强为什么会逐渐变小呢? 有效的公共关系 甲乙两种金属的密度分别为ρ甲,ρ乙,已知甲的质量是乙的质量的2倍,将它们混合后制成的合金密度ρ合是多少? 被称为“国防金属”的是 公共关系名词解释揭丑运动.全员公关.交际型公关.进攻型公关.媒介公关.公关危机.危机公关.企业使命.公关礼仪.4C'S理论.麻烦知道的人帮我答一下, 科学考察队员在北极考察时,为了探索冰层下海水的成分,他们在厚薄均匀的冰层打了深达250m的冰洞,则为了取海水水样,系在取水桶上的绳子的长度至少为多少米?(P水=1.03×1000kg/立方米,P冰=0.9 为什么镁是国防金属? 名词解释:公关传播急用,谢谢 一个瓶子装满水,水的额体积是0.8*10³立方厘米.倒出一半水后,剩余水的密度为------- ;如果改用它装酒精,最多能装---------kg.若原瓶中的水倒出后全部结成了冰,冰的体积比原来增大了--------- 2.4g金属Mg变成Mg离子后失去的电子数为0.1NA 请高手一字一字的说明 公共关系中“政府形象”的名词解释 电势-静电场理论将正点电荷从场强为零的一点移动到场强为零的另一点,电场力做功为零多种回答,还是不懂为什么是错的~其实是不懂这句话,电荷所在不就本来就有电势,怎么从场强为零的一 Mg金属是什么 LP/mm什么单位 怎么读啊 如图所示,虚线a、b和c 是某静电场中的三个等势面,它们的电势分别为φa、φb和φc,φa>φb>φc,一带正电的粒子射入电场中,其运动轨迹如实线KLMN所示,由图可知A.粒子从K到L的过程中,电场力做负 马氏体不锈钢,如何调制?调质 摩擦起电现象表明,电荷是什么创造的,也被什么消灭
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘