说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Hadoop Summit 2013见闻:创业与Hadoop 2.0不可阻挡

HTML文档下载 WORD文档下载 PDF文档下载
Hadoop Summit 2013正在美国进行,这不仅Hadoop生态圈的盛宴,也是各路玩家的战场。不仅有Sqrrl、Wandisco、GridGain等新创业公司涌现,也能看到核心玩家Cloudera和Hortonworks互相角力。本文转自钱岭的博客。

Day 2:

今天参加了3个keynotes,42个session中的8个,和一大堆厂商讨论技术,真是信息大爆炸的一天。

Hadoop从诞生到今年已经有7个年头,今年出现了很多新的变化:

1、Hadoop被公认是一套行业大数据标准开源软件,在分布式环境下提供了海量数据的处理能力(Gartner)。


几乎所有主流厂商都围绕Hadoop开发工具、开源软件、商业化工具和技术服务。今年大型IT公司,如EMC、Microsoft、Intel、Teradata、Cisco都明显增加了Hadoop方面的投入,Teradata还公开展示了一个一体机;另一方面创业型Hadoop公司层出不穷,这次看到的几个是Sqrrl、Wandisco、GridGain、InMobi等等,都推出了开源的或者商用的软件。

2、Hadoop生态系统丰富多彩,但是核心已经被Cloudera、Hortonworks牢牢掌控,基本上没有撼动之可能。今年Hortonworks的宣传是100%open source,Cloudera只好干着急,谁叫他不开放Cloudera Enterprise Manager的源代码呢?Hortonworks介绍Ambari的时候,会场至少5个Cloudera的工程师在仔细聆听,有个小伙不停地在iPad上面速记,竞争可见一斑。个人估计,Cloudera早晚将Enterprise Manager开源。Hortonworks目前Ambari的committer是20+,Contributor 50+,后一个数字可能有些水,但是第一个是没有问题的。目前每天有update,1.25版本比1.0x版本明显好用了。其他大小厂商的生存之道就是搞插件,如Wandisco、VMware、Mellanox、GridGain,而且插件均是不用修改内核的外挂,这些厂商是没有能力动内核的,持续投入可能会有一些作用,如VMware,但是一线Hadoop厂商是绝不会松手的。

3、Hadoop 2.0转型基本上无可阻挡。Hortonworks的VPArun在介绍 Tez的时候,给出了很多有趣的PPT,主旨就是一个:MapReduce已经是昨日黄花, Yarn将是未来并行计算的基础设施。我自己还没有使用Yarn,但是Hortonworks已经围绕Yarn开发了很多工具,尤其是Tez,这个玩意可以提升查询计划的执行时间,PIG和Hive将被改写并重装上阵。Hortonworks虽然没有搞出来 Impala,但是从更底层的技术上包围Impala,两个老大的布局和较量始终没有停止。

 


4、SQL over Hadoop是一个重要的技术趋势。去年Hadoop World时,MPP还吹嘘自己如何牛X。但是Google发布了 Dremel和 PowerDrill,EMC搞出来 HAWQ,Cloudera搞出来Impala之后,所有的MPP都开始反思自己的技术路线。和Parccel技术人员(感觉是售前)讨论了一下,她找出一张卡片说Parccel速度是Hive的100X,领先Impala10年。我感觉这个说话很快就会失灵,首先是Hive的优化一直没有停止,Hortonworks搞出来Tez、 Stinger(与Facebook合作)。虽然MPP领先Hadoop很多年,根据80:20原则,如果HadoopSQL只做用户需要的20%特性,那么这个差距最多2年,2年内,HadoopSQL将在部分领域超越MPP。MPP企业的出路就是学习HAWQ。列存储也是推陈出新,近期主要是ORC(微软和Hortonworks合作)、 Parquet(Twitter和Cloudera合作),有木有看出来两个巨头PK的身影?有木有看到抱团PK?这些技术在测试中均显示出很大的优势。


5、IT和开源组织合作广泛。这个不仅仅存在IT厂商和开源之间,实际上开源之间也在密切合作。不太清楚合作的内部信息,但是基本上有两种模式:产品/软件交叉集成(含管理系统集成);合作开发和推广。在技术方面就要求软件有很好的架构,提供开放的接口,这一点Ambari的设计和俺对HT的要求一模一样,可以俺未能如愿,而Amabri已经开发了好几个版本。

6、技术上看,大数据和云的整合也是一个选项(注意,不是趋势,而是选项)。今年新增了OpenStack相关议题,一些集成商和厂商也提出了云上Hadoop的适用场景。这个并不是适用于所有人,但是部分用户可以因此获益。Netflix是一个典型的例子,他们的实例都在AWS上面,显然他们的Hadoop是基于虚拟机的,和一个Netflix小伙子(日本人)交流,他们大约有2000个虚拟实例,基于 EMR,并开发了Gennie管理系统。


Day 1:

由于时差,大早上5:00左右就起来了,早餐并干活后就跑到会场去了,第一天是meetup、BOF和布展,好几个感兴趣的Meetup在时间上重叠,上午听了YARN和 Accumulo,下午听了HBase和Ambari。其他的还有包括data scientist、System Integration、PIG、Hive等众多meetup,也就只好放弃,好在很多内容都会在今天上午的主题演讲中出现。

YRAN的Developer Meetup是几个Hortonworks的哥们主持的,先是收集大家的问题,主要包括intro、roadmap、API、compability、 Storm、HBase等内容,以讨论形式为主,不过由于参加者中只有少数是Yarn Developer,也会有有很多基础的问题讨论。有个Yarn的用户提到jar包的依赖性和命名规范等问题,这个目前Yarn目前并未考虑。

Accumulo是NSA(PRISM的源头)发布的开源系统,基本上类似HBase,但是提供了Cell级别的安全访问控制,在内部实现方面可能也有些不同(需要看代码才行),提供了Iterator API和一些批量处理的API。介绍者有2人,一人估计是 Sqrrl的,一人是HortonWorks的,感觉里面不少人都互相认识,这个也不奇怪,要是在中国,这种meetup肯定也会遇到很多熟人和前任同事啥的。Sqrrl是一个基于Accumulo的商业化软件和服务,提供了图分析和计算的能力,感觉是个挺不错的东西,可惜不是开源的,掩饰着给出了一些类SQL,输出结果是可视化的图形,而且可以在图形上进一步操作。


HBase meetup貌似也是Hortonworks的人主持的,一个印度哥们代替演讲者介绍了一个基于Yarn的HBase部署工具 Hoya,这个玩意不是必备工具,但是对于需要在同一个Hadoop集群上部署不同HBase版本进行测试同志、或者需要按需使用HBase进行分析的同志使用。现场演示看了一个Yarn集群上部署N多HBase的演示,只需指定配置文件和几个参数就可以部署。在演示HBase集群停止再启动的时候,戏剧性的场面出现了,只有master启动了,3个region server都没有出现,全场哗然,印度小哥们很淡定,说I trust our system。等了几分钟,不断刷新,最终还是成功了,全场报以掌声,不过这个玩意依然是一个内部工具,在github上面有source code。

Ambari meetup仅看到了后面的部分,是一个哥们在介绍如何在VMM、Windows Azure上面部署Hadoop,和WA集成的挺不错,充分利用了WA的storage等服务,看来术业却有专攻,这个玩意Linux哥们是绝对不懂的。


大门口和工作人员


下午4点左右离开会场,请一个老外帮我在门口拍了一张和yellow elephant的合影

(文/ 钱岭责编/ 包研。在原文基础有所删改,欢迎在评论中纠错。)

原文: Hadoop Summit 2013 Day2:信息大爆炸

揭秘Instagram Hyperlapse背后的技术 【CTO俱乐部在线教育研讨会】用互联网技术深入创新教育产品 降低门槛!Hybrid应用开发框架LigerMobile 下一代IT革命:微服务器和雾计算 使用Mongo Connector和Elasticsearch实现模糊匹配 时隔8个月,物联网联盟AllSeen如今怎样? 《近匠》简网:开发零门槛 快速建原生App MDCC免费展位申请超预期 大会内容初曝光 在服务器与交换机定制之后,谷歌着手量子计算机CPU设计 电信天翼开放平台鲍占斌:优质能力 分成比例高 艾格拉斯副总裁王晓波:手游定价如何设计 Xcode 6 Beta 7发布:语法定、内库改,Swift何时完善? 干货来袭:由22个联邦机构分享的6482个数据集 Phablet出货量今年将超移动PC,明年再超平板 如何提高Web服务端并发效率的异步编程技术? 改改改!让应用通过审核出人头地的10个方法 正益无线CEO王国春:AppCan如何获得50万开发者青睐 在收购Xtreme Labs之后,Pivotal推出PaaS移动服务 .NET开发者必备的11款免费工具 .NET开发不可错过的25款高效工具 Docker最佳实践!尽在2014 Container技术大会 pflua:用Lua编写的高性能网络包过滤工具箱 掌上明珠张磊:如何设计手游付费体系 云游科技何千军:游戏开发和后端逻辑经验 《近匠》Highway1:孵化,不只是简单的帮助 嘉宾来了 MDCC 2014首批演讲嘉宾名单公布 前雅虎CTO:Hadoop扩展过程中的7个危险信号 【云先锋】星环TDH:性能大幅领先于开源Hadoop2的技术架构赏析 一周消息树:我想创业,但不懂技术怎么办? GitHub迁移数据库,借助MySQL大行其道! 实例亲授:教你如何创建AR应用 兄弟们。我在JAVA区竟然得不到答案。只能期望在这里找到帮助了(共200分的问题) 在ACCESS中设置数据表,如何实现数据库中多表间的关联访问,用VC的DAO实现 ORA-12560: TNS:协议适配器错误 vb+asp.net中的datagrid分页遇到问题?附代码 改了IIS账户的密码,ASP不能运行,但原先的密码不记得了!现在要修改什么文件才可以? 为什么反向工程失败? 关于ER图的做法 窗口最大化、最小化问题 本站提供能成为QQ会员的QQ代理,快来~~~ 请帮个忙好吗? 硬盘保护的问题 轻轻地温柔地任人宰割 小程序一个,很简单的,但是这样的问题经常遇到的 关于交换区的问题 d7的序列号码 刚做好的编程技术文章系统,欢迎来翻阅技术文章. ★★★★★ 那位高手有这样的好东东。。。 ★★★★★ 最近流行什么歌? PHP新手: 给一篇在Windows2000环境下PHP的安装,及apache的配置的文章,来者有分 怎么给MM送花 在哪儿下载<WINDOWS 程序设计>? HELP ME!关于TCP/IP传输位图的问题. 刚做好的编程技术文章系统,欢迎来翻阅技术文章. 刚做好的编程技术文章系统,欢迎来翻阅技术文章. 请问怎么在对一个设备发送数据的时候又接受这个设备返回的返回码呢? C++ builder的密码! 如何使用微软自带的扑克牌动态库(crads.dll)? 哪里可以得到teechart pro5? 刚做好的编程技术文章系统,欢迎来翻阅技术文章. 大哥好,我向大家要个数据库,高分求救 这是条什么内存??? 怎样改变上传附件“浏览”按钮的颜色? 请问怎样显示动态的时间? 如何理解? JBuilder 7中如何增加一个Server 三层结构(delphi)中应用服务器如何调用其他模块的方法? JBuilder 7中如何增加一个新的Server 想买一款80G的硬盘,各位推荐一下哪个牌子的质量比较好! 哪儿有JDK1.41下,要速度快的。 我的249个字段,这对操作有影响吗? 请大家给我推荐几本delphi的书。。 想买一款80G的硬盘,各位推荐一下哪个牌子的质量比较好! 有谁用vc做过word的addin? 这是条什么内存??? 请大家帮忙 急急急,乱码问题!!!!! 求助:DIB位图显示的问题 我这里有REDHAT8的5个ISO文件,我要准备安装,应该怎么操作这几个ISO文件? 怎么消除窗体上的标题栏,急!!菜鸟求救~!! asp里面可否传递数组的参数? 连接池的问题 do you want to do any或者some shopping哪个对? jim in the library,i saw him there just now.A maybe B may be C might is 合肥市公安局蜀山分局户籍处电话? 英语翻译请说明原因, the only explananation i can find is the love that i found .ever since you've been around 歌名是? 合肥市公安局蜀山分局稻香村派出所户籍科电话 the first time that I met him, I fell in love with him. 要比较冷酷、比较高傲的那种英文名、女生用的、 李白《蜀山难》翻译 the teacher noticed him ____(play)basketball on the playground just now Only now discovered that,still in love with I have never thought that there will be a such you to Walked into my life.我从来没有想过会有一个这样的你走进我的人生.(过去式)写对了吗? we found him play basketball over there just now改为被动语态They saw the boys playing football when they passed there改为被动语态 鲁迅先生可以用哪个四字词语来形容急 have you ever thought of what makes a trustworthy person? 天气非常好所以他们去公园散步了.翻译 英语未来的我 加中文翻译 Have you thought about ( )your life ( ) when you grow up,Susan?a.how ,is b.what,is c.how ,will like d.what,will be like I saw him ____football just now.是填play还是playing Unknowingly, I fell in love with you是什么意思? Americans eat _____ vegetables per person today as they did in 1990.A.more than twice B.as twice as manyC.twice as many as D.more than twece as many 鸟的天堂里有什么鸟最好全举出来, 孙中山反映的辛亥革命的作用有哪些 12.Americans eat __ vegetables per person today as they did in 1910.(2002上海春)A.more than twice B.as twice as many C.twice as many as D.more than twice as many希望有解题步骤 鸟的天堂 描写鸟的词有. fell in love with you中文!全中文!我已经知道歌词了!我要的是中文!答好了有赏金!跪求中文意思 快滴!歌词 我说的是歌词的中文意思! Do you want an apple?同义句—— —— —— an apple?快 鸟的天堂第十二自然段鸟儿的特点(3个空) 人们常用杜甫的那一句诗来形容老师对学生默默无闻的培育和潜移默化的熏陶? 急!快! Which the apple do you want to?同义句那个...考试的一个题目...句子记不清楚了...见谅哈...大概意思就是这样... 蜀山在哪里? Americans are eating ___vegetables per person today as they did in 1910.A more than twiceB as twice as many C twice as many as D more than twice as many 为什么不能选C 英语翻译SELLER ACCEPTS TO SHIP PRODUCT BACK AT ITS OWN EXPENSE AND FULLY COMPENSATE ALL OF EXPENSE FOUND TO CONTAIN MELAMINE AFTER UNLOADING OR REJECTED BY LOCAL CUSTOMS OR OTHER REGURATORY AUTHORITIES AT DESTINATION.SELLER CONFIRMS TO COMPENSATE "It's the thought that counts."这个句子是什么意思啊? Americans eat -----vegetables per person today as they did in 1990 A more then twice as many B moreAmericans eat -----vegetables per person today as they did in 1990A more then twice as many B more than twice C twice as many as D As twice as much 由 if you have a chance to do something for it 《蜀山主庙》的翻译 Americans eat ______vegetables per person today as they did in 1910a.twice as many as b.more than twice as many为什么不选A 看英文怎么说 大蜀山的描写 汉译英:文件权限文件权限的设置能最大限度保护公司文件的安全性和保密性.通过对每个用户帐号的设置来达到对文件权限的保护 have a chance to do sth造句 很急的 大家帮帮我 每个人心中都有一个属于自己的蜀山. 这句话中的蜀山是指什么意思? 汉译英:而每个文件的权限要求由文件的管理者来决定 可以看你吗英文怎么说 改装汽车的配件改装车的配件有哪几种? 用处? 全部列出来我说的是内部改装. 比如排气孔阿涡轮之类的. 我想把三菱改成更好的跑车,拿来彪 中译英:现在的权限不是我要的. have the chance ----------(to do/doing) something 有关于团结一心的词语 英语高手进,关于设备方面的中译英冷冻水系统目前存在三通阀阀芯泄露及进出反应釜门经常堵塞问供应商一直没能解决就是以上一段话要翻译的对啊不好意思是“问题”少打了个字 I would like three piece of bread 就three提问 根据句意及首字母的提示,把句子补充完整.1,The plane f__________ to Beijing every day.2,My father's sister is my a___________.3,June lst is C__________ Day. i think he may be in the classroom. No , he () be there. i saw him in the dining room just nowA: mustn't B: can't C: may not D: might not want,a,of,piece,bread,I (连词成句) 根据句意把句子补充完整秋天到了,校园的树叶飘落下来,这不是落叶,而是( ),这不是落叶,而是( ) 在括号里把句子补充完整, -Is Jack in the library -Maybe.I saw him( )out with some books just now括号中为什么是填go?just now不是非延续性动词吗?应该要接短暂性动词吧.saw him going out 看见他正在出去、 正在出去 这个动作, 要翻译身份证,请问合肥市公安局蜀山分局怎么翻译啊? Do you want__wine?填some还是any,为什么?我觉得应该填some,可是我不知道理由.我也找到下面这个例子.Penny and Sam don't have any wine,but they have some beer. white should be in hs office.l saw him there just nowmustmayshouldneed选哪个 合肥市公安局蜀山分局电话号码是多少啊?银行办卡,说没我这个身份证,我要打电话问问 ,,大侠门
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘