说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Hadoop Summit 2013见闻:创业与Hadoop 2.0不可阻挡

HTML文档下载 WORD文档下载 PDF文档下载
Hadoop Summit 2013正在美国进行,这不仅Hadoop生态圈的盛宴,也是各路玩家的战场。不仅有Sqrrl、Wandisco、GridGain等新创业公司涌现,也能看到核心玩家Cloudera和Hortonworks互相角力。本文转自钱岭的博客。

Day 2:

今天参加了3个keynotes,42个session中的8个,和一大堆厂商讨论技术,真是信息大爆炸的一天。

Hadoop从诞生到今年已经有7个年头,今年出现了很多新的变化:

1、Hadoop被公认是一套行业大数据标准开源软件,在分布式环境下提供了海量数据的处理能力(Gartner)。


几乎所有主流厂商都围绕Hadoop开发工具、开源软件、商业化工具和技术服务。今年大型IT公司,如EMC、Microsoft、Intel、Teradata、Cisco都明显增加了Hadoop方面的投入,Teradata还公开展示了一个一体机;另一方面创业型Hadoop公司层出不穷,这次看到的几个是Sqrrl、Wandisco、GridGain、InMobi等等,都推出了开源的或者商用的软件。

2、Hadoop生态系统丰富多彩,但是核心已经被Cloudera、Hortonworks牢牢掌控,基本上没有撼动之可能。今年Hortonworks的宣传是100%open source,Cloudera只好干着急,谁叫他不开放Cloudera Enterprise Manager的源代码呢?Hortonworks介绍Ambari的时候,会场至少5个Cloudera的工程师在仔细聆听,有个小伙不停地在iPad上面速记,竞争可见一斑。个人估计,Cloudera早晚将Enterprise Manager开源。Hortonworks目前Ambari的committer是20+,Contributor 50+,后一个数字可能有些水,但是第一个是没有问题的。目前每天有update,1.25版本比1.0x版本明显好用了。其他大小厂商的生存之道就是搞插件,如Wandisco、VMware、Mellanox、GridGain,而且插件均是不用修改内核的外挂,这些厂商是没有能力动内核的,持续投入可能会有一些作用,如VMware,但是一线Hadoop厂商是绝不会松手的。

3、Hadoop 2.0转型基本上无可阻挡。Hortonworks的VPArun在介绍 Tez的时候,给出了很多有趣的PPT,主旨就是一个:MapReduce已经是昨日黄花, Yarn将是未来并行计算的基础设施。我自己还没有使用Yarn,但是Hortonworks已经围绕Yarn开发了很多工具,尤其是Tez,这个玩意可以提升查询计划的执行时间,PIG和Hive将被改写并重装上阵。Hortonworks虽然没有搞出来 Impala,但是从更底层的技术上包围Impala,两个老大的布局和较量始终没有停止。

 


4、SQL over Hadoop是一个重要的技术趋势。去年Hadoop World时,MPP还吹嘘自己如何牛X。但是Google发布了 Dremel和 PowerDrill,EMC搞出来 HAWQ,Cloudera搞出来Impala之后,所有的MPP都开始反思自己的技术路线。和Parccel技术人员(感觉是售前)讨论了一下,她找出一张卡片说Parccel速度是Hive的100X,领先Impala10年。我感觉这个说话很快就会失灵,首先是Hive的优化一直没有停止,Hortonworks搞出来Tez、 Stinger(与Facebook合作)。虽然MPP领先Hadoop很多年,根据80:20原则,如果HadoopSQL只做用户需要的20%特性,那么这个差距最多2年,2年内,HadoopSQL将在部分领域超越MPP。MPP企业的出路就是学习HAWQ。列存储也是推陈出新,近期主要是ORC(微软和Hortonworks合作)、 Parquet(Twitter和Cloudera合作),有木有看出来两个巨头PK的身影?有木有看到抱团PK?这些技术在测试中均显示出很大的优势。


5、IT和开源组织合作广泛。这个不仅仅存在IT厂商和开源之间,实际上开源之间也在密切合作。不太清楚合作的内部信息,但是基本上有两种模式:产品/软件交叉集成(含管理系统集成);合作开发和推广。在技术方面就要求软件有很好的架构,提供开放的接口,这一点Ambari的设计和俺对HT的要求一模一样,可以俺未能如愿,而Amabri已经开发了好几个版本。

6、技术上看,大数据和云的整合也是一个选项(注意,不是趋势,而是选项)。今年新增了OpenStack相关议题,一些集成商和厂商也提出了云上Hadoop的适用场景。这个并不是适用于所有人,但是部分用户可以因此获益。Netflix是一个典型的例子,他们的实例都在AWS上面,显然他们的Hadoop是基于虚拟机的,和一个Netflix小伙子(日本人)交流,他们大约有2000个虚拟实例,基于 EMR,并开发了Gennie管理系统。


Day 1:

由于时差,大早上5:00左右就起来了,早餐并干活后就跑到会场去了,第一天是meetup、BOF和布展,好几个感兴趣的Meetup在时间上重叠,上午听了YARN和 Accumulo,下午听了HBase和Ambari。其他的还有包括data scientist、System Integration、PIG、Hive等众多meetup,也就只好放弃,好在很多内容都会在今天上午的主题演讲中出现。

YRAN的Developer Meetup是几个Hortonworks的哥们主持的,先是收集大家的问题,主要包括intro、roadmap、API、compability、 Storm、HBase等内容,以讨论形式为主,不过由于参加者中只有少数是Yarn Developer,也会有有很多基础的问题讨论。有个Yarn的用户提到jar包的依赖性和命名规范等问题,这个目前Yarn目前并未考虑。

Accumulo是NSA(PRISM的源头)发布的开源系统,基本上类似HBase,但是提供了Cell级别的安全访问控制,在内部实现方面可能也有些不同(需要看代码才行),提供了Iterator API和一些批量处理的API。介绍者有2人,一人估计是 Sqrrl的,一人是HortonWorks的,感觉里面不少人都互相认识,这个也不奇怪,要是在中国,这种meetup肯定也会遇到很多熟人和前任同事啥的。Sqrrl是一个基于Accumulo的商业化软件和服务,提供了图分析和计算的能力,感觉是个挺不错的东西,可惜不是开源的,掩饰着给出了一些类SQL,输出结果是可视化的图形,而且可以在图形上进一步操作。


HBase meetup貌似也是Hortonworks的人主持的,一个印度哥们代替演讲者介绍了一个基于Yarn的HBase部署工具 Hoya,这个玩意不是必备工具,但是对于需要在同一个Hadoop集群上部署不同HBase版本进行测试同志、或者需要按需使用HBase进行分析的同志使用。现场演示看了一个Yarn集群上部署N多HBase的演示,只需指定配置文件和几个参数就可以部署。在演示HBase集群停止再启动的时候,戏剧性的场面出现了,只有master启动了,3个region server都没有出现,全场哗然,印度小哥们很淡定,说I trust our system。等了几分钟,不断刷新,最终还是成功了,全场报以掌声,不过这个玩意依然是一个内部工具,在github上面有source code。

Ambari meetup仅看到了后面的部分,是一个哥们在介绍如何在VMM、Windows Azure上面部署Hadoop,和WA集成的挺不错,充分利用了WA的storage等服务,看来术业却有专攻,这个玩意Linux哥们是绝对不懂的。


大门口和工作人员


下午4点左右离开会场,请一个老外帮我在门口拍了一张和yellow elephant的合影

(文/ 钱岭责编/ 包研。在原文基础有所删改,欢迎在评论中纠错。)

原文: Hadoop Summit 2013 Day2:信息大爆炸

移动周报:从硬件马拉松到Barra加盟,本周小米很火 小而美的Diffbot:将Web页面转化为数据库,获多位科技大佬注资 “叙利亚电子军”对美国多家网站发起“电子制裁” 麻省理工TR35之IT界年轻有为创新者(上) Linux用户须知的16款实用软件 新平台,新惊喜:记第二届Coding For Fun 创业建议泛滥成灾 实用的不多 腾讯云俱乐部北京站:知名手游商畅谈云时代开发运营策略 LG再战平板市场:将推出8.3英寸平板G Pad 编程语言与工具专题论坛:各类编程语言使用体会分享 淘宝、腾讯、豆瓣、支付宝、网易专家热议大数据分析与BI实战 “创新或灭亡”:Google的80/20只是转移视线的说辞罢了 自动化编排,配合SDN的iMC V7更加开放 [回顾]比尔·盖茨传奇的前半生 IT基础设施与运维论坛:IT基础设施及运维经验分享 记华为HCC2013 Day1:发力高端存储 HCC 2013虚拟化论坛:虚拟化未来发展方向 Windows 8操作系统市场份额增至7.41% Windows 7仍最受欢迎 【开源专访】Sea.js创始人玉伯的前端开发之路 SDCC 2013:阿里周宝方谈“去IOE”战略及实施 百度和高德:最后谁是地图的王者? 【CTO论道】瑞智和康CEO陶建辉:软硬结合是消费电子新潮流 10大高效率原型设计工具 JIRA与敏捷:李小龙教给我们的敏捷开发之道 百度开放云:Light Up The World,与开发者共享云未来 有胆你就来!11个在线编码大赛 CTO如何避免决策失控:第一步-定义角色 后机械硬盘时代,那些引领风骚的闪存初创公司 致远文杰:传统企业如何实现移动化转型? 记华为HCC2013 Day2:SDN开放编程系统OPS打造生态圈 HCC2013:华为FusionCube融合至简,性能至优 请教:如何由ip获得访问者所在地区 哪位兄弟教教我,如果实现自适应静音检测? 一个B-S结构的售楼软件的报价大致应该是多少? 我的确是做了错事,我决心去努力,但似乎力不从心? 100分 求《UML与Rational Rose从入门到精通》 急!各位高手关于要把多个DC放到一个pDC上显示的问题。 急。关于ppc和sybase的问题 请问编一个WINDOWS画笔 谁有c434009A主板的驱动程序。 请问在windows下如何实现像数据库一样的读、写锁? 为啥我在InstallShield中调用DLL中的函数总是出错呢? 如何能在HTML控件显示区域显示“....(指定的文件名)不存在”? 请问如何把TIF格式转换成JPG或GIF的格式?? 代理不能定时执行,请指教,谢谢。 怎样与外部数据库建立联合查询? 如何接受来自vbscript的字符数据列表 怎么在Gtk+的gnomemessagebox显示中文? (在线等待,急!)在vc中怎么使用datagrid控件 我使用的是odbc访问数据库 好急的问题,有关于SMS的接收字符处理问题,想了好几天没有结果 那位兄弟手头上有ASP.NET高级编程的电子书? DataGrid 控件问题,帮帮我把,朋友! automount? 一个比较难的问题! 关于datagrid的问题 在线等待 在cmd编辑器中用java运行已编译的文件运行不成功怎样解决 各位帮我解决一下这个问题!!!谢谢 关于ResourceManager的疑惑? 两台机器无法访问? 大家有没有听说过zebudom.js这个javascript的API?请问哪里可以下载它? 模块的连接 如何用php开发一个在线语音聊天室? 请问:有谁能提供Microsoft Project 2002简体中文专业版下载地址????急用!!!!!! 《The C++ Programming Language》有没有中译版? 请高手帮我看看: session的范围 硬件加、解密卡合作 请问那里能下到C或者C++的编译环境? 我的网页做好了,在我自己的机子上显示的很好看,在别的机子上有的显示的和在我的机子上显示的一样,很不错,但在有些机子上显示就变形了 怎样在文件中查找指定的字串? 为什么这两个查询都不能运行呢? 请教有关比对数据库的思路 运行结果出错!!!!!!!!!! google主页的问题(在线) (在线等待,急!)对话框中画图,超过了对话框大小,但是滚动条不能用 jbuilder7+jboss的配置问题? 求教:用UML做分析设计工具、用JAVA开发的一个办公管理系统的详细时间节点计划书。 數據庫數據顯示問題///急,在線等!!!!!個位幫幫忙? 讨论一下,eregi和strpos 为什么这两个查询都不能运行呢? 集成多文件夹操作窗口的软件有吗?有的请发QQ;6138215 物理的实验报告 解一元一次方程时,一般要怎样把方程化成一般形式? 吃一垫,真能长一智吗 小孔成像是孔越大越好吗?拜托各位大神 问一下仿一本男孩子必读的书写钢铁是怎样炼成的读后感有熟悉这个的吗?不好意思,麻烦各位{随机数K 吃一埑,长一智.的教育意义是什么? 河南博物院的简介以一个导游身份讲解. 麻烦看下仿一本男孩子必读的书写钢铁是怎样炼成的读后感有人了解的说下吧, 吃一垫,长一智. 外电极是什么意思呢? 一些唯美的句子 “三下乡”社会实践是哪一年开始的 国内和国外的臭氧发生器电极片(管式和板式)哪家最好?各家的优势是什么?国内用哪家的电极片比较多?我++++++++++分!) 根据句意,在括号里填上与“站立”意思相近的词.(不可重复)1 如今,一座座海洋石油平台已( )在海涛之中.2 月球上只能看到广袤的荒原上高山( ),巨石嶙峋.3 社会主义的中国像巨人一 英语翻译要写在简历里的 务必要准确 关于于丹庄子心得的一道问题.第一篇是“庄子何其人”,有人批评说,何其是多么的意思,成了“庄子多么人”,而不是“庄子是怎样的人”.这有道理吗? 青苹果表皮的锈斑是什么?现在买的青苹果,表皮有很多褐色的锈斑,是什么东西?跟虫粉什么的有关系吗? 台风暴跳如雷,像头疯狂的巨兽,呼呼地向着城市扑去,用了什么修辞手法?急 帮我写一下《于丹庄子心得》有感,字数在1000--1500 英语“赶上时代的步伐”最地道怎么说,书面语 他暴跳如雷,像___________.(比喻句) 班级辩论赛:中学生应该带手机的理由(我是正方)急 翻译:我们今天刚上班(书面语) 台风为什么暴跳如雷?急, 班级要开关于“高中生是不是应该张扬个性”主题辩论赛~我都愁死了,我是正方,就是我方观点是应我要❤名言❤和❤事例❤速度啊 本周五最后期限.不要复制粘贴的.要亲们自 英语翻译(他)能在短时间内掌握了工作要点和技巧,能够熟练使用TRS.有道翻译结果为In a short time grasp the working points and skills,Can skilled use TRS 《故乡的桂花雨》的主题是什么? Carl is stbdying ___food science at college and hopes to open 有什么果实上有翅膀啊?什么果实上会长有翅膀? 我能行 主题班会的回答内容,尽量多.(中学生) 1、《秋水》的主旨是什么?在客观上有何思想意义?2、本篇中的景... 移动标点符号,改变句意:哥哥说:我是好青年. 什么样的女人最讨人喜欢拜托各位了 3Q 于丹 庄子心得 读后感 河南博物院怎么样 鸽子蛋书面语叫什么? 于丹《论语心得》读后感1000字太急了! 他( )节省下自己的零花钱,( )靠帮邻居干活来凑足这笔钱》填什么关联词 "蛰"这个字用拼音怎么打? 拼搏辩论关于人生要拼搏的论据,辩论赛用,最好是反面的,(即人生不一定要每时每刻都拼搏,要适时行乐,或根本不要拼搏)~多多益善! 关于可以体现自己科学精神的作文,不少于500字 1.快车和慢车同时从A\B两地相向而行,3小时向隅后两车按原速继续前进,快车形式2小时到达B地,这时慢车距离A地还有110千米.求A\B两地相距多少千米?2.有一块铜与锌的合金,其中铜与锌的比是2:3, 钢铁是怎样炼成的读后感第二段怎么写 现在问道怎么升级快?现在问道怎么升级快? .....(要用比例等式来计算...):只选最好的答案..1.师徒两人合做了84个零件,师傅5分钟做一个,徒弟9分钟做一个,要求在相同的时间完成,每人应该分配到多少个零件?2.走同一段路,小玲要12分,小丽 于丹《论语》心得和《庄子》心得哪本经典? 夏衍为什么要赞颂小草的力量?这是课文上的一道题,马上要讲了,希望学过的,在下感激不尽! 上上月书面语怎么说 用刀在苹果上划一刀是大破坏了苹果的什么组织 什么字站着和躺着变成不同的两个字?比如:“田、口、回”这些字站着和躺着念都是一样的,但哪两个字站着和躺着念是不同的呢? 吃一欠长一智什么意思? 苹果烂掉了,只要把烂掉的部分削掉再吃就可以了吗?讲出道理 这可是当时什么(填关于轰的词语)的新闻 吃一寸 长一智什么意思 苹果表面是好好的,但里面已经发黑烂掉了,为什么?是不是因为防腐剂的添加,还是病虫害的原因?外表没什么异常,还是硬的. 这可是当时很什么(填关于轰的词语)的新闻 请教下仿一本男孩子必读的书写钢铁是怎样炼成的读后感J我想知道到,我在此先谢谢大伙了7dX 苹果会从里面烂掉吗?什么原因导致的什么人为原因导致的? 请问含义是“少”的汉字有哪些,包括古代 人为什么要吃一垫才会长一智?不是有句古话;"吃一垫.长一智"人为什么要吃一次亏才会长一智呢?###不吃亏就长不了智了吗?$$$有时的一次亏会让你损失很多!我就以这为例:我在盛大以保中被骗 中央巡视组:把发现问题、形成震慑作为专家析中央巡视组组长一次一授权:改变网络红人板车哥来到余杭 行万里路为穷16岁伴娘婚礼上遭多人扒光摸遍全身(温州公交车刮擦劳斯莱斯幻影加长版轿车11年来最强风暴袭英国 海陆空交通大英国“小报女王”将接受刑事审判 令世美国在欧反导基地开建 防范伊朗导弹引安倍突访土耳其 传为劝阻土放弃购中国杰克逊私人医生刑满出狱 欲再获行医执浙江11月1日起试发布县级城市实时空经国务院同意 杭州再启城市总体规划修1477吨进口菜油掺入国储库 中储粮九省区市可网查个人信用 注册到看结果医师协会等四部门联合呼吁:对医疗暴力卫计委将启动雾霾健康影响监测 农村将甬台温输气管道紧张施工(图)中国将建立空气污染(雾霾)健康影响监浙江下月起发布县级城市环境空气质量指微雨将至缓秋燥 本周天气温和但昼夜温南京一官员被问收入 称工资不到申报个“海鸥”翼尖扫过昆明 冷雨天添堵早高李文荣三次强调:昆明还没考虑“限牌”报到享“一站式服务”长沙年内公布黄标车限行区域中国女足在胜利中磨合听湘江诉说珍视您的信用记录 成就自在人生美国城市围棋赛罗田学子摘银亚运会今晚开幕图文:21日,北京,李娜将宣布 退役图文:21日,北京,李娜将宣布 退役市场预测苏格兰独立的概率为20%至3辽宁丹东发现600吨巨型单体“玉王”李文荣做客“金色热线”:还春城人民一云龙水库10月10日起停供昆明台风“海鸥”威力减弱 滇南今天仍有强飞机飞行遇颠簸 乘客吓得心脏病突发空伊朗说指责其逾期未执行协议是不准确的几内亚7名抗击埃博拉宣传团成员遇害政府挂牌督办云南23个重大火患单位 “海鸥”飞袭 气温骤降 七旬大爷晨练
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘