说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Hadoop Summit 2013见闻:创业与Hadoop 2.0不可阻挡

HTML文档下载 WORD文档下载 PDF文档下载
Hadoop Summit 2013正在美国进行,这不仅Hadoop生态圈的盛宴,也是各路玩家的战场。不仅有Sqrrl、Wandisco、GridGain等新创业公司涌现,也能看到核心玩家Cloudera和Hortonworks互相角力。本文转自钱岭的博客。

Day 2:

今天参加了3个keynotes,42个session中的8个,和一大堆厂商讨论技术,真是信息大爆炸的一天。

Hadoop从诞生到今年已经有7个年头,今年出现了很多新的变化:

1、Hadoop被公认是一套行业大数据标准开源软件,在分布式环境下提供了海量数据的处理能力(Gartner)。


几乎所有主流厂商都围绕Hadoop开发工具、开源软件、商业化工具和技术服务。今年大型IT公司,如EMC、Microsoft、Intel、Teradata、Cisco都明显增加了Hadoop方面的投入,Teradata还公开展示了一个一体机;另一方面创业型Hadoop公司层出不穷,这次看到的几个是Sqrrl、Wandisco、GridGain、InMobi等等,都推出了开源的或者商用的软件。

2、Hadoop生态系统丰富多彩,但是核心已经被Cloudera、Hortonworks牢牢掌控,基本上没有撼动之可能。今年Hortonworks的宣传是100%open source,Cloudera只好干着急,谁叫他不开放Cloudera Enterprise Manager的源代码呢?Hortonworks介绍Ambari的时候,会场至少5个Cloudera的工程师在仔细聆听,有个小伙不停地在iPad上面速记,竞争可见一斑。个人估计,Cloudera早晚将Enterprise Manager开源。Hortonworks目前Ambari的committer是20+,Contributor 50+,后一个数字可能有些水,但是第一个是没有问题的。目前每天有update,1.25版本比1.0x版本明显好用了。其他大小厂商的生存之道就是搞插件,如Wandisco、VMware、Mellanox、GridGain,而且插件均是不用修改内核的外挂,这些厂商是没有能力动内核的,持续投入可能会有一些作用,如VMware,但是一线Hadoop厂商是绝不会松手的。

3、Hadoop 2.0转型基本上无可阻挡。Hortonworks的VPArun在介绍 Tez的时候,给出了很多有趣的PPT,主旨就是一个:MapReduce已经是昨日黄花, Yarn将是未来并行计算的基础设施。我自己还没有使用Yarn,但是Hortonworks已经围绕Yarn开发了很多工具,尤其是Tez,这个玩意可以提升查询计划的执行时间,PIG和Hive将被改写并重装上阵。Hortonworks虽然没有搞出来 Impala,但是从更底层的技术上包围Impala,两个老大的布局和较量始终没有停止。

 


4、SQL over Hadoop是一个重要的技术趋势。去年Hadoop World时,MPP还吹嘘自己如何牛X。但是Google发布了 Dremel和 PowerDrill,EMC搞出来 HAWQ,Cloudera搞出来Impala之后,所有的MPP都开始反思自己的技术路线。和Parccel技术人员(感觉是售前)讨论了一下,她找出一张卡片说Parccel速度是Hive的100X,领先Impala10年。我感觉这个说话很快就会失灵,首先是Hive的优化一直没有停止,Hortonworks搞出来Tez、 Stinger(与Facebook合作)。虽然MPP领先Hadoop很多年,根据80:20原则,如果HadoopSQL只做用户需要的20%特性,那么这个差距最多2年,2年内,HadoopSQL将在部分领域超越MPP。MPP企业的出路就是学习HAWQ。列存储也是推陈出新,近期主要是ORC(微软和Hortonworks合作)、 Parquet(Twitter和Cloudera合作),有木有看出来两个巨头PK的身影?有木有看到抱团PK?这些技术在测试中均显示出很大的优势。


5、IT和开源组织合作广泛。这个不仅仅存在IT厂商和开源之间,实际上开源之间也在密切合作。不太清楚合作的内部信息,但是基本上有两种模式:产品/软件交叉集成(含管理系统集成);合作开发和推广。在技术方面就要求软件有很好的架构,提供开放的接口,这一点Ambari的设计和俺对HT的要求一模一样,可以俺未能如愿,而Amabri已经开发了好几个版本。

6、技术上看,大数据和云的整合也是一个选项(注意,不是趋势,而是选项)。今年新增了OpenStack相关议题,一些集成商和厂商也提出了云上Hadoop的适用场景。这个并不是适用于所有人,但是部分用户可以因此获益。Netflix是一个典型的例子,他们的实例都在AWS上面,显然他们的Hadoop是基于虚拟机的,和一个Netflix小伙子(日本人)交流,他们大约有2000个虚拟实例,基于 EMR,并开发了Gennie管理系统。


Day 1:

由于时差,大早上5:00左右就起来了,早餐并干活后就跑到会场去了,第一天是meetup、BOF和布展,好几个感兴趣的Meetup在时间上重叠,上午听了YARN和 Accumulo,下午听了HBase和Ambari。其他的还有包括data scientist、System Integration、PIG、Hive等众多meetup,也就只好放弃,好在很多内容都会在今天上午的主题演讲中出现。

YRAN的Developer Meetup是几个Hortonworks的哥们主持的,先是收集大家的问题,主要包括intro、roadmap、API、compability、 Storm、HBase等内容,以讨论形式为主,不过由于参加者中只有少数是Yarn Developer,也会有有很多基础的问题讨论。有个Yarn的用户提到jar包的依赖性和命名规范等问题,这个目前Yarn目前并未考虑。

Accumulo是NSA(PRISM的源头)发布的开源系统,基本上类似HBase,但是提供了Cell级别的安全访问控制,在内部实现方面可能也有些不同(需要看代码才行),提供了Iterator API和一些批量处理的API。介绍者有2人,一人估计是 Sqrrl的,一人是HortonWorks的,感觉里面不少人都互相认识,这个也不奇怪,要是在中国,这种meetup肯定也会遇到很多熟人和前任同事啥的。Sqrrl是一个基于Accumulo的商业化软件和服务,提供了图分析和计算的能力,感觉是个挺不错的东西,可惜不是开源的,掩饰着给出了一些类SQL,输出结果是可视化的图形,而且可以在图形上进一步操作。


HBase meetup貌似也是Hortonworks的人主持的,一个印度哥们代替演讲者介绍了一个基于Yarn的HBase部署工具 Hoya,这个玩意不是必备工具,但是对于需要在同一个Hadoop集群上部署不同HBase版本进行测试同志、或者需要按需使用HBase进行分析的同志使用。现场演示看了一个Yarn集群上部署N多HBase的演示,只需指定配置文件和几个参数就可以部署。在演示HBase集群停止再启动的时候,戏剧性的场面出现了,只有master启动了,3个region server都没有出现,全场哗然,印度小哥们很淡定,说I trust our system。等了几分钟,不断刷新,最终还是成功了,全场报以掌声,不过这个玩意依然是一个内部工具,在github上面有source code。

Ambari meetup仅看到了后面的部分,是一个哥们在介绍如何在VMM、Windows Azure上面部署Hadoop,和WA集成的挺不错,充分利用了WA的storage等服务,看来术业却有专攻,这个玩意Linux哥们是绝对不懂的。


大门口和工作人员


下午4点左右离开会场,请一个老外帮我在门口拍了一张和yellow elephant的合影

(文/ 钱岭责编/ 包研。在原文基础有所删改,欢迎在评论中纠错。)

原文: Hadoop Summit 2013 Day2:信息大爆炸

不规则形状窗口详细说明 -VB资料 不用 API ,直接调用关联的程序 -VB资料 处理过程时的鼠标显示 -VB资料 窗口处理技巧大全 -VB资料 窗口事件的发生顺序-VB资料 VB创建不规则窗口 VB创建透明窗体 VB创建位图菜单 VB创建无 Icon 的窗口 打开 Win95 的创建快捷方式窗口-VB资料 打印机技巧 -VB资料 带有历史记录功能的菜单-VB资料 得知目前Mouse所指的Menu Item是哪一个-VB资料 调整 Combo 下拉部分的宽度 -VB资料 对象是使用 TAB 键还是鼠标激活的 -VB资料 防止用户编辑文本框控件中的内容-VB资料 改变 ListIndex而不发生 Click 事件 -VB资料 改变 TreeView 的背景 -VB资料 改变安装向导的背景色-VB资料 改变按钮的文本颜色-VB资料 功能强大的增强列表框 ――VB6控件LISTVIEW使用指南 关闭MDI窗体中所有的子窗体-VB资料 规范设计Windows应用软件菜单-VB资料 VB建立可滚动的视区 -VB资料 VB建立可下拉选择的属性 -VB资料 VB建立无模式窗口 -VB资料 将VB5中的ToolBar变成平面的 将程序从任务列表中隐藏 -VB资料 将我自已的命令加入窗体的控制菜单栏-VB资料 VB利用 UnloadMode 来控制窗体的卸载? VB利用Form_QueryUnload询问使用者是否关闭窗口 请问什么服务器支持global.jsa 安装oracle数据库出错!!!!!!!!!!!! 如何在对话框的OnPaint()函数中得到该对话框的窗口大小? 一个看似简单却很棘手的问题,不得不请教各位。。。 哪里有将rm文件转换成avi或者mpg格式的软件? 关于ARP广播域的问题?????????????? 请问,,怎么设定mshflexgrid的属性,使其各列的宽度与数据源字段的宽度一致 请问这几个对象是否代表同一个对象? 菜鸟问题:如何跟随鼠标拉出一虚线矩形框?回复就有分! 高分寻Authorware v6.0 注册码 在数据窗口中有“部门”和“员工”两个列,分别采用各自的下拉数据窗口显示。如何使得“部门”改变时,“员工”显示与其对应的人员而不是“员工”表中所有人员。 怎样安装UNIX? 灌水加求救…… T-SQL中SELECT句中可不可以有存储过程。。。。。。。。这样为什么不行呢?(100分酬谢) MS SQL SERVER 有谁知道型号为CDU111-NE 的SONY光驱是多少速的吗? 谁对RTTTL格式文件了解,怎么把它转换成可以发送的二进制格式? 关于ORACLE存贮过程的迷惑,请各位大侠解惑! 请问如何向ActiveX控件发送一个自定义数据结构的指针 有没有好一点的ASP上传组件?? asp调用dll失败!!! 为何用了2个以上的单元有调用窗体就出现 access violat at address XXXXX in module的错误 请问有没有一些用来专门用作软件测试的测试软件? EPSONSTYLUS C20SX 型号的打印机支持NT4吗? 请问哪里有linux操作系统的源代码下载?谢谢 哪几种服务器支持global.jsa 关于数据绑定控件的问题。 关于TIFF文件的处理 DLL动态调用的问题,应注意些什么? 有关错误提示问题的文件存放在哪里呀 vf怎样求2个日期类型的差值?象sqlserver的datediff一样。 一个程控交换问题。 请教各位高手,如何在程序中模拟鼠标点击行为,大大加分!!!!!!!!!!!!!!!! 关于一个消息参数的麻烦………………求救高手! 我在微软的网站上下载了一个DCOM的例子,但不能在两台机器上运行? chinajordan(超飞人)请进!!!!!!!!!!!!!!!!!!!! 如果你是sql语句的高手,请看 请问,有谁知道上海华冠电子设备有限公司怎么样的,谢谢! 怎么把一个控件的坐标转换为它的容器坐标!? Canon4650打印测试正常,软件打印预览正常,打出的字横向压缩50%,挤在左边,右为空。 几個很實際也很有用的數据庫問題,請高手指點.(在線等待!) 求教 三千 以及各位Oracle高手。我该做些什么? 救命啊!怎么才能取到她的路径啊??急!!!!!!!!!!! include file为什么不行了 DBGrid的问题... 为什么我执行jsp程序时出现如下错误?[:(!](在下为新手一个) 天哪!csdn的系统到底是怎么了? 请教各位高手,如何在程序中模拟鼠标点击行为,大大加分!!!!!!!!!!!!!! 如何控制MDI或SDI的窗体右上角的关闭按纽???它响应的是哪个肖息? pb7连接sqlserver7,程序运行后,半天也没什么反映,也不报没连接上数据库,怎么回事? 哪儿有servlet的帮助文档 I'd like two hamburger for breakfast.句子中有一处错误请找出 They're from Grandpa and Grandma.(对划线部分题问)画Grandpa and Grandma skirt和dress有什么区别? 为什么do you like hamburger?里的hamburger不加复数而do you like hamburgers for breakfast?要加? 下列溶液中能够用来鉴别BaCl2,NaCl,Na2Co3三种物质的试剂( ),将其滴加到三种试剂中的现象分别是( )( )( ).A.AgNo3溶液 B.稀硫酸 C稀盐酸 D稀硝酸 jacket、shirt、dress、T—shirt、skirt、jeans、pants是什么意思?例:l can see jacket,shirt,dress,T—shirt,skirt,jeans and pants.是什么意思? I want a hamburger for breakfast.(同义句) 一种小瓶装的消毒液净重50克.小明的妈妈买回一些瓜果,现在要将这些瓜果进行消毒(瓜果消毒,消毒液与水的质量比为1:500),取出5克消毒液,需要加水多少克? 有三瓶失去标签的液体1:稀硫酸2:氯化钠溶液3:澄清的石灰水.在没有酸碱指示剂的情况下,如何鉴别?用试剂鉴别,并且写出试剂名称,还有反映的方程式只有一种试剂,并且3种液体都用着一 怎么回答:What do you like eating for breakfast? burger与hamburger有什么不同?比如:中间的馅啊. 活塞面积为210qmm是什么意思?qmm是个什么单位? 洗洁精能洗净苹果吗?洗完后苹果上还有农药吗 mooncake,Chinese(Christmas) pudding,pizza,cookies,biscuit,sandwich,hamburger哪个(不)可数? 与“hamburger”同类的词有哪三个? 混凝土的天然容重、饱和容重、浮容重、天然内聚力都是多少. 什么叫玉米容重 将下列单词要求进行分类 salad tea hamburger sandwich将下列单词要求进行分类salad tea hamburger sandwich water milk juice ice cream fish bread cake chicken rice egg beef noodles 分别分入food 和drink i have e bread or hamburger for breakfasti have e______ bread or hamburger for breakfast 初一 玉米容重国家标准是多少?容重与玉米品质的影响如何? 在线等! Which do you like better, a hamburger or a sandwich?(保持句意不变) __ you __ a hamburgerWhich do you like better, a hamburger or a sandwich?(保持句意不变) ___ you __ a hamburger or a sandwich? I have bread ,mike,sausage and a hamburger anda hamburger _____breakfast 玉米容重和水分 可以一次性鉴别出蒸馏水、稀盐酸、石灰水的试剂是 ( ) A.酚酞试液 B.碳酸钠溶液 C.稀硝酸 D.氯化钠溶液可以一次性鉴别出蒸馏水、稀盐酸、石灰水的试剂是 ( )A.酚酞试液 B.碳酸钠溶液 I have bread for breakfast. 额,怎么样才能在用水最少的情况下洗干净刚用洗洁精洗过的碗啊盘子之类的 sweet dumplings 是什么?可以 翻译为汤圆, I usually have milk and bread for breakfast的答句 A:So have I .B:so do I 洗洁精洗碗几次能洗干净 稀硫酸和氯化钠为什么不能用酚酞溶液? Mum shows_____ now to make a hamburger. 要将沾有油的碗洗干净,还有什么方法?(不能用肥皂、洗洁精等)急用! 为什么稀硫酸溶液的氯化钠溶液不能使酚酞试液变红 Mum shows ( ) how to make a hamburger. A he B him C his D himself谢谢啦 I often have milk and bread for breakfast.(改为一般疑问句) 为什么不能用酚酞溶液鉴别浓稀硫酸 —Oh.I'm hungry.Mum,can I have the hamburger on the plate?—No.It tastes ( ) .A.terribly B.terrible C.good D.well为什么不是选A 而是选择B 讲知识点 My family often have milk for breakfast 变一般疑问句怎么说?请仔细说明 SANDWICH MOONCAKE SWEET ……分别是什么国家的食物?SANDWICH MOONCAKE SWEET DUMPLINGS SALAD HAMBURGER PIZZA ZONGZI HOT DOG DUMPLINGS什么意思?分别是什么国家的食物? .-Oh,I’m hungry.Mum,can I have the hamburger on the plate?-No.It tastes________ A.terribly B.terrible C.good D.well I have eggs and bananas for breakfast.(变一般疑问句) sweet dumplings是什么意思? hamburger和hamburgers有什么不一样,都分别在什么时候用? He likes milk and eggs for breakfast(改为一般疑问句) bread meat rice哪个不同类 小芳的妈妈准备将生吃的瓜果用下面的这瓶消毒液进行消毒,这瓶消毒液需加水多少千克?(消毒液25g)、(说明:1、用法:擦洗浸泡5--6分钟.2、用途:(1)瓜果、餐具类浓度为0.2%(2)衣服及 He has milk for breakfast.改成一般疑问句时为何将has改成have呢,第三人称不是用has的吗?请说明原因. biscuit 的同类词 如何测定土壤容重掌握土壤容重、比重、孔隙度及三相比的测定与计算方法 现有三瓶失去标签的溶液,分别是H2SO4,NaCl,澄清石灰水,用一种试剂一次鉴别出来,想问一下能加BaCO3吗?参考答案是可溶性的碳酸盐就可以 biscuit的同类词是什么?给我四个 土壤容重怎么获取 有一种瓶装消毒液(说明书在下方).小婷妈妈买回2千克瓜果,现需果,取出8克消毒液,需加水有一种瓶装消毒液(说明书在下方).小婷妈妈买回2千克瓜果,现需将这些生吃的瓜果,取出8克消毒 稀盐酸 能鉴别 稀硫酸 氯化钠 石灰水 土壤容重大小的意义 选出每组单词中不同类的一项.( )1;A;hamburger.B;hand.C;hot dog.( )2;A;duck.B;milk.C;tea.( )3;A;ice-cream.B;French fries.C;pencil-case.( )4;A;juice.B;coffee.C;cat.5;( )A;bread.B;black.C;cake. 找出不同类:1、pencil、eraser、dress2、banana、hamburger、peach3、jacket、bread、shirt4、blue、museum、school5、November、April、Friday 请清楚地说出每一组的不同的单词! 土壤容重大小和土壤深度关系大吗,不同层次土壤容重差别大吗 boiled water boiling water hot water三者区别? skirt和dress的区别?
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn