说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Hadoop Summit 2013见闻:创业与Hadoop 2.0不可阻挡

HTML文档下载 WORD文档下载 PDF文档下载
Hadoop Summit 2013正在美国进行,这不仅Hadoop生态圈的盛宴,也是各路玩家的战场。不仅有Sqrrl、Wandisco、GridGain等新创业公司涌现,也能看到核心玩家Cloudera和Hortonworks互相角力。本文转自钱岭的博客。

Day 2:

今天参加了3个keynotes,42个session中的8个,和一大堆厂商讨论技术,真是信息大爆炸的一天。

Hadoop从诞生到今年已经有7个年头,今年出现了很多新的变化:

1、Hadoop被公认是一套行业大数据标准开源软件,在分布式环境下提供了海量数据的处理能力(Gartner)。


几乎所有主流厂商都围绕Hadoop开发工具、开源软件、商业化工具和技术服务。今年大型IT公司,如EMC、Microsoft、Intel、Teradata、Cisco都明显增加了Hadoop方面的投入,Teradata还公开展示了一个一体机;另一方面创业型Hadoop公司层出不穷,这次看到的几个是Sqrrl、Wandisco、GridGain、InMobi等等,都推出了开源的或者商用的软件。

2、Hadoop生态系统丰富多彩,但是核心已经被Cloudera、Hortonworks牢牢掌控,基本上没有撼动之可能。今年Hortonworks的宣传是100%open source,Cloudera只好干着急,谁叫他不开放Cloudera Enterprise Manager的源代码呢?Hortonworks介绍Ambari的时候,会场至少5个Cloudera的工程师在仔细聆听,有个小伙不停地在iPad上面速记,竞争可见一斑。个人估计,Cloudera早晚将Enterprise Manager开源。Hortonworks目前Ambari的committer是20+,Contributor 50+,后一个数字可能有些水,但是第一个是没有问题的。目前每天有update,1.25版本比1.0x版本明显好用了。其他大小厂商的生存之道就是搞插件,如Wandisco、VMware、Mellanox、GridGain,而且插件均是不用修改内核的外挂,这些厂商是没有能力动内核的,持续投入可能会有一些作用,如VMware,但是一线Hadoop厂商是绝不会松手的。

3、Hadoop 2.0转型基本上无可阻挡。Hortonworks的VPArun在介绍 Tez的时候,给出了很多有趣的PPT,主旨就是一个:MapReduce已经是昨日黄花, Yarn将是未来并行计算的基础设施。我自己还没有使用Yarn,但是Hortonworks已经围绕Yarn开发了很多工具,尤其是Tez,这个玩意可以提升查询计划的执行时间,PIG和Hive将被改写并重装上阵。Hortonworks虽然没有搞出来 Impala,但是从更底层的技术上包围Impala,两个老大的布局和较量始终没有停止。

 


4、SQL over Hadoop是一个重要的技术趋势。去年Hadoop World时,MPP还吹嘘自己如何牛X。但是Google发布了 Dremel和 PowerDrill,EMC搞出来 HAWQ,Cloudera搞出来Impala之后,所有的MPP都开始反思自己的技术路线。和Parccel技术人员(感觉是售前)讨论了一下,她找出一张卡片说Parccel速度是Hive的100X,领先Impala10年。我感觉这个说话很快就会失灵,首先是Hive的优化一直没有停止,Hortonworks搞出来Tez、 Stinger(与Facebook合作)。虽然MPP领先Hadoop很多年,根据80:20原则,如果HadoopSQL只做用户需要的20%特性,那么这个差距最多2年,2年内,HadoopSQL将在部分领域超越MPP。MPP企业的出路就是学习HAWQ。列存储也是推陈出新,近期主要是ORC(微软和Hortonworks合作)、 Parquet(Twitter和Cloudera合作),有木有看出来两个巨头PK的身影?有木有看到抱团PK?这些技术在测试中均显示出很大的优势。


5、IT和开源组织合作广泛。这个不仅仅存在IT厂商和开源之间,实际上开源之间也在密切合作。不太清楚合作的内部信息,但是基本上有两种模式:产品/软件交叉集成(含管理系统集成);合作开发和推广。在技术方面就要求软件有很好的架构,提供开放的接口,这一点Ambari的设计和俺对HT的要求一模一样,可以俺未能如愿,而Amabri已经开发了好几个版本。

6、技术上看,大数据和云的整合也是一个选项(注意,不是趋势,而是选项)。今年新增了OpenStack相关议题,一些集成商和厂商也提出了云上Hadoop的适用场景。这个并不是适用于所有人,但是部分用户可以因此获益。Netflix是一个典型的例子,他们的实例都在AWS上面,显然他们的Hadoop是基于虚拟机的,和一个Netflix小伙子(日本人)交流,他们大约有2000个虚拟实例,基于 EMR,并开发了Gennie管理系统。


Day 1:

由于时差,大早上5:00左右就起来了,早餐并干活后就跑到会场去了,第一天是meetup、BOF和布展,好几个感兴趣的Meetup在时间上重叠,上午听了YARN和 Accumulo,下午听了HBase和Ambari。其他的还有包括data scientist、System Integration、PIG、Hive等众多meetup,也就只好放弃,好在很多内容都会在今天上午的主题演讲中出现。

YRAN的Developer Meetup是几个Hortonworks的哥们主持的,先是收集大家的问题,主要包括intro、roadmap、API、compability、 Storm、HBase等内容,以讨论形式为主,不过由于参加者中只有少数是Yarn Developer,也会有有很多基础的问题讨论。有个Yarn的用户提到jar包的依赖性和命名规范等问题,这个目前Yarn目前并未考虑。

Accumulo是NSA(PRISM的源头)发布的开源系统,基本上类似HBase,但是提供了Cell级别的安全访问控制,在内部实现方面可能也有些不同(需要看代码才行),提供了Iterator API和一些批量处理的API。介绍者有2人,一人估计是 Sqrrl的,一人是HortonWorks的,感觉里面不少人都互相认识,这个也不奇怪,要是在中国,这种meetup肯定也会遇到很多熟人和前任同事啥的。Sqrrl是一个基于Accumulo的商业化软件和服务,提供了图分析和计算的能力,感觉是个挺不错的东西,可惜不是开源的,掩饰着给出了一些类SQL,输出结果是可视化的图形,而且可以在图形上进一步操作。


HBase meetup貌似也是Hortonworks的人主持的,一个印度哥们代替演讲者介绍了一个基于Yarn的HBase部署工具 Hoya,这个玩意不是必备工具,但是对于需要在同一个Hadoop集群上部署不同HBase版本进行测试同志、或者需要按需使用HBase进行分析的同志使用。现场演示看了一个Yarn集群上部署N多HBase的演示,只需指定配置文件和几个参数就可以部署。在演示HBase集群停止再启动的时候,戏剧性的场面出现了,只有master启动了,3个region server都没有出现,全场哗然,印度小哥们很淡定,说I trust our system。等了几分钟,不断刷新,最终还是成功了,全场报以掌声,不过这个玩意依然是一个内部工具,在github上面有source code。

Ambari meetup仅看到了后面的部分,是一个哥们在介绍如何在VMM、Windows Azure上面部署Hadoop,和WA集成的挺不错,充分利用了WA的storage等服务,看来术业却有专攻,这个玩意Linux哥们是绝对不懂的。


大门口和工作人员


下午4点左右离开会场,请一个老外帮我在门口拍了一张和yellow elephant的合影

(文/ 钱岭责编/ 包研。在原文基础有所删改,欢迎在评论中纠错。)

原文: Hadoop Summit 2013 Day2:信息大爆炸

用VB播放FLASH动画 用VB开发进程管理软件 VB用WinSock设计Chat程序 运用MSChart,生成统计图形-VB资料 向文本框等等控件的系统右键菜单里追加自己定义的菜单-VB资料 在VB中用定时控件实现长定时操作 在Visual Basic中,在GotFocus事件中快速选定文本 在程序中注册和注销 OCX 控件 -VB资料 在运行时维护DBGRID的栏位宽度-VB资料 VB怎样使用VB开发基于Sybase的C/S软件 VB怎样在运行时动态生成多个相同的控件 直接编辑VB中网格控制项的两种方法 自制控件方面的有关知识-VB资料 Unicode vs Ansi -VB资料 VB 中调用 Word 拼写检查 VB4.0安装程序的汉化 VB中对字符串的处理及其扩展 把符串中的一子串替换为另一子串 -VB资料 把数字转成英文字-VB资料 翻转一个字符串-VB资料 混合字符串的长度 -VB资料 将阿拉伯数字转成中文字的程式 -VB资料 将包含有Null结尾的字符串转换为VB字符串 切分字符串-VB资料 清除字符串中指定的字符 -VB资料 VB如何取得计算机的所有字型? VB如何取得中英混合字符串的长度? 使VB的网格控件具有输入功能 VB如何使用未安装的字体? VB如何由两个ASC码(区位码)复原成一个汉字? VB如何转换C代码中的高字和低字 TP-LINK的RTL8029(AS)芯片的网卡怎么装? w32dasm怎么把程序中的中文字符串反汇编成指令了呢? 曾用B/S四层结构开发过OA的,请进!! sql语句的问题? 关于QUERY->SQL的赋值 c++学习中的问题,拿来和大家一起讨论。 求助!要写一个MP3的播放程序~~ Project Settings里面的设置怎么设为默认值,让以后新建的每个工程都适用? 怎样读取数码相机的照片,并将它存入sqlserver数据库中(100分) VB6菜单设计器设计的菜单跟到WINDOWSXP下面,会自动变成XP类型的菜单吗? 请问openpicturedialog的用法? 紧急求教:ScktSrvr(Borland Socket Server)设置问题????????? 关于com与asp的疑惑 怎样读取数码相机的照片,并将它存入sqlserver数据库中 JSP里连接DB2的疑问? 为什么dbgrid的网格颜色属性的更改不是每次都可以。 请教名位大虾!~怎么安装.NET?今天刚买的,却不会装,七张光盘的!~ rose 的问题, SELECT 语句中的WITH TIES作用是什么? 西南交大 农历这么转换成公历?UP有分!急用!问题解决马上给分!不够再加。 关于数组的问题!在线等,谢谢了 不从新发送信息,则无法刷新页面!!! 一个旧声卡怎么才能知道它的型号? 我使出浑身解数,还是装不上sql server2000 ,怎么办? 各位师兄,想问一本书(王国荣的)的书具体内容?! 请问该如何处理?? 请教:关于excel2000链接对象.谢谢() CBC6使用手记--鸡肋 在线等待 如何从一个数据表的某字节中只提出来N个字符!!!!(帮我看一下,谢谢) dbgrid 与 adoquery 的记录如何...? 难道没有人懂水晶报表!??? 季老大帮我搞定!!!!!!!!! 请问该如何处理??在线等 谢谢了!!! 谢谢提供需求分析、概要设计、详细设计、等步骤的样本!!! 用HWiNFO32 V1.22检测机器硬件信息,当检测到“IDE/SCSI Drive(s)”时,硬盘灯常亮并死机,请问是什么原因?是硬件的问题吗? HELP ME AGAIN! 我新买的机器,看看是不是被骗了 谢谢提供需求分析、概要设计、详细设计、等步骤的样本!!! 两个笑话,大家也来帖帖 一个算法,如何快速的从一个大字符串数组里面删除一个小的字符串数组的内容 紧急求救 http://www.driverdevelop.com 好像关了!!! 请问:构件,com,activeX,bean是不是相同的概念?com+和EJB呢? 哪有c++primer第三版? 为何sun one studio在安装模拟器中安装不了6688i 的模拟器?? ComboBox 有问题 我的毕设题目行不行啊? 如何在jsp网页中显示树形目录结构 要写一篇演讲稿【祖国我为你骄傲】,给点思路!不要范文 Our head teacher will be back in a week.对 in a week提问. 硬鳄的天敌是什么 手串单数还是双数 vegetable英语怎么读 Have you got used to your school life here英语选择题Have you got used to your school life hereyes but i didn't like ( )when we have to get up early,especialy on cold winter mornings.请问这里为什么不用that I ()often ( ) sweet food ( )填什么 英文vegetable是否可数? 、蝴蝶的幼虫危害农作物,所以蝴蝶是害虫,应消灭它.请判断 I seldom eat sweet food.(同义句) I _____ ______ eat sweet food. 求一个题目是“祖国,我为你骄傲”的演讲稿 是在国旗下讲话的稿子,求了 go bike riding能不能用在How do you get to school的回答一般情况下问How do you get to school?回答是ride a bike.但是go bike riding作为回答可以吗? There is( ) "a" in the word "apple" .A.a B.an C.the 选哪个? 关于“vegetable”的英语单词谁有关于蔬菜的单词如:tomato His bag is different from her bag.(改为同义句) 在正方形ABCD中,点E、F分别在AB上和AD的延长线,且BE=DF,连接EF,G为EF的中点,求证:CE=CF;DG 垂直平分AC 苍蝇的寿命是多少?昨天跟朋友在饭店看到了苍蝇,禁不住疑惑起来.现在天气这么冷,苍蝇是怎么存活的? 鲨鱼.鲫鱼.带鱼.草鱼.鲸鱼.那个不是一类的 全诗是诗人杜甫对李白哪几个方面的描绘 祖国我为你骄傲演讲稿 His bag is different from others'others'对吗 Does she often drive to Perth? 一个圆锥形沙堆,它的底面周长是9.42m,2m.用这堆沙子在6m宽的公路上铺2cm厚的路面,能铺多少米 鲨鱼,鲤鱼,草鱼,鲸鱼,带鱼,哪一种不属于同类. 有比较好的二元、三元仔猪繁殖基地吗? 英超联赛用英语怎么说 "黄鱼 带鱼 鲨鱼" 分一类 "鲢鱼 鲫鱼 草鱼"分一类,为什么 三元母猪 猪仔拉白色物质是怎么回事 things you eat between meals means s______填什么?快哈! 带鱼 草鱼 鲸鱼 鲤鱼 黄花鱼(哪一种不是同一类的?) 毛毛虫怎么用英文? things you eat between meals My ___to this problem is quite different from his. 急!英语帝进 谢谢A. manner B.Approach c.behavior d.means 请问毛毛虫的英文怎么写?谢谢! I love to eat sweet( ).提示 (things you eat between meals).Mr.Chen,our( ) is very busy every day.提示( the head of a school) 鲤鱼 草鱼 带鱼 鳗鱼 鲸鱼哪个鱼不是同一类的 究竟谁是害虫?害虫控制成就小动物位置大全 we pour drinks into there是什么东西限四个字母 是填字游戏 仿照示例,根据语境,以草为联想点,在下列文段的横线处各写一个带有哲理意味的句子.字数句式不限示例:"独木不成林,根草不成春'':心心相连,手手相牵才是一道最美丽的风景.1.野火烧不尽,春 小猪仔出生3天就死亡第一次养猪,不是很明白,老母猪下仔了,小猪仔出生没有问题,可是过了3天,就开始上吐下泄,吐干的,拉浠的,用不多长时间就死掉了,一共11头母猪,下的小猪仔,剩下不到一半, Where do we pour drinks into?限一个单词4个字母 利用生物的代谢产物进行防治是否属于生物防治 为什么小猪仔出生几个小时就死了 两地相距480千米,甲乙两车同时从两地相向开出,三小时后,甲车行了全程的三分之二,乙车行了全程的四分之三,哪一辆车距离终点近一些?该车距中点多少千米? ------_____will he come back?------In a week.A.------_____will he come back?------In a week.A.How soonB.How often C.How long D.When 小猪仔防疫最佳时期是什么时侯?分几次打防疫? 单词拼写.You should get your p____right.You'd better listen to the tapes every day.快.五分钟.有分、、谢谢 1 my lifestyle is different front yours.(改为同义句) My lifestyle _____ _____ _____ _____ yours.2 尽量别吃垃圾食物Try _____ _____ _____ junk food.3 你通常几点放学回家?What time du you usually _____ _____ _____? 苍蝇的寿命有多长具体点 橘子每千克1.6元,3.1千克橘子多少元?(估算) 6个同样大的橙子和3个同样大的梨共重1350克一个橙子的质量相当于1个梨的1/3,1个梨重多少克1个橙子住多少克? 苍蝇的寿命多长 用13.2元买了3千克橘子,用1元钱可以买多少千克橘子? 鳄鱼究竟有没有天敌?自然界是有规律地,从来都有一条食物链.讲究一物降一物,有谁知道鳄鱼有没有天敌?我看所有的电视好像自然界没有能完全收拾的了它的.哪位仁兄能告诉我?别说是人啊, 苍蝇有多长寿命? 如何指导孩子做好阅读理解题 水里面有哪些是天敌?鄂鱼有天敌吗? 苍蝇寿命是多长? 一段长24米的篱笆可以为在一个长8米,宽4米的长方形菜地周围,如果用它围成一个正方形菜地.正方形菜地的面积比长方形菜地的面积多百分之几? 什么动物最会走 百度地图新版增加推荐菜功能 贴心受食俄媒称泰国沉船事故造成7人死亡 含3想坐飞机逃生门附近座位?德航新规定要英国三百余名议员被指仍挪公款用于日常埃及前总统穆尔西即将受审 罪名成立或法国前部长称法国总统奥朗德头号问题是韩国总统朴槿惠巴黎会见联合国教科文组阿富汗总统批评美无人机炸死巴塔头目时日本一司机醉酒驾车连撞5名女中学生后英国三百余名议员被指仍挪公款用于日常埃及前总统穆尔西即将受审 罪名成立或印度将发射火星探测器 舆论对印度太空印尼组织攻击澳大利亚百家网站 抗议澳杨洁篪会见英国客人新加坡用不粘漆对付小广告埃及审判穆尔西或酿新一轮冲突印度东北部发生袭击事件7人死亡布宜诺斯艾利斯摄影展点燃阿根廷人摄影布宜诺斯艾利斯摄影展点燃阿根廷人摄影澳维州公租房房租欠费飙升 议员归咎政泰国民调显示超半数受访民众反对特赦法“互联网+”赣商能否实现弯道超车?哪些男科疾病看中医有优势?对症看病吧诗词推荐│描写冬天的几首好诗韩国佛画之美年终盘点:难民潮席卷欧洲 历史性挑战研究人员称大型动物如灭绝将致气候进一马德里警方拟再突击检查部分华人经济犯金贤重父亲斥崔姓女利用孩子:要求几十香港“东华嘉年华”正式开幕 料吸百万于广洲:\"一带一路\"布局到哪里 韩国女星Amy因滥打麻药遭驱逐:10阿萨德顾问:叙愿参加联合国牵头的和谈为什么你总是害怕来不及加拿大总理放出利好消息 欢迎海外资金首届阿里年货节启动,为千家万户送去““快枪手”的调理和预防,你应该懂?广东回南天“潮”爆了,9招防潮除湿李冰冰谜一样的下巴,就是这么垫出来的【三农网贷】聆听农户意见,破解三农难准炸了!99%的生意失败都与这十件事中国男性精子质量调查显示:你的会怎样
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘