说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

HBTC精彩回顾 Hadoop专家分享大数据技术工具与最佳实践

HTML文档下载 WORD文档下载 PDF文档下载
常言道:人生如戏,戏如人生。一场戏结束时通常是要谢幕的,一个亮相、一个鞠躬、一段音乐、一句表白都是谢幕的形式。精彩纷呈的HBTC已经落下帷幕,然而不管您是否有机会抽身前往,带你回味一下这饕餮盛宴冰山的一角总是有必要的。

11月30日-12月1日,Hadoop与大数据技术大会(HBTC 2012)在北京新云南皇冠假日酒店已经成功落下帷幕,但留给整个技术界的深思还有很多。会场上,五十余位讲师干料十足的实践经验掀起了场内场外阵阵讨论的热浪,五大分论坛参会者现场提问频频“出彩”,质量颇高。其中,Hortonworks的首席技术官Eric Baldeschwieler,MemSQL 的创始人与首席技术官Nikita Shamgunov,美国俄亥俄州立大学计算机系主任、IEEE Fellow张晓东教授,哈尔滨工业大学的李建中教授,中科院计算所程学旗研究员,国际著名的IT研究与顾问咨询公司Gartner张瑾,以及中国移动通信、IBM、英特尔、Teradata、VMware、Yahoo!、ebay、华为、Informatica、天云、阿里巴巴、百度、腾讯、奇虎360、网易、普泽天玑、精诚资讯等重磅讲师在现场激扬技术与趋势, 聚焦应用和实践。

我们特别选出八位实践派,提炼观点与大家分享。更多专家视点请看现场直播与公布的PPT下载。

赵伟:HIVE在腾讯分布式数据仓库实践

   
腾讯 赵伟  

在12月1日“Hadoop生态系统”主题分论坛,腾讯高级工程师赵伟首先介绍了他们的TDW核心架构,Hive,MapReduce,HDFS及PostgreSQL构成。赵伟分享了最核心的Hive模块在TDW中的实践经验;HIVE是一个在Hadoop上构建数据仓库的软件,它支持通过类SQL的HQL语言对结构化数据进行操作;实现了基本的SQL功能,可扩充UDF/UDAF、自定义SerDeThrift协议、支持多语言客户端。最后他还剖析了Hive的不足并展望了HIVE的发展前景:

在他看来,Hive有四大缺点:数据仓库功能不够完善;使用门槛高(用户界面简陋、运行调试麻烦、问题定位困难、查询计划难看);性能有提升空间(SQL翻译成的MR任务效率低或者不合理);不够稳定。

腾讯赵伟表示,腾讯机器总量5000+,最大集群约2000个节点,覆盖腾讯90%+的产品。TDW集成开发环境活跃用户数:200+,每日运行的分析SQL数:50000+。每日SQL翻译成的MR job数:100000+。最近半年SLA:99.99%。这些数字表现在Hadoop方面,腾讯并不慢。

文章链接:赵伟:Hive在腾讯分布式数据仓库实践

PPT下载 :Download


潘越:从战略角度解读大数据的机遇

   
IBM 潘越  

IBM中国研究院信息管理与医疗健康首席科学家潘越,阐述了大数据的4个V:

第一个V,大数据首先代表的是数据产生的量比传统的量大很多。他认为传统的G级别或者T级别的数据存储和管理的方案,目前看起来都不太合适或者是性价比不高。

第二个V针对的是机器产生的数据。传统的分析的周期原来可能都是以月、周、天这样的时间来做分析的,而现在很多的分析都需要实时的决策,所以数据关键是速度。

第三个V,当然是用户数据的多样性。

第四个V,数据里包含的不确定性。数据的不确定性和数据的多样性之间可能也有一种天然的联系,但是也不完全地等同。

然后得出了三点结论:1.大数据并不能固守在自己的领域里面,要跟企业中其他的数据管理、信息分析结合起来。2.在大数据的部署过程中会采用很多种技术,我们不仅要看到技术的有效性,还要更多地考虑一下:如果把技术结合在一起,会产生什么样的价值。3.像大数据平台应该是一个共享的平台,应该能为大家创造一个共同协作的环境,这样就能降低成本和风险。

文章链接:潘越:从战略角度解读大数据的机遇

PPT下载 :Download


戴建勇:解读Apache Pig的性能优化

    
Hortonworks 戴建勇  

在12月1日“Hadoop生态系统”主题分论坛,Hortonworks member of technical staff戴建勇对Apache Pig的优化做出了详细的解说。

首先戴建勇分析了Pig和Hive的不同:

虽然Pig和hive是用来解决同样的问题,但Pig和Hive却着有显著不同。首先Pig是一个过程化的语言;而Hive说的是SQL的语言,是描述性的语言。许多开发者都喜欢使用过程化进行数据开发。对比Hive,Pig显得更加灵活,因为在Pig里面Schema不是必需的。Pig具有可扩充性,基本上所有的Pig函数库都是可以扩充的。

之后戴建勇还对Pig的历史以及Pig中的工具进行了充分的分享。当然重中之重Pig的优化是不可或缺的,各种Join的实现、oder by的实现、如何利用Combiner以及基于规则的优化器。戴建勇还对Pig 0.11版的新特性做出了解析。还等什么,速度点击下面的传送门吧!

最后文章链接:戴建勇:解读Apache Pig的性能优化

PPT下载 :Download


强琦:平台的意义在于交换,数据的价值在于共享

   
阿里 强琦  

在大数据共享平台与应用主题论坛上,来自阿里巴巴集团数据交换平台资深专家强琦分享了大数据探索 —— 阿里巴巴数据交换平台。强琦强调数据的价值在于共享,而平台的价值在于交换。作为平台的建造者要拿出数据给大家交换,以身做饵,以高价格的数据交换散落在蓝海中的数据。阿里巴巴未来的策略,也正是基于这点。数据单独使用,发挥价值并不大。只有把数据融合在一起,才能产生出巨大的价值。

强琦还指出阿里巴巴不会单纯的以打造平台的目的去做一个平台,会把平台的打造融入业务当中。阿里巴巴的数据交换平台是开放的,平台将打通和整合整个阿里巴巴集团的所有的数据。提供人性化的服务,建立一个统一的大数据交换平台。这也将是阿里巴巴至明年的工作重点之一。

文章链接:强琦:大数据探索-阿里巴巴数据交换平台

PPT下载 :Download


顾费勇:未来的DataStream机制

   
网易 顾费勇  

在12月29日主题论坛三大数据共享平台与应用中,网易资深工程师顾费勇为我们带了题为《海量数据搬运工——DataStream》的主题演讲。顾费勇从DataStream产生的原因、结构和特征、关键技术点、应用场景和未来的展望为我们开启了海量数搬运的篇章。 顾费勇为我们介绍了关于DataStream的试点关键技术:异构数据源解析、数据分流、数据可靠传输和数据传输效率。以数据的可靠传输为例让我们了解DataStream试点的关键技术。顾费勇认为数据的可靠传输包括四种。第一,持久化机制,将收到的消息先做持久化后发送。第二,ACK机制,可确保后端模块已收到数据,未收到则重发。第三,异常数据处理,将无法处理的异常数据保存在指定位置,可追溯来源。第四,全面覆盖的监控程序,监控所有进程的正确执行,监控系统有无异常日志,监控系统吞吐量是否不足有延迟,监控产品数据流量异常波动,监控产品有无不符合协议的日志。

文章链接:费勇:海量数据搬运工——DataStream

PPT下载 :Download


刘立萍:数据消费的改变,解决规模 ==》解决计算 ==》数据智能

   
百度 刘立萍  

在大数据共享平台与应用主题论坛上,来自百度基础架构部数据平台技术经理刘立萍介绍了百度大数据平台。刘立萍表示随着应用的需求,当我们的数据处理能力越来越强以后,对数据消费更高的要求也提出来了,而在百度内部把迭代关系划分成了三个阶段:

第一,解决规模(2007到2011年),解决基础存储和计算的问题。整个的集群、搭建的这些平台包括计算模式在很多地方都有计算过。单机群体达到五千,MPI的集群达到四千;各种计算模型,增量计算这种模型、规模在运用的过程中遇到过很多问题。随着碎片计算增多,使得大家计算资源越来越不够,任务都不能用;整个的任务,还有数据都不能附用。2011到2013年(从计算为中心转到数据为中心,对数据进行处理),这个过程中,实际上以数据仓库的技术为核心的,这也是现在正在做的事情。第三个阶段,从2013年以后(预测)。而这一阶段的期望是出现一些叫数据智能的产品。

文章链接:刘立萍:百度大数据平台介绍

PPT下载 :Download


刘佳:全面分析HBase用例

   
普泽天玑 刘佳  

在12月1日“Hadoop生态系统”主题分论坛,普泽天玑技术总监刘佳发表了题为“HBase用例分析”的演讲。刘佳主要分享了3个案例:

第一个是数据魔方,他从新旧系统的原理对比入手,详细介绍了他们如何对流程进行重新规划。

第二个是访客直播间,从系统架构的角度深度解析了HBase的应用。

最后是广点通,刘佳从业务背景出发对系统的重新部署流程做了深刻的讲解。

刘佳借以上3个案例,详述了项目过程中所遇到难题的实现方法。限于篇幅问题,详细技术请绕至下方传送门。

文章链接:刘佳:全面分析HBase用例

PPT下载 :Download


Ronaldo Ama使用虚拟技术整合大数据和云计算

   
VMware Ronaldo Ama 

VMware全球高级副总裁Ronaldo Ama在题为“大数据和云计算如何联系(云中的大数据)”的演讲中,展现了一副大数据的应用全景。在实时流技术,机器学习技术、实时处理技术、数据分析技术和批处理等多个领域展开。

其间Ronaldo Ama从技术上提出了3层模型,最上面是部署云计算技术的计算层;位于中间是数据存储和预处理的数据层;处于最下面的自然是由许多主机和网络构成的基础设施层。显然要实现易维护、高可靠性、弹性、灵活租用等都需要虚拟技术的支持。

最后,针对如何实现、部署虚拟化框架和应用,Ronaldo Ama还做了详细的阐述。

Ronaldo Ama认为,大数据很好,可以带来很多的价值!

文章链接:Ronaldo Ama使用虚拟技术整合大数据和云计算

PPT下载 :Download


更多“干货”请见HBTC2012直播页  责编:王旭东

欢迎关注@CSDN云计算微博,了解更多关于大数据的信息。

FPS移动游戏:画质不是第一位,操控才是死穴 微软2013年的五个安全预测 应用成武器 王淮,大城小胖论辩HTML5 局部有小雨 技术人员创业后就不再适合继续编码了? Google Dremel vs Apache Hadoop 低功耗之争:英特尔 VS ARM NEIC-诺基亚体验创新中心 助力开发者创享新移动互联时代 Google地图主管Daniel Graf:新设计,新目标 浴火重生:OpenFeint创始人推开源平台OpenKit 紧随AWS数据仓库服务 Rackspace力鼎Cloudant 创业者谈:畏惧失败,但也要拥抱失败 谷歌赢得一场战斗 苹果能否赢得战争? 走进大学校园:是什么让学生成为独立开发者? 移动周报:为什么说独立开发者才是光明康途? MapFan eye:看日本地图导航应用的新玩法 数据会被清空:部分三星、魅族手机存安全漏洞 IE10简化文件访问 支持FileReader API 从MySQL迁移到MariaSQL Wikipedia力求开放 奥巴马筹款网站的制作过程 国内芯片厂商发力4G 新岸线2013年将推LTE方案 CMDN Club 23期:开放平台和O2O移动产品开发 花旗调低Apple股票评级 不信iPhone5会卖得好 2012年Linux Journal读者选择奖结果公布 百度云SiteApp:三步轻松创建移动网站 Twitter跨数据中心图片存储系统Blobstore解析 摩托罗拉携手中国移动发布Intel Inside智能机新锋丽i MT788 第五届“英特尔杯”全国大学生软件创新大赛圆满落幕 Appro推出液冷超级计算机 Dell:曾敦促微软WinRT放弃Windows品牌 IE10十大优点:渲染页面比Chrome快8% 法国电信:开放平台下的O2O移动产品怎么玩? 如果你是新手! [流氓兄:突然冒出很多新人。。。贴] 请转这里 菜鸟 一个有难度的问题 关于格式化字符串的问题。。。 MYSQL权限与mysql库里的所有表问题~!~!请指教! Installshield中怎样调用MSI文件,并能执行MSI文件 售书 鼠标指针的问题(菜鸟问) 向CList模板类的对象追加节点时出现异常,谁惹的祸??? 为什么我的VB运行时会清空剪贴板? 大侠求救!我的考试题!20分的!急急急急急急急急! 目前asp中使用的主要加密算法有哪些? 怎样设置tab! 关于vb的问题,谢谢大家了。 计算机操作者的食谱(想想大家每天都对着电脑,看看这个食谱吧,或许有好处,人还是要学会爱护自己) 如何将png文件格式转换成bmp文件格式,小弟急需这方面的资料,尤其是关于压缩方面的 关于在存储过程中调用链接服务器权限的问题 用vb打包程序打包后安装出错,运行不了? 我要独自去广州发展,请大家看看我的情况,给我一些帮助,如何在广州找工作? 求助!请问谁有源代码?(画一个线段、图形区域填充、图形区域截剪) 物价飞涨,福建省软考提价!!! 在数据表里,我保存了图片存放的路径,现在我想让他显示出来,怎么做啊?有几个方法啊,请指点 阿沐进来看看,你要的东西 VC++ ADO用SELECT FOR UPDATE锁定Oracle数据库的记录,为什么无效? 关于CGI连接关系数据库? 关于动态链接库一问,释放时的异常 阿沐进来看看2 怎样才能不添加OCX和DLL做出反色效果? 好奇怪的问题,大家帮忙来分析一下 阿沐进来看看3 !!再次求解,关于ADO!! 高分求解!高手请进!疑难杂诊? 在LINUX下,如何修改屏幕分辨率 请教如何将图片插入到sqlserver 7/2000里? 急急急!UDP的问题 有关ISA SERVER 昨晚做了个大梦,哈哈!! 疑问 JINI究竟是什么东东呀?去SUN看了半天也没能明白,谁能解释一下? vb.net的一个问题!!是关于在form1上写字的东西! 关于如何输入的问题*******vb高手请进***************(在线等候,我只有这么多分了) 简单的问题,textbox取不到值。 关于DIALOG对话框的继承问题 。 Response->SetCookieField()可以将用户登陆信息保存在cookie内,可是... 为什么我用AddString()无法为Combo Box添加上新项? 请问程序员中有多少是喜欢打《帝国时代》的,我是一个,请报名,谈谈感受。 文件读写:前一部分是文肩头,含几个概括性数据;后一部分是数量不定的大量整形数据。该怎么办?我想用块读写的方式,不知可否?解决了保 请版本进来帮忙解决一下!!! 我的机子怎么拉? find a bbs(asp and xml) 学好c 去年冬天,学校的一根内直径 2 厘米的自来 水管被冻裂,导致大量水流失.水管内的水流速度为每秒8cm,如果一小时修不好,将会浪费多少升水? 先导式 溢流阀的作用有哪些? 屋檐每隔一段时间滴下一滴水,每当5滴正欲滴下时,第1滴刚好落到地面,而第3滴与第2滴分别位于高1米的窗子上、下沿,(g=10m/s²)问1.此屋檐离地面多高?2.滴水时间间隔是多少?3.雨滴落地前最 只管向前奔跑阅读答案 先导型溢流阀中的先导作用是什么? 物理中,物体的振幅越大,产生声音的响度越大.振幅是什么? 穷人续写;西蒙的两个孩子长大以后知道了事情的真相,报答了渔夫和桑娜,从此过上了幸福的生活高手来垃圾滚 当渔夫看到已经在帐子里睡熟的两个孩子时,他会对桑娜说什么呢? 地球的形状和内部结构问题1.2. 桑娜对渔夫说:咱们的邻居西蒙死了?”改为他人称转述句 配套练习册第一单元测试的的阅读鉴赏的5 6 7小题,(二)只管向前奔跑的答案?谁有呀 常温下,碘和镁化合时速率很慢,若滴入几滴水,则反应剧烈,且形成一股美丽的紫色烟雾,此时水的作用是( )A.反 《穷人》想象:桑娜和渔夫收养西蒙的两个孩子后会发现什么?桑娜用头巾裹住睡着的孩子,把他们抱回家里.她的心跳得很厉害,她自己也不知道为什么要这样做,但是她觉得非这样做不可.回到家 从桑娜和渔夫的语言和神态中,你能体会到什么? 碘与镁化合,反应方程式是什么?形成的一股美丽的紫色烟雾,是什么? 用尺子做一个证明响度与振幅有关的实验1.实验器材2. 屋檐定时滴水,当第5滴正欲滴下时.第一滴已经刚好到达地面,而第三滴与第二滴正好位于高为1米的窗户的上,下沿,问(1)屋檐离开地面多高?(2)滴水的时间间隔是多少?(g=10m/s^2)三种方法做 常温下,当碘与镁反应时,加水后形成的一股美丽的紫色烟雾是什么?常温下,当碘与镁化合产生碘化镁,若滴几滴水则剧烈反应生成一股美丽的紫色烟雾,那么在这个反应中的水是紫色烟雾是什么? 空心菜的药用价值和营养价值? 文中描写环境和人物对话心理描写的语句,从描写中可以看出桑娜和渔夫是个怎样的人? 碘与镁反应,为什么会形成的一股美丽的紫色烟雾? 请问蔬菜中空心菜和茄子有什么营养价值? 小孩不小心吃温度计水银怎么办 碘和镁反应,加水后看到的紫色烟雾是什么镁和水反应吗? 空心菜的营养成分是什么麻烦写出能量、水分、蛋白质、脂肪、糖类、胡萝卜素、维生素A、维生素B1、维生素B2、维生素C、维生素E、钙、铁、锌、磷、硒 摩尔质量与相对原子质量的分别是什么?还有,气体摩尔体积与气体体积有什么分别? 吃菠菜有草酸好吗? 一个人的奔跑 早上不小心在孩子床前把水银温度计摔碎,孩子56天,该怎么办? 配制碘液时为什么要加入碘化钾? 空心菜什么营养 奔跑的雪糕阅读答案用简洁的语言概括中心事件2.文章以奔跑的雪糕为题目,有什么作用3.结合语境,品味句中加点词语的表达效果终于,在车站附近的一个超市里,父亲找到了一个装满雪糕、冰 摩尔质量,气体摩尔体积,有那些结论 如何用自来水制医用蒸馏水? 《穷人》桑娜和渔夫的性格 下列有关气体摩尔体积的描述中正确的是:A.1摩尔气体的就是该气体的摩尔体积B.通常状况下的气体摩尔体积约为22.4L C.标准状况下的气体摩尔体积约为22.4升每摩尔 D.单位物质的量的气体所占 家里水压太小怎么办 《穷人》桑娜和渔夫是怎样的人 鸡蛋与地球的内部结构的特点地球的内部结构有点像煮熟的鸡蛋,请你根据煮熟鸡蛋的内部结构特点来描述地球内部的结构特点.请详细的说. 家里水压太低怎么办 穷人 桑娜和渔夫是什么样的人 屋檐每隔一定时间滴下1滴水,当第5滴水正滴下时,第1滴刚好落到地面,而第三滴和第二滴分别位于1m的窗子的上、下沿,(g取10米每二次方秒)(1)这屋檐离地面多高?(2)滴水的时间间隔是多 空心菜怎么炒好吃 自来水水压不够该找哪个部门啊?我是济南的我住在闫千户小区 屋檐上每隔相同的时间间隔滴下一滴水,当第5滴正欲滴下时,第1滴已刚好到达地面.从第1滴离开地面开始计时,到第N滴水到达地面共用时间为T,则相邻两滴水到达地面的时间间隔为? 清炒空心菜怎么做好吃?我是先放油,然后放大蒜,然后下空心菜,炒啊炒,干的话放点点水,结果出来的结果 不像饭店吃的那么绿,是有点发灰了.并且远不及饭店好吃. 穷人里渔夫,桑娜,西蒙分别有什么品质?秒之!行的话加悬赏 屋檐上每隔相同的时间间隔滴下一滴水,当第五滴水正欲滴下时,第一滴水刚好到达地面,而第三滴水与第二滴水分别位于高为一米的窗户的上下沿.(g取10米每二次方秒).(1)滴水的时间间隔是多少 只管向前奔跑 对题目有怎样的理解第二段写到:“贝基拉不知不觉地……他既羡慕又难过”根据对文中内容的理解,描写贝基拉此时的心理活动要求以第一人称完成一段60字的文字 自来水水压不够如何使用太阳能 菠菜里有草酸能直接炒着吃吗 只管向前奔跑答案 刚刚水杯打碎,昨天才打碎一个杯子…请问这是什么兆头?刚刚放电脑睡觉的时候不小心吧水杯打碎,昨天刚刚打碎一个茶瓶, 那些蔬菜含草酸多?比如菠菜 关于摩擦力做功的下列说法中正确的是A滑动摩擦力阻碍物体的相对A滑动摩擦力阻碍物体的相对运动,一定做负功b 静摩擦力和滑动摩擦力一定做负功c静摩擦力阻碍物体的相对运动趋势的作用, 大陆为什么昼夜温差大? 两只燃着的蜡烛罩上玻璃杯一会都熄灭了原因是? 白菜+青菜+空心菜=什么菜 先导式溢流阀中的先导是什么意思?为什么有的溢流阀有个调节压力的? 雨过天晴,水滴从屋檐一一滴落,当水滴通过一个1m高的窗子时雨过天晴,水滴从屋檐一一滴落,当水滴通过一个1m高的窗子时用0.2s求屋檐到窗台(窗子下沿)的距离.(取g=10m/s2)
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘