说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

HBTC精彩回顾 Hadoop专家分享大数据技术工具与最佳实践

HTML文档下载 WORD文档下载 PDF文档下载
常言道:人生如戏,戏如人生。一场戏结束时通常是要谢幕的,一个亮相、一个鞠躬、一段音乐、一句表白都是谢幕的形式。精彩纷呈的HBTC已经落下帷幕,然而不管您是否有机会抽身前往,带你回味一下这饕餮盛宴冰山的一角总是有必要的。

11月30日-12月1日,Hadoop与大数据技术大会(HBTC 2012)在北京新云南皇冠假日酒店已经成功落下帷幕,但留给整个技术界的深思还有很多。会场上,五十余位讲师干料十足的实践经验掀起了场内场外阵阵讨论的热浪,五大分论坛参会者现场提问频频“出彩”,质量颇高。其中,Hortonworks的首席技术官Eric Baldeschwieler,MemSQL 的创始人与首席技术官Nikita Shamgunov,美国俄亥俄州立大学计算机系主任、IEEE Fellow张晓东教授,哈尔滨工业大学的李建中教授,中科院计算所程学旗研究员,国际著名的IT研究与顾问咨询公司Gartner张瑾,以及中国移动通信、IBM、英特尔、Teradata、VMware、Yahoo!、ebay、华为、Informatica、天云、阿里巴巴、百度、腾讯、奇虎360、网易、普泽天玑、精诚资讯等重磅讲师在现场激扬技术与趋势, 聚焦应用和实践。

我们特别选出八位实践派,提炼观点与大家分享。更多专家视点请看现场直播与公布的PPT下载。

赵伟:HIVE在腾讯分布式数据仓库实践

   
腾讯 赵伟  

在12月1日“Hadoop生态系统”主题分论坛,腾讯高级工程师赵伟首先介绍了他们的TDW核心架构,Hive,MapReduce,HDFS及PostgreSQL构成。赵伟分享了最核心的Hive模块在TDW中的实践经验;HIVE是一个在Hadoop上构建数据仓库的软件,它支持通过类SQL的HQL语言对结构化数据进行操作;实现了基本的SQL功能,可扩充UDF/UDAF、自定义SerDeThrift协议、支持多语言客户端。最后他还剖析了Hive的不足并展望了HIVE的发展前景:

在他看来,Hive有四大缺点:数据仓库功能不够完善;使用门槛高(用户界面简陋、运行调试麻烦、问题定位困难、查询计划难看);性能有提升空间(SQL翻译成的MR任务效率低或者不合理);不够稳定。

腾讯赵伟表示,腾讯机器总量5000+,最大集群约2000个节点,覆盖腾讯90%+的产品。TDW集成开发环境活跃用户数:200+,每日运行的分析SQL数:50000+。每日SQL翻译成的MR job数:100000+。最近半年SLA:99.99%。这些数字表现在Hadoop方面,腾讯并不慢。

文章链接:赵伟:Hive在腾讯分布式数据仓库实践

PPT下载 :Download


潘越:从战略角度解读大数据的机遇

   
IBM 潘越  

IBM中国研究院信息管理与医疗健康首席科学家潘越,阐述了大数据的4个V:

第一个V,大数据首先代表的是数据产生的量比传统的量大很多。他认为传统的G级别或者T级别的数据存储和管理的方案,目前看起来都不太合适或者是性价比不高。

第二个V针对的是机器产生的数据。传统的分析的周期原来可能都是以月、周、天这样的时间来做分析的,而现在很多的分析都需要实时的决策,所以数据关键是速度。

第三个V,当然是用户数据的多样性。

第四个V,数据里包含的不确定性。数据的不确定性和数据的多样性之间可能也有一种天然的联系,但是也不完全地等同。

然后得出了三点结论:1.大数据并不能固守在自己的领域里面,要跟企业中其他的数据管理、信息分析结合起来。2.在大数据的部署过程中会采用很多种技术,我们不仅要看到技术的有效性,还要更多地考虑一下:如果把技术结合在一起,会产生什么样的价值。3.像大数据平台应该是一个共享的平台,应该能为大家创造一个共同协作的环境,这样就能降低成本和风险。

文章链接:潘越:从战略角度解读大数据的机遇

PPT下载 :Download


戴建勇:解读Apache Pig的性能优化

    
Hortonworks 戴建勇  

在12月1日“Hadoop生态系统”主题分论坛,Hortonworks member of technical staff戴建勇对Apache Pig的优化做出了详细的解说。

首先戴建勇分析了Pig和Hive的不同:

虽然Pig和hive是用来解决同样的问题,但Pig和Hive却着有显著不同。首先Pig是一个过程化的语言;而Hive说的是SQL的语言,是描述性的语言。许多开发者都喜欢使用过程化进行数据开发。对比Hive,Pig显得更加灵活,因为在Pig里面Schema不是必需的。Pig具有可扩充性,基本上所有的Pig函数库都是可以扩充的。

之后戴建勇还对Pig的历史以及Pig中的工具进行了充分的分享。当然重中之重Pig的优化是不可或缺的,各种Join的实现、oder by的实现、如何利用Combiner以及基于规则的优化器。戴建勇还对Pig 0.11版的新特性做出了解析。还等什么,速度点击下面的传送门吧!

最后文章链接:戴建勇:解读Apache Pig的性能优化

PPT下载 :Download


强琦:平台的意义在于交换,数据的价值在于共享

   
阿里 强琦  

在大数据共享平台与应用主题论坛上,来自阿里巴巴集团数据交换平台资深专家强琦分享了大数据探索 —— 阿里巴巴数据交换平台。强琦强调数据的价值在于共享,而平台的价值在于交换。作为平台的建造者要拿出数据给大家交换,以身做饵,以高价格的数据交换散落在蓝海中的数据。阿里巴巴未来的策略,也正是基于这点。数据单独使用,发挥价值并不大。只有把数据融合在一起,才能产生出巨大的价值。

强琦还指出阿里巴巴不会单纯的以打造平台的目的去做一个平台,会把平台的打造融入业务当中。阿里巴巴的数据交换平台是开放的,平台将打通和整合整个阿里巴巴集团的所有的数据。提供人性化的服务,建立一个统一的大数据交换平台。这也将是阿里巴巴至明年的工作重点之一。

文章链接:强琦:大数据探索-阿里巴巴数据交换平台

PPT下载 :Download


顾费勇:未来的DataStream机制

   
网易 顾费勇  

在12月29日主题论坛三大数据共享平台与应用中,网易资深工程师顾费勇为我们带了题为《海量数据搬运工——DataStream》的主题演讲。顾费勇从DataStream产生的原因、结构和特征、关键技术点、应用场景和未来的展望为我们开启了海量数搬运的篇章。 顾费勇为我们介绍了关于DataStream的试点关键技术:异构数据源解析、数据分流、数据可靠传输和数据传输效率。以数据的可靠传输为例让我们了解DataStream试点的关键技术。顾费勇认为数据的可靠传输包括四种。第一,持久化机制,将收到的消息先做持久化后发送。第二,ACK机制,可确保后端模块已收到数据,未收到则重发。第三,异常数据处理,将无法处理的异常数据保存在指定位置,可追溯来源。第四,全面覆盖的监控程序,监控所有进程的正确执行,监控系统有无异常日志,监控系统吞吐量是否不足有延迟,监控产品数据流量异常波动,监控产品有无不符合协议的日志。

文章链接:费勇:海量数据搬运工——DataStream

PPT下载 :Download


刘立萍:数据消费的改变,解决规模 ==》解决计算 ==》数据智能

   
百度 刘立萍  

在大数据共享平台与应用主题论坛上,来自百度基础架构部数据平台技术经理刘立萍介绍了百度大数据平台。刘立萍表示随着应用的需求,当我们的数据处理能力越来越强以后,对数据消费更高的要求也提出来了,而在百度内部把迭代关系划分成了三个阶段:

第一,解决规模(2007到2011年),解决基础存储和计算的问题。整个的集群、搭建的这些平台包括计算模式在很多地方都有计算过。单机群体达到五千,MPI的集群达到四千;各种计算模型,增量计算这种模型、规模在运用的过程中遇到过很多问题。随着碎片计算增多,使得大家计算资源越来越不够,任务都不能用;整个的任务,还有数据都不能附用。2011到2013年(从计算为中心转到数据为中心,对数据进行处理),这个过程中,实际上以数据仓库的技术为核心的,这也是现在正在做的事情。第三个阶段,从2013年以后(预测)。而这一阶段的期望是出现一些叫数据智能的产品。

文章链接:刘立萍:百度大数据平台介绍

PPT下载 :Download


刘佳:全面分析HBase用例

   
普泽天玑 刘佳  

在12月1日“Hadoop生态系统”主题分论坛,普泽天玑技术总监刘佳发表了题为“HBase用例分析”的演讲。刘佳主要分享了3个案例:

第一个是数据魔方,他从新旧系统的原理对比入手,详细介绍了他们如何对流程进行重新规划。

第二个是访客直播间,从系统架构的角度深度解析了HBase的应用。

最后是广点通,刘佳从业务背景出发对系统的重新部署流程做了深刻的讲解。

刘佳借以上3个案例,详述了项目过程中所遇到难题的实现方法。限于篇幅问题,详细技术请绕至下方传送门。

文章链接:刘佳:全面分析HBase用例

PPT下载 :Download


Ronaldo Ama使用虚拟技术整合大数据和云计算

   
VMware Ronaldo Ama 

VMware全球高级副总裁Ronaldo Ama在题为“大数据和云计算如何联系(云中的大数据)”的演讲中,展现了一副大数据的应用全景。在实时流技术,机器学习技术、实时处理技术、数据分析技术和批处理等多个领域展开。

其间Ronaldo Ama从技术上提出了3层模型,最上面是部署云计算技术的计算层;位于中间是数据存储和预处理的数据层;处于最下面的自然是由许多主机和网络构成的基础设施层。显然要实现易维护、高可靠性、弹性、灵活租用等都需要虚拟技术的支持。

最后,针对如何实现、部署虚拟化框架和应用,Ronaldo Ama还做了详细的阐述。

Ronaldo Ama认为,大数据很好,可以带来很多的价值!

文章链接:Ronaldo Ama使用虚拟技术整合大数据和云计算

PPT下载 :Download


更多“干货”请见HBTC2012直播页  责编:王旭东

欢迎关注@CSDN云计算微博,了解更多关于大数据的信息。

众筹未来必拥抱众智 果合报告:iOS趋势及手游开发六大核心策略 无视OpenStack的前车之鉴,SAP等毅然支持Cloud Foundry 轻松搞定TB级数据,开源GraphLab突破人类图计算“极限值” 英特尔至强E7 v2处理器:2倍性能提升,3倍内存容量,4倍I/O带宽 著名工业设计师Yves Béhar:“我们并不需要三星智能手表。” 跨平台的.NET运行环境 Mono 3.2.7发布! Google石博盟:抓住全球化和移动化的机遇 ShareSDK针对Unity发布社交化组件 2014 CocoaChina开发者大会将公布触控奖学金等高校合作计划 中低端智能手机热销,未来市场或主打价格战 Facebook开源flint:一个用D语言编写的C++静态代码分析器 AMD携手BlueStacks,下半年推出零售版双操作系统 历时6年 Github发布基于Web的桌面文本编辑器:Atom Ratchet:构建移动应用原型,新版支持Android 13个最狂帅炫酷的前沿科技研究项目 打动面试官的五大技能 乐视TV和NBA签约三年互联网电视版权 首度披露大屏运营策略 支撑4.5亿活跃用户的WhatsApp架构概览 免费使用Windows?微软推Windows 8.1 with Bing实验项目 C/C++开发者必不可少的15款编译器+IDE Amazon推荐,Facebook追踪,大数据时代的“狗仔队” NewSQL登场,NuoDB告诉你未来数据库什么样 2014 Unity亚洲开发者大会·中国站:技术课程全面解析 与其坐以待毙不如主动出击 软件如何避免惨遭淘汰 一周消息树:程序员想找好工作?那就学好Linux! 移动周报:开发者必须了解的10大跨平台工具 一周热点:领先Google 150年的数据可视化及WhatsApp架构解析 R语言为Hadoop注入统计血脉 海外游戏市场:Google与“开心农场”谈破局 2014年2月操作系统份额:Windows仍在增长 Win 7以47.31%稳居第一 上手指路,高分相送 asp怎样连到SQL Server 2000?给100分,在线等 ASP.NET和SQL 哪位兄弟有用asp.net做的OA完整的例子...大家快来.. 关于dllhost占用系统资源的问题! Kylix是否和Delphi一样有RTF控件可以处理丰富文本? 小弟想考程序员!各位大哥指点一下嘛!有要考的交流一下嘛! 查询条件的问题?? 从事共享软件开发的进来谈谈做共享的辛酸好吗? TListView中某一SubItem怎末实时更新?在线等。。 http://www.000163.com/的空间能不能信得过? 请帮忙哟,在线急等 asp.net下如何用c#编写程序实现调用数据库中的多个表显示在datagrid 如何调用存储过程来删除表中的列名???? 给一个变量赋空值的问题 如何在DirectDraw显示Edit,输入文字?? 贴子回复次数大于跟给分次数是什么意思啊?让不让结啊?? 结交delphi爱好者! 请各位高手给我指点一下方向? 如何在Sybase数据库中获得刚插入的那条记录的主键? 怎样获得菜单项(menuitem)名? 简单问题 请问如果有一个dll文件,我想知道里面有什么函数,但我又没有说明书,有什么工具么? 报表设计器怎末没有在外接程序菜单中显示出来呀?? 如何知道选哪个? 急,如何将图标保存在一个数组中,并将它显示出来? struts配制数据源中如何指定url编码? 在csdn设立开放源代码的项目 妈的!等咱有了钱... zt 请问那位大哥有在linux用mysql管理前端啊 client script动态改变表单的问题 我从网上下载了一个例程,可是太大了,不知道从哪里开始读 如何能在程序的线程被kill的时候将定义的变量写入文件保存 有做过图书馆管理系统的请进(VB+SQL Server)C/S结构 请问这样一行代码是什么意思? 简单问题给100分 在csdn如何改变字体,还有,如果不必自动登陆? 关于创建共享库(.so)的问题,高手帮忙 关于如何限定一个文本框的数据类型 超出一个月未结贴的名单公布 用DATAGRID的绑定列能传一个ID给下一下FROM吗? 模板应用时出现的图片不能显示出来的问题? 这么简单的问题 就20分吧 郁闷...辞过职的人帮帮我 电脑极不稳定 那里可以下载到VC++6.0的MSDN啊??着急看呢! 请问visio的数据库模型的关系怎么删除?? Linux无法启动, 请高手解决!!! 请问wmv格式的文件怎么打开?!(视频) 地址栏中不能输入别的网址,请问是什么原因? 如何知道win2003已被激活? 伟大、朴实、隐蔽、搜索的近义词是什么 You must add at least one person to the To line to send a message. 如果你的生命只剩下几天,你会做什么? 什么是数据完整性?一般包含哪三类数据完整性?分别使用什么完整性机制来保证? 弄了抓啥意思? 如果生命还有几天,你会去做什么 如何用封锁机制保证数据的一致性 波的性质是否改变?某波源发出人耳能听到的波,某人远离波源的速度是足够使该人的接受频率小于20Hz.那么这样所得的次声波,是否与波源直接发出的次声波的性质相同? 要挟,勉励的意思? 伟大,隐蔽,谨慎,朴实的近义词是什么? 总是说把你抓起来 关于“劝学”的文言文和诗句就是找不到哒.. 天文望远镜上的, 抓现形 什么意思? 劝学的词语解释《劝学》中:“登高而招”“顺风耳呼”的而都是什么意思? 写出近义词:诧异( ) 观察( )抱怨( )伤害( )温暖( ) 祈盼( ) 注视( ) 舒畅( ) 兴起和崛起这两个词怎么区分用法?如上 试验有何不足之处 舒畅的近义词 已知各项点都在同一个球面上的正四棱柱的高为3,体积为24,则这个球的表面积是 消失的英文怎么写? 捉急什么意思 飞利浦380伏2000瓦一个灯泡要多少安开关 下面是测量密度的实验,请指出不足之处,怎样改进?1:将天平置于水平台后,立即调节平衡螺母,使横梁平衡2:用天平测出装有适量食用油的烧杯的总质量m13:将烧杯中的一部分食用油倒入量筒 抓现行什么意思 人具有波的性质吗? 植物呼吸作用的实验的不足之处有两个实验:①放蜡烛,蜡烛熄灭的实验②一个袋子罩在植物上,一个管子一头在袋子里,一头在澄清的石灰水里,一挤袋子,石灰水变浑浊了指出这两个实验的不 缩写【虎门销烟】100字 求半径为R的球的内接正四棱柱侧面积的最大值 短期边际成本曲线与平均可变成本曲线的交点称为什么?…,与平均成本曲线的交点称为什么?…. 拿破仑称帝的因素? 如何看pcr的结果图 轻质弹簧的上端固定在电梯的天花板上,弹簧下端悬挂着一个小铁球,在电梯运行时,乘客发现弹簧的伸长量比电梯静止时的伸长量小,这一现象表面( )A.电梯一定是在下降B.电梯可能是在上升C Pass the book to her改为否定句 实时定量pcr的图怎么看?就是标准曲线图,我看不懂啊!横坐标是循环数,纵坐标还看不清是啥...哪位能给我详细讲讲实时定量的图怎么看, 既然消失,就永远别出现了.用英文怎么说? 抓马困是什么意思?有人知道吗? 1,促成拿破仑称帝的原因?2,华盛顿拒绝称王,其个人原因何在? 那么就永远不见吧 用英语怎么说? 根的生长主要依靠分生区的什么和伸长区的什么 BL 抓马什么意思 拿破仑为什么称帝前叫波拿巴比如以前都是波拿巴将军,波拿巴第一执政,称帝后却成了拿破仑皇帝,为什么不是波拿巴皇帝 分生区和伸长区使根生长的机理有何不同 上海话 抓 各服马巷 不来赛啊 来赛!哪能不来塞了 "抓不住的才是最真实的"什么意思 能够使根生长的是分生区还是伸长区? 哥哥姐姐怎马捉 如何正确的指出孩子的不足之处 天文望远镜怎么用? 怎么抓马要去哪抓 求此诗 赏析 另请指出作者不足之处芳菲残尽莺啼愁 故人邀约重旧游 昨是今非不堪赏 欣容背后是苍凉 春花新月碍人眼 风过疏竹侵哀肠 触景伤情陷往事 烟云坠眉起悲绪 心知此番重会后 君 反写一路上影子总跟着我它为什么会变来变去 在做万有引力题目时,什么情况下可以用F=G(Mm/R2)?怎么判断? 《星空思》请大家点评一下有什么不足之处,星空思 望星空之浩瀚,感宇宙之无穷.求心灵以栖息,喜皓月之圣洁.包星辰于无数,慕胸怀之广博.观天地以万物,唯星空之壮丽! 昔日、伟大、隐蔽、谨慎、朴实、搜索的近义词是什么?快! You are the first person to pass the 拿破仑称帝了吗? 什么是数据一致性和完整性,如何保证 波的性质问题发生干涉的两列波是不是要频率相同,波速相同,振幅也要相同吗, 拿破仑为什么称帝一直搞不清楚. 日本首相出访土耳其 欲游说其勿购中国美监管机构调查房地产信托投资基金澳媒称中国买家推动悉尼当地房价升高2美媒:部分美联储官员主张制定债券“退日本首相出访土耳其 欲游说其勿购中国日本拟上调育儿休假补贴发放比例 增加奥巴马医保网站再次瘫痪 众院将举行听美国一醉酒男子被捕后拿总统奥巴马为自澳洲农民呼吁设“全澳产”通道 为本地今秋首次暴风强势登陆法国 数万户家庭统计显示韩国火葬率为74% 比20年美国一男子为取啤酒冒险重返失火房屋险德国政界对美监听默克尔愤怒 欲传唤斯报告称全美国一年有500名少年儿童死韩国反导系统正式开建 被指应避免刺激格鲁吉亚总统大选结束 俄格关系或“有美国一醉酒男子被捕后拿总统奥巴马为自印度拟射火星探测器 欲争亚洲第一被批统计显示韩国火葬率为74% 比20年北京三中院立案受理冀中星爆炸上诉案韩称中韩2014年起联手管制黄海非法“三九、四九,冻死老狗” 原来这句俗李华波出逃前留三封书信 叫嚣从财政局千年昌州古韵将被注入现代时尚元素城里娃农村插秧 体验粒粒皆辛苦西甲还剩两轮 巴萨完胜冠军在望长城证券与小朋友共度母亲节夏天来了 宝贝的健康保卫战 打响了!64件书画作品爱心义卖 为留守女童筹央行今起降息0.25个百分点玛丽莲·梦露相关视频全民投资时代到来 市民首选基金理财产重庆慈善助学系列项目之“托起明天太阳施光南大剧院 昨日迎来首演足协杯力帆派替补战阿尔滨 高层:没双29对金婚夫妻走红毯 婚龄最长63年兴龙湖小学师生 在特勤中队学习消防知90后00后的消费需求 就是股市投资你知道吗 来苏太平寨 曾上演军匪大战力帆昨日兵分两路 主力回渝替补去大连全市去年募集款物4.36亿,有你的一肚子上画笑脸走秀 辣妈们好拼
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘