说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

HBTC精彩回顾 Hadoop专家分享大数据技术工具与最佳实践

HTML文档下载 WORD文档下载 PDF文档下载
常言道:人生如戏,戏如人生。一场戏结束时通常是要谢幕的,一个亮相、一个鞠躬、一段音乐、一句表白都是谢幕的形式。精彩纷呈的HBTC已经落下帷幕,然而不管您是否有机会抽身前往,带你回味一下这饕餮盛宴冰山的一角总是有必要的。

11月30日-12月1日,Hadoop与大数据技术大会(HBTC 2012)在北京新云南皇冠假日酒店已经成功落下帷幕,但留给整个技术界的深思还有很多。会场上,五十余位讲师干料十足的实践经验掀起了场内场外阵阵讨论的热浪,五大分论坛参会者现场提问频频“出彩”,质量颇高。其中,Hortonworks的首席技术官Eric Baldeschwieler,MemSQL 的创始人与首席技术官Nikita Shamgunov,美国俄亥俄州立大学计算机系主任、IEEE Fellow张晓东教授,哈尔滨工业大学的李建中教授,中科院计算所程学旗研究员,国际著名的IT研究与顾问咨询公司Gartner张瑾,以及中国移动通信、IBM、英特尔、Teradata、VMware、Yahoo!、ebay、华为、Informatica、天云、阿里巴巴、百度、腾讯、奇虎360、网易、普泽天玑、精诚资讯等重磅讲师在现场激扬技术与趋势, 聚焦应用和实践。

我们特别选出八位实践派,提炼观点与大家分享。更多专家视点请看现场直播与公布的PPT下载。

赵伟:HIVE在腾讯分布式数据仓库实践

   
腾讯 赵伟  

在12月1日“Hadoop生态系统”主题分论坛,腾讯高级工程师赵伟首先介绍了他们的TDW核心架构,Hive,MapReduce,HDFS及PostgreSQL构成。赵伟分享了最核心的Hive模块在TDW中的实践经验;HIVE是一个在Hadoop上构建数据仓库的软件,它支持通过类SQL的HQL语言对结构化数据进行操作;实现了基本的SQL功能,可扩充UDF/UDAF、自定义SerDeThrift协议、支持多语言客户端。最后他还剖析了Hive的不足并展望了HIVE的发展前景:

在他看来,Hive有四大缺点:数据仓库功能不够完善;使用门槛高(用户界面简陋、运行调试麻烦、问题定位困难、查询计划难看);性能有提升空间(SQL翻译成的MR任务效率低或者不合理);不够稳定。

腾讯赵伟表示,腾讯机器总量5000+,最大集群约2000个节点,覆盖腾讯90%+的产品。TDW集成开发环境活跃用户数:200+,每日运行的分析SQL数:50000+。每日SQL翻译成的MR job数:100000+。最近半年SLA:99.99%。这些数字表现在Hadoop方面,腾讯并不慢。

文章链接:赵伟:Hive在腾讯分布式数据仓库实践

PPT下载 :Download


潘越:从战略角度解读大数据的机遇

   
IBM 潘越  

IBM中国研究院信息管理与医疗健康首席科学家潘越,阐述了大数据的4个V:

第一个V,大数据首先代表的是数据产生的量比传统的量大很多。他认为传统的G级别或者T级别的数据存储和管理的方案,目前看起来都不太合适或者是性价比不高。

第二个V针对的是机器产生的数据。传统的分析的周期原来可能都是以月、周、天这样的时间来做分析的,而现在很多的分析都需要实时的决策,所以数据关键是速度。

第三个V,当然是用户数据的多样性。

第四个V,数据里包含的不确定性。数据的不确定性和数据的多样性之间可能也有一种天然的联系,但是也不完全地等同。

然后得出了三点结论:1.大数据并不能固守在自己的领域里面,要跟企业中其他的数据管理、信息分析结合起来。2.在大数据的部署过程中会采用很多种技术,我们不仅要看到技术的有效性,还要更多地考虑一下:如果把技术结合在一起,会产生什么样的价值。3.像大数据平台应该是一个共享的平台,应该能为大家创造一个共同协作的环境,这样就能降低成本和风险。

文章链接:潘越:从战略角度解读大数据的机遇

PPT下载 :Download


戴建勇:解读Apache Pig的性能优化

    
Hortonworks 戴建勇  

在12月1日“Hadoop生态系统”主题分论坛,Hortonworks member of technical staff戴建勇对Apache Pig的优化做出了详细的解说。

首先戴建勇分析了Pig和Hive的不同:

虽然Pig和hive是用来解决同样的问题,但Pig和Hive却着有显著不同。首先Pig是一个过程化的语言;而Hive说的是SQL的语言,是描述性的语言。许多开发者都喜欢使用过程化进行数据开发。对比Hive,Pig显得更加灵活,因为在Pig里面Schema不是必需的。Pig具有可扩充性,基本上所有的Pig函数库都是可以扩充的。

之后戴建勇还对Pig的历史以及Pig中的工具进行了充分的分享。当然重中之重Pig的优化是不可或缺的,各种Join的实现、oder by的实现、如何利用Combiner以及基于规则的优化器。戴建勇还对Pig 0.11版的新特性做出了解析。还等什么,速度点击下面的传送门吧!

最后文章链接:戴建勇:解读Apache Pig的性能优化

PPT下载 :Download


强琦:平台的意义在于交换,数据的价值在于共享

   
阿里 强琦  

在大数据共享平台与应用主题论坛上,来自阿里巴巴集团数据交换平台资深专家强琦分享了大数据探索 —— 阿里巴巴数据交换平台。强琦强调数据的价值在于共享,而平台的价值在于交换。作为平台的建造者要拿出数据给大家交换,以身做饵,以高价格的数据交换散落在蓝海中的数据。阿里巴巴未来的策略,也正是基于这点。数据单独使用,发挥价值并不大。只有把数据融合在一起,才能产生出巨大的价值。

强琦还指出阿里巴巴不会单纯的以打造平台的目的去做一个平台,会把平台的打造融入业务当中。阿里巴巴的数据交换平台是开放的,平台将打通和整合整个阿里巴巴集团的所有的数据。提供人性化的服务,建立一个统一的大数据交换平台。这也将是阿里巴巴至明年的工作重点之一。

文章链接:强琦:大数据探索-阿里巴巴数据交换平台

PPT下载 :Download


顾费勇:未来的DataStream机制

   
网易 顾费勇  

在12月29日主题论坛三大数据共享平台与应用中,网易资深工程师顾费勇为我们带了题为《海量数据搬运工——DataStream》的主题演讲。顾费勇从DataStream产生的原因、结构和特征、关键技术点、应用场景和未来的展望为我们开启了海量数搬运的篇章。 顾费勇为我们介绍了关于DataStream的试点关键技术:异构数据源解析、数据分流、数据可靠传输和数据传输效率。以数据的可靠传输为例让我们了解DataStream试点的关键技术。顾费勇认为数据的可靠传输包括四种。第一,持久化机制,将收到的消息先做持久化后发送。第二,ACK机制,可确保后端模块已收到数据,未收到则重发。第三,异常数据处理,将无法处理的异常数据保存在指定位置,可追溯来源。第四,全面覆盖的监控程序,监控所有进程的正确执行,监控系统有无异常日志,监控系统吞吐量是否不足有延迟,监控产品数据流量异常波动,监控产品有无不符合协议的日志。

文章链接:费勇:海量数据搬运工——DataStream

PPT下载 :Download


刘立萍:数据消费的改变,解决规模 ==》解决计算 ==》数据智能

   
百度 刘立萍  

在大数据共享平台与应用主题论坛上,来自百度基础架构部数据平台技术经理刘立萍介绍了百度大数据平台。刘立萍表示随着应用的需求,当我们的数据处理能力越来越强以后,对数据消费更高的要求也提出来了,而在百度内部把迭代关系划分成了三个阶段:

第一,解决规模(2007到2011年),解决基础存储和计算的问题。整个的集群、搭建的这些平台包括计算模式在很多地方都有计算过。单机群体达到五千,MPI的集群达到四千;各种计算模型,增量计算这种模型、规模在运用的过程中遇到过很多问题。随着碎片计算增多,使得大家计算资源越来越不够,任务都不能用;整个的任务,还有数据都不能附用。2011到2013年(从计算为中心转到数据为中心,对数据进行处理),这个过程中,实际上以数据仓库的技术为核心的,这也是现在正在做的事情。第三个阶段,从2013年以后(预测)。而这一阶段的期望是出现一些叫数据智能的产品。

文章链接:刘立萍:百度大数据平台介绍

PPT下载 :Download


刘佳:全面分析HBase用例

   
普泽天玑 刘佳  

在12月1日“Hadoop生态系统”主题分论坛,普泽天玑技术总监刘佳发表了题为“HBase用例分析”的演讲。刘佳主要分享了3个案例:

第一个是数据魔方,他从新旧系统的原理对比入手,详细介绍了他们如何对流程进行重新规划。

第二个是访客直播间,从系统架构的角度深度解析了HBase的应用。

最后是广点通,刘佳从业务背景出发对系统的重新部署流程做了深刻的讲解。

刘佳借以上3个案例,详述了项目过程中所遇到难题的实现方法。限于篇幅问题,详细技术请绕至下方传送门。

文章链接:刘佳:全面分析HBase用例

PPT下载 :Download


Ronaldo Ama使用虚拟技术整合大数据和云计算

   
VMware Ronaldo Ama 

VMware全球高级副总裁Ronaldo Ama在题为“大数据和云计算如何联系(云中的大数据)”的演讲中,展现了一副大数据的应用全景。在实时流技术,机器学习技术、实时处理技术、数据分析技术和批处理等多个领域展开。

其间Ronaldo Ama从技术上提出了3层模型,最上面是部署云计算技术的计算层;位于中间是数据存储和预处理的数据层;处于最下面的自然是由许多主机和网络构成的基础设施层。显然要实现易维护、高可靠性、弹性、灵活租用等都需要虚拟技术的支持。

最后,针对如何实现、部署虚拟化框架和应用,Ronaldo Ama还做了详细的阐述。

Ronaldo Ama认为,大数据很好,可以带来很多的价值!

文章链接:Ronaldo Ama使用虚拟技术整合大数据和云计算

PPT下载 :Download


更多“干货”请见HBTC2012直播页  责编:王旭东

欢迎关注@CSDN云计算微博,了解更多关于大数据的信息。

VB利用 API 可以直接拨号 VB利用API 使Text框只读 VB利用API创建文件目录 VB利用API函数实现VB特殊窗体的两种方法 VB利用API函数实现无TittleBar窗体的移动 VB利用API在VB5.0中实现清除文档名 VB利用App.PrevInstance防止同一程序执行多次 VB判断应用程序是否仍在运行并设置焦点 巧用VISUAL BASIC的RND()函数 让你的程序不在任务栏中显示 -VB资料 VB如何不用API使文本框属性只读? VB如何从文件中提取图标 VB如何关闭/重新启动计算机? VB如何建立快捷方式? VB如何让窗口始终在最前面? VB如何使你的程序同文件扩展名建立关联? VB如何提高调用WINDOWS API函数编程技巧 VB如何为你的应用程序设置热键? VB如何隐藏鼠标指针 VB如何用api检查任务栏中有多少种输入法 VB如何在函数中传递数量不定的参数? VB使用 kb_event 函数模拟键盘操作 VB使用API获取颜色 VB使用标签控件调出浏览器 VB使用调用外部程序函数实现API函数高级功能 未公开API函数揭秘——通用对话框-VB资料 显示文件属性对话框-VB资料 VB用 API 打开打印对话框 VB用API函数改进ListView控件的显示效果 VB用API函数控制光驱的开关 VB用注册表保存数据(VB函数篇) 当FORM1窗体最小化时 如何注册c++build6.0?注册机用不了? 而当FORM1窗体最小化时 --在线等待,高手入内:-IE打印中4.23的问题--- 请问如何在另外一个服务器的文件里写入数据?帮帮忙,急!! 我的困惑 weblogic7.0部署JavaBean和Servlet问题 CComboBox的GetCurSel()问题? 象《金山快译》那样的导航条效果该怎么做了? sql查询的问题,急于解决,请指教! 请问笔记本的开机密码忘了怎么办? 我的困惑 如下小程序,怎么也有问题???请教!? 请问.asf用什么播放 有什么办法能把文本文件中的一个空行给删除 求解(非常急)——在VC中开发电子相册需要哪些技术??? 谁听到过bios这样的报警声 谁知道哪里可以下载vtk4.0软件吗? 斑竹:为什么我提问的帖子没了,难道被删了吗?http://expert.csdn.net/Expert/topic/1323/1323618.xml?temp=.942135 请教?题目:用名为min的函数模板计算两个参数的最小值,用一对整形、字符和浮点数测试所编程序! C++builder6 下载 在线等待有关TurboC4.3的安装问题(还有D版VC的安装) 如何通过EJB删除数据库中的一行记录? 请帮忙 远程桌面共享的密码在注册表中的位置???急!!! 推荐软件:WinReplace批量文件内容替换工具 请推荐一个Java Decompiler 怎样用VB 检测EXCEL是否运行出 (菜鸟级100分) 高分求购 数据库中的OLE字段的读取问题。 研考快了,有几到题莫名其妙,求帮助! 求助大虾??????? 帮忙!! 如何获得当前程序的完整路径和文件名? 高分请教:resin2.1.6+sql2000下,jsp提取的字段显示均为乱码 Ftpcommand ? 如何获取最小化按钮消息?PreTranslateMessage(MSG* pMsg)如何处理? 请教高手——图片如何转换成视频? 河北的高程什么时间报名?什么时间考呀? 等待在线 JS文件打开乱码,如何看到其真实内容? 急,在线等待,90获取如何让Collection集合内对象的顺序改变!!! 在那里可以找到浪潮英信服务器 的声卡和显卡的驱动程序? 一个文学性网页,有砖头尽量扔过来。散分!!! 在jsp中连接oracle报错,请高手帮我分析原因(100分) 很丢脸的,兄弟们来帮我一下哦,? 我的困惑 谁知道哪里可以下载vtk4.0吗? 两个关于日期的问题,请大家帮帮手. #include windows.h 的问题 OS 很多近期帖子打不开,WHAT CAN I DO? 求regionMatches的使用实例! 《好声音》台湾首播 收视率超《康熙来东京申奥混血美女大使泷川雅美性感美照《好声音》冠军梁博美国街头献唱 获网4位战队冠军决出那姐即兴演唱媒体全票好声音“袭”台 张玮张赫宣金池丁丁首中国“恐龙女”上韩国整容节目变绝美芭《中国好声音》第一季冠军梁博美国街头北影表演系新生自曝K歌美照 真的好美中国好哥哥吴大伟走红 相差18年兄妹《好声音》四强选手3男1女东北学员占《好声音》36强产生 下周开始“36张馨予李晨被爆分手 张馨予珍藏版性感好声音决出四位战队冠军 101家媒体SHE巡演Ella尺度全开 深V露到58岁刘晓庆再演少女 被小21岁男演汪东城北京个唱与辣妹“肉搏” 大秀腹中国好声音庾澄庆现场即兴表演现鬼马本《中国好声音》萱萱学员的音乐梦想之路邓鼓VS余俊逸中国好声音:邓鼓VS余俊逸《天黑黑》蘑菇兄弟VS戴荃17173游戏风云榜:中国游戏产业见互联网等于低价?看看这个定价8000港媒:PLA拉改革大幕 7军区合并为俄军舰紧急调动到地中海 意向不明(图三星GALAXY A9在官网亮相 或贾跃亭:乐视移动完成5.3亿美元首轮Coolhear李斌的“活法”——一云通讯的商业诱惑力有多大?inLife早报 | 智能表收集的数这个X装的给个满分不为过!SKT阵容上单空缺 Faker曝Ma惊人发现:揭丝绸之路上的千年干尸之谜放下遥控器走向电影院 这才是院线崛起完美变身红龙!《龙之谷》卢比纳特六件微软已撤掉主页:Win10兼容安卓彻国行Moto X Force亮相工信Droid Turbo2国行版Mot攒了半年的钱终于从黄牛那买了一个苹果手机本来就该这样子 Nokia 23红米Note 3宣传声势浩大 周鸿祎要来了!国行Lumia 950系列发
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘