说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

HBTC精彩回顾 Hadoop专家分享大数据技术工具与最佳实践

HTML文档下载 WORD文档下载 PDF文档下载
常言道:人生如戏,戏如人生。一场戏结束时通常是要谢幕的,一个亮相、一个鞠躬、一段音乐、一句表白都是谢幕的形式。精彩纷呈的HBTC已经落下帷幕,然而不管您是否有机会抽身前往,带你回味一下这饕餮盛宴冰山的一角总是有必要的。

11月30日-12月1日,Hadoop与大数据技术大会(HBTC 2012)在北京新云南皇冠假日酒店已经成功落下帷幕,但留给整个技术界的深思还有很多。会场上,五十余位讲师干料十足的实践经验掀起了场内场外阵阵讨论的热浪,五大分论坛参会者现场提问频频“出彩”,质量颇高。其中,Hortonworks的首席技术官Eric Baldeschwieler,MemSQL 的创始人与首席技术官Nikita Shamgunov,美国俄亥俄州立大学计算机系主任、IEEE Fellow张晓东教授,哈尔滨工业大学的李建中教授,中科院计算所程学旗研究员,国际著名的IT研究与顾问咨询公司Gartner张瑾,以及中国移动通信、IBM、英特尔、Teradata、VMware、Yahoo!、ebay、华为、Informatica、天云、阿里巴巴、百度、腾讯、奇虎360、网易、普泽天玑、精诚资讯等重磅讲师在现场激扬技术与趋势, 聚焦应用和实践。

我们特别选出八位实践派,提炼观点与大家分享。更多专家视点请看现场直播与公布的PPT下载。

赵伟:HIVE在腾讯分布式数据仓库实践

   
腾讯 赵伟  

在12月1日“Hadoop生态系统”主题分论坛,腾讯高级工程师赵伟首先介绍了他们的TDW核心架构,Hive,MapReduce,HDFS及PostgreSQL构成。赵伟分享了最核心的Hive模块在TDW中的实践经验;HIVE是一个在Hadoop上构建数据仓库的软件,它支持通过类SQL的HQL语言对结构化数据进行操作;实现了基本的SQL功能,可扩充UDF/UDAF、自定义SerDeThrift协议、支持多语言客户端。最后他还剖析了Hive的不足并展望了HIVE的发展前景:

在他看来,Hive有四大缺点:数据仓库功能不够完善;使用门槛高(用户界面简陋、运行调试麻烦、问题定位困难、查询计划难看);性能有提升空间(SQL翻译成的MR任务效率低或者不合理);不够稳定。

腾讯赵伟表示,腾讯机器总量5000+,最大集群约2000个节点,覆盖腾讯90%+的产品。TDW集成开发环境活跃用户数:200+,每日运行的分析SQL数:50000+。每日SQL翻译成的MR job数:100000+。最近半年SLA:99.99%。这些数字表现在Hadoop方面,腾讯并不慢。

文章链接:赵伟:Hive在腾讯分布式数据仓库实践

PPT下载 :Download


潘越:从战略角度解读大数据的机遇

   
IBM 潘越  

IBM中国研究院信息管理与医疗健康首席科学家潘越,阐述了大数据的4个V:

第一个V,大数据首先代表的是数据产生的量比传统的量大很多。他认为传统的G级别或者T级别的数据存储和管理的方案,目前看起来都不太合适或者是性价比不高。

第二个V针对的是机器产生的数据。传统的分析的周期原来可能都是以月、周、天这样的时间来做分析的,而现在很多的分析都需要实时的决策,所以数据关键是速度。

第三个V,当然是用户数据的多样性。

第四个V,数据里包含的不确定性。数据的不确定性和数据的多样性之间可能也有一种天然的联系,但是也不完全地等同。

然后得出了三点结论:1.大数据并不能固守在自己的领域里面,要跟企业中其他的数据管理、信息分析结合起来。2.在大数据的部署过程中会采用很多种技术,我们不仅要看到技术的有效性,还要更多地考虑一下:如果把技术结合在一起,会产生什么样的价值。3.像大数据平台应该是一个共享的平台,应该能为大家创造一个共同协作的环境,这样就能降低成本和风险。

文章链接:潘越:从战略角度解读大数据的机遇

PPT下载 :Download


戴建勇:解读Apache Pig的性能优化

    
Hortonworks 戴建勇  

在12月1日“Hadoop生态系统”主题分论坛,Hortonworks member of technical staff戴建勇对Apache Pig的优化做出了详细的解说。

首先戴建勇分析了Pig和Hive的不同:

虽然Pig和hive是用来解决同样的问题,但Pig和Hive却着有显著不同。首先Pig是一个过程化的语言;而Hive说的是SQL的语言,是描述性的语言。许多开发者都喜欢使用过程化进行数据开发。对比Hive,Pig显得更加灵活,因为在Pig里面Schema不是必需的。Pig具有可扩充性,基本上所有的Pig函数库都是可以扩充的。

之后戴建勇还对Pig的历史以及Pig中的工具进行了充分的分享。当然重中之重Pig的优化是不可或缺的,各种Join的实现、oder by的实现、如何利用Combiner以及基于规则的优化器。戴建勇还对Pig 0.11版的新特性做出了解析。还等什么,速度点击下面的传送门吧!

最后文章链接:戴建勇:解读Apache Pig的性能优化

PPT下载 :Download


强琦:平台的意义在于交换,数据的价值在于共享

   
阿里 强琦  

在大数据共享平台与应用主题论坛上,来自阿里巴巴集团数据交换平台资深专家强琦分享了大数据探索 —— 阿里巴巴数据交换平台。强琦强调数据的价值在于共享,而平台的价值在于交换。作为平台的建造者要拿出数据给大家交换,以身做饵,以高价格的数据交换散落在蓝海中的数据。阿里巴巴未来的策略,也正是基于这点。数据单独使用,发挥价值并不大。只有把数据融合在一起,才能产生出巨大的价值。

强琦还指出阿里巴巴不会单纯的以打造平台的目的去做一个平台,会把平台的打造融入业务当中。阿里巴巴的数据交换平台是开放的,平台将打通和整合整个阿里巴巴集团的所有的数据。提供人性化的服务,建立一个统一的大数据交换平台。这也将是阿里巴巴至明年的工作重点之一。

文章链接:强琦:大数据探索-阿里巴巴数据交换平台

PPT下载 :Download


顾费勇:未来的DataStream机制

   
网易 顾费勇  

在12月29日主题论坛三大数据共享平台与应用中,网易资深工程师顾费勇为我们带了题为《海量数据搬运工——DataStream》的主题演讲。顾费勇从DataStream产生的原因、结构和特征、关键技术点、应用场景和未来的展望为我们开启了海量数搬运的篇章。 顾费勇为我们介绍了关于DataStream的试点关键技术:异构数据源解析、数据分流、数据可靠传输和数据传输效率。以数据的可靠传输为例让我们了解DataStream试点的关键技术。顾费勇认为数据的可靠传输包括四种。第一,持久化机制,将收到的消息先做持久化后发送。第二,ACK机制,可确保后端模块已收到数据,未收到则重发。第三,异常数据处理,将无法处理的异常数据保存在指定位置,可追溯来源。第四,全面覆盖的监控程序,监控所有进程的正确执行,监控系统有无异常日志,监控系统吞吐量是否不足有延迟,监控产品数据流量异常波动,监控产品有无不符合协议的日志。

文章链接:费勇:海量数据搬运工——DataStream

PPT下载 :Download


刘立萍:数据消费的改变,解决规模 ==》解决计算 ==》数据智能

   
百度 刘立萍  

在大数据共享平台与应用主题论坛上,来自百度基础架构部数据平台技术经理刘立萍介绍了百度大数据平台。刘立萍表示随着应用的需求,当我们的数据处理能力越来越强以后,对数据消费更高的要求也提出来了,而在百度内部把迭代关系划分成了三个阶段:

第一,解决规模(2007到2011年),解决基础存储和计算的问题。整个的集群、搭建的这些平台包括计算模式在很多地方都有计算过。单机群体达到五千,MPI的集群达到四千;各种计算模型,增量计算这种模型、规模在运用的过程中遇到过很多问题。随着碎片计算增多,使得大家计算资源越来越不够,任务都不能用;整个的任务,还有数据都不能附用。2011到2013年(从计算为中心转到数据为中心,对数据进行处理),这个过程中,实际上以数据仓库的技术为核心的,这也是现在正在做的事情。第三个阶段,从2013年以后(预测)。而这一阶段的期望是出现一些叫数据智能的产品。

文章链接:刘立萍:百度大数据平台介绍

PPT下载 :Download


刘佳:全面分析HBase用例

   
普泽天玑 刘佳  

在12月1日“Hadoop生态系统”主题分论坛,普泽天玑技术总监刘佳发表了题为“HBase用例分析”的演讲。刘佳主要分享了3个案例:

第一个是数据魔方,他从新旧系统的原理对比入手,详细介绍了他们如何对流程进行重新规划。

第二个是访客直播间,从系统架构的角度深度解析了HBase的应用。

最后是广点通,刘佳从业务背景出发对系统的重新部署流程做了深刻的讲解。

刘佳借以上3个案例,详述了项目过程中所遇到难题的实现方法。限于篇幅问题,详细技术请绕至下方传送门。

文章链接:刘佳:全面分析HBase用例

PPT下载 :Download


Ronaldo Ama使用虚拟技术整合大数据和云计算

   
VMware Ronaldo Ama 

VMware全球高级副总裁Ronaldo Ama在题为“大数据和云计算如何联系(云中的大数据)”的演讲中,展现了一副大数据的应用全景。在实时流技术,机器学习技术、实时处理技术、数据分析技术和批处理等多个领域展开。

其间Ronaldo Ama从技术上提出了3层模型,最上面是部署云计算技术的计算层;位于中间是数据存储和预处理的数据层;处于最下面的自然是由许多主机和网络构成的基础设施层。显然要实现易维护、高可靠性、弹性、灵活租用等都需要虚拟技术的支持。

最后,针对如何实现、部署虚拟化框架和应用,Ronaldo Ama还做了详细的阐述。

Ronaldo Ama认为,大数据很好,可以带来很多的价值!

文章链接:Ronaldo Ama使用虚拟技术整合大数据和云计算

PPT下载 :Download


更多“干货”请见HBTC2012直播页  责编:王旭东

欢迎关注@CSDN云计算微博,了解更多关于大数据的信息。

Babylon.js:拥有微软背景的开源3D游戏引擎 EMC 2014存储布局及十大新技术要点 腾讯推出零流量地图 离线实现公交步行导航 Atmel 1.4亿美元收购Newport Media 巩固物联网产品线 微信大会首批议程出炉 深度解析招行服务号是如何炼成的? 指尖上的阅读:MIT开发盲人专用设备FingerReader 从桌面到移动:异构计算翻天覆地的技术变革 《近匠》Blueware何晓阳,不做中国的New Relic 全球最杰出的14位程序员 Microsoft、RedHat、IBM、Docker等公司加入Kubernetes社区 Intel携手三星、博通等 建立物联网联盟OIC 一周消息树:微软半年内将终止对Win 7、Office 2010 SP1等产品的支持 深度神经网络DNN的多GPU数据并行框架 及其在语音识别的应用 浪潮通软GSP将打造开放平台 吸引更多ISV加入生态系统 国外安全产品再遭信任危机 安全产品国产化步伐加快 最终幻想XIV的重生--SQUARE ENIX《最终幻想14》制作人吉田直树介绍 如何打造百万级自然增长的微信HTML5应用 听邵海杨聊聊1000+台服务器背后的故事 借助Facebook、Twitter等社交平台API打造超炫酷的那些应用 Unity中Shader的开发运用实战详解,开放报名! 我从独立游戏开发学到的6件事儿 果断Mark!Searchcode——源代码搜索利器 《近匠》图灵机器人:App和移动硬件的智慧大脑 极路由发布HiWiFi OS及应用开放平台 Loom SDK框架:命令行快速开发跨平台2D游戏 安全管家Q2移动安全数据报告:窃取隐私最多 Project Adam vs. Artificial Brain,微软与谷歌角力人工智能 “微信公众平台优秀开发商”征集评选活动正式启动 移动数据库新疆界:开源、Swift、可穿戴... Chromebook侵蚀微软商用PC市场,成绩喜人 2014微信开发者大会议程公布 8月1日前购票8折优惠并赠书 ###Profiles使Powerbuilder与后台数据库联系起来。根据数据访问的不同,Profiles应用的接口又分为那两类?### EVC中的CFileDialog怎么不能选择文件啊? 备份数据日志时出现下面提示.请高手指教 对《程序员》的建议,大家都来说说!!! 100分!!!!!在Win32中用那个函数可以打开指定的字符文件,如指定code.out,怎样打开????? 安装VS.NET失败,不想重装系统,怎么回事? 如何退定CSDN的邮件? 救命啊!小弟遇到一个非常奇怪的问题 请问,delphi6的中文版有吗? 请问目前比较流行的数据库对中文表及中文段的支持情况 薪水问题求教 VB调用动态链接库的问题,HELP! 高分求教,MyODBC!!!!!!!!!!!!!!!!!! vc++ 写了一个vb控件,如何让客户端打包下载 关于如何在linux下运行xml的程序的问题 急!请问那为大虾知道wast这个软件啊? 求救:用VC怎么调试程序(怎样设断点) 各位高手:>>>送分问题.....谢谢!! 关于安装程序.... 在Form上放一个Memo,响应Form的onMouseMove时,为什么在Memo上移动鼠标,事件中的传递的参数Sender总是Form而不是Memo? tc++中怎样使用bitmap 送分了!! bcb报表中只有richedit可以自动折行,如何解决? 如何把asccii字符串转化为unicode形式的字符串??? 高手请帮帮我吧 打印RichTextBox 的内容时,如何设置页边距? 可变参数的函数 想找个老师帮我提高 要做一个dll需要在不同的平台调用该如何声明? 硬盘分区表是哪个文件? 我准备写篇有关软件企业的管理的文章,谁愿提供建议和材料,谢谢! 急!如何在VB中控制扫描仪,并按要求取得图象? 高手请指点 [给分]请global_boy(准备蒸发)进来领分!帮助解决Win2000启动选项的配置..原贴:http://www.csdn.net/expert/topic/592/592163.xml?temp= 请教高手!如何通过文件名获得其图标 MCSE?! 数据连接错误? 如何让datagrid绑定数据 ISAPI程序里输出的网页无法显示,大家救命! 请问如何在Jb6中使用中文字体,比如说宋体 HTTP 和 FTP 一个黑客问题? SQL 急的!谢谢大家帮忙!关于interbase与c++builder5的连接。 请教高手! 哪里有免费下载<thinking in c++>等图书的? 那位大侠懂在 VC 中用汇编??? 有会命名管道操作的高手吗 请教高手! 异步传送的问题? 小明每分钟走70米,小东每分钟跑90米,小明走10分钟后,小东才去追他,小东几分钟追上他 作文:痛并快乐着(450字) 以什么的味道作文700字 能追得上小明吗?A,B两地相距90千米,甲从A地骑自行车去B地,1小时后乙骑摩托车也从A到去B地,已知甲每小时行12千米,乙每小时行30千米 问1:乙出发后多少时间追上甲?2:若乙到达B地后立即返回, 痛并快乐着 帮我写初一英语作文60字OK大神们帮帮忙网友想知道你的日常生活,现在根据以下提示,给网友发个邮件,告诉她你的情况 要点提示:1.在深圳阳光中学上学 2.6:30分起床 3.8:30-11:30上课 4.下午4 小明要测量自己100米跑的平均速度小明要测量自己100m跑的平均速度和其中后60m跑的平均速度,他请来三位同学,按以下步骤进行了测量.a、选出二个同学做计时员,分别站在距起点_________m和____ 以《痛并快乐着》为题的作文.急白岩松的《痛并快乐着》、郭敬明的《梦里花落知多少》1、任选其一做题目,写一篇不少于600字的文章.2、可以记叙经历,抒发感情,发表见解等.3、除诗歌、戏 作文____的滋味 600~700字 小明从A地处发言公路朝一个方向慢跑,速度2米/秒,过了一会,一只小狗从A地出发追 小明从A地处发言公路朝 六年级作文痛并快乐着.怎么写层次深一点,成长中的 一篇英文的作文100单词(关于中国传统节日的) 圆中国梦,共建美好校园 作文演讲模式的,重点写创建校园,略写中国梦!但仍希望为我解答, 英语自我介绍 适合于口语比赛中 急大致内容如下 请尽量用高级词汇和从句翻译 大学水平 不一定要都一样 可以适当自己添加 里面人名可不翻译 请不要出现语法错误很荣幸能在这里介绍我 读书的滋味 作文 记叙文 600字左右 作文中华情中国梦怎写? 英语自我介绍口语各位主考官你们好!我叫XXX年龄18岁或者19!我学的是计算机应用技术!爱好足球,网球,吉他! 英语小论文,做英语海报是这样的,我们要做英语海报,需要一些关于fashion show的文章, 修改病句:小丽和小华一起上学,她在路上捡到一个钱包. 口语比赛自我介绍英文版 阅读下列文字,根据要求写一片不少于700字的作文长沙街头一位青年牵着白发父亲的手缓慢过马路,感动了许多路人,该视频在网上发出后短短一天时间,被两万多网友关注,不少人跟帖说这份孝 小丽的朗读和写作水平在逐渐增强.该病句错在哪里小丽的朗读和写作水平在逐渐增强.说这是病句 请找出错误.儿子做不出问我,我愣是看了五分钟,实在惭愧,找不出错在哪里,请指教~ 五年级上册语文第三单元作文说明文怎么写?(要写小兔子)_ 作文-小兔爱看书700字 两只兔子一共摘了96个蘑菇.大兔子摘的是小兔子的3倍;大兔子分别和小兔摘了多少蘑菇? 关于兔子的作文 说明文 初中生作文说明文:我的卧室500字 五年级下册语文第三单元作文:竞选劳动委员演讲稿1、为什么竞选这个岗位2、自己有那些优势3、如果竞选成功怎样为同学服务,如果竞选失败怎么办 竞选英语组长发言稿作文快! 关于说明文的作文500字 五年级下册语文作文发言稿450字竞选数学课代表的450字必须!注意,最好别加入性格! 一本童话故事书,点点第一天看了全数的7分之1,第二天看了15页,这两天看的与剩下的页数比是1:3,这本书共多少页?要有过程. 说明文作文500字 写状物 五年级下册作文第三单元劳动委员400字大哥大姐,快 介绍一种物品,最好要用到列数字、举例子、作比较、打比方其中的几种说明方法. 感恩母亲作文100字 我想考托福,请问有什么准备方法、比较好的参考书.我现在初三,打算在高2~高3考托福请问有什么参考书可以推荐给我的(或者某个出版社、作者的书籍)?词汇书、语法书、阅读、聆听、说话 求用七十个单词写的上学路上的见闻故事的英语作文 写景作文材料可以有哪些 小明在路上看到一袋米和一百块钱!请问小明会选择哪个 我想考托福,介绍几本参考书.我大二刚刚把六级过了,但分数不高446分 现在想准备托福,希望找一本基础一点的辅导书 我为什么爱讲话作文600字知道的快来 急用 可以给500分 去菜市场卖菜赚钱吗? 怎么办!我要考托福! 为什么friends是最适合锻炼听力和口语的英语电影 捡到一块钱,怎么处理今天捡到一元钱,怎么处理好一点,听说捡钱不吉利? 英语翻译 求关于英语学习方法的英文短文可包括培养兴趣良好习惯勤能补拙自信等要点 我要一篇作文《竞选班长发言稿》,400字左右.急. 第十三届全国英语创新大赛复赛口语需不需要准备自我介绍?速度 为你喜爱的电影做一张海报例子:It's "Shaolin Temple".It's an action movie.It's very evciting.Jet Li is in the movie.写动画片也可以 我回家的路上,捡到一块钱.英文怎么说?我看语法书上说长的动作要用过去进行时,段的用过去式. 人教版五年级下册第三单元作文:竞选体育委员发言稿 大毛看了一本数学童话书,已看页数与未看页数的比是1:4,如果再看5页,这时已看页数占总页数的30%,问这本书共有多少页? 兔妈妈把才回的蘑菇的八分之五,按2:3分给两只小兔,得到蘑菇较多的小兔得了45个.兔兔妈妈一共采回蘑菇多少个?算式和方程(方程是要x不要y什么的) 第十届全国创新英语大赛复赛怎么准备?尤其是口语部分?望曾拿过优胜的同学指导下~ 求700至800字作文, 两只兔子一共采了240个蘑菇,平均每个兔子采了6个.每只大兔子踩了八个蘑菇,每只小兔子采了三个蘑菇大兔大兔子和小兔子各有多少只? 创新英语大赛口语怎么比?话题陈述是电脑自动抽出一道题,思考30s,陈述90s,还是抽取好几道题,然后思考,然后陈述呢?另外看完题目会紧张,万一啥都不敢说了怎么办 急用
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘