说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

HBTC精彩回顾 Hadoop专家分享大数据技术工具与最佳实践

HTML文档下载 WORD文档下载 PDF文档下载
常言道:人生如戏,戏如人生。一场戏结束时通常是要谢幕的,一个亮相、一个鞠躬、一段音乐、一句表白都是谢幕的形式。精彩纷呈的HBTC已经落下帷幕,然而不管您是否有机会抽身前往,带你回味一下这饕餮盛宴冰山的一角总是有必要的。

11月30日-12月1日,Hadoop与大数据技术大会(HBTC 2012)在北京新云南皇冠假日酒店已经成功落下帷幕,但留给整个技术界的深思还有很多。会场上,五十余位讲师干料十足的实践经验掀起了场内场外阵阵讨论的热浪,五大分论坛参会者现场提问频频“出彩”,质量颇高。其中,Hortonworks的首席技术官Eric Baldeschwieler,MemSQL 的创始人与首席技术官Nikita Shamgunov,美国俄亥俄州立大学计算机系主任、IEEE Fellow张晓东教授,哈尔滨工业大学的李建中教授,中科院计算所程学旗研究员,国际著名的IT研究与顾问咨询公司Gartner张瑾,以及中国移动通信、IBM、英特尔、Teradata、VMware、Yahoo!、ebay、华为、Informatica、天云、阿里巴巴、百度、腾讯、奇虎360、网易、普泽天玑、精诚资讯等重磅讲师在现场激扬技术与趋势, 聚焦应用和实践。

我们特别选出八位实践派,提炼观点与大家分享。更多专家视点请看现场直播与公布的PPT下载。

赵伟:HIVE在腾讯分布式数据仓库实践

   
腾讯 赵伟  

在12月1日“Hadoop生态系统”主题分论坛,腾讯高级工程师赵伟首先介绍了他们的TDW核心架构,Hive,MapReduce,HDFS及PostgreSQL构成。赵伟分享了最核心的Hive模块在TDW中的实践经验;HIVE是一个在Hadoop上构建数据仓库的软件,它支持通过类SQL的HQL语言对结构化数据进行操作;实现了基本的SQL功能,可扩充UDF/UDAF、自定义SerDeThrift协议、支持多语言客户端。最后他还剖析了Hive的不足并展望了HIVE的发展前景:

在他看来,Hive有四大缺点:数据仓库功能不够完善;使用门槛高(用户界面简陋、运行调试麻烦、问题定位困难、查询计划难看);性能有提升空间(SQL翻译成的MR任务效率低或者不合理);不够稳定。

腾讯赵伟表示,腾讯机器总量5000+,最大集群约2000个节点,覆盖腾讯90%+的产品。TDW集成开发环境活跃用户数:200+,每日运行的分析SQL数:50000+。每日SQL翻译成的MR job数:100000+。最近半年SLA:99.99%。这些数字表现在Hadoop方面,腾讯并不慢。

文章链接:赵伟:Hive在腾讯分布式数据仓库实践

PPT下载 :Download


潘越:从战略角度解读大数据的机遇

   
IBM 潘越  

IBM中国研究院信息管理与医疗健康首席科学家潘越,阐述了大数据的4个V:

第一个V,大数据首先代表的是数据产生的量比传统的量大很多。他认为传统的G级别或者T级别的数据存储和管理的方案,目前看起来都不太合适或者是性价比不高。

第二个V针对的是机器产生的数据。传统的分析的周期原来可能都是以月、周、天这样的时间来做分析的,而现在很多的分析都需要实时的决策,所以数据关键是速度。

第三个V,当然是用户数据的多样性。

第四个V,数据里包含的不确定性。数据的不确定性和数据的多样性之间可能也有一种天然的联系,但是也不完全地等同。

然后得出了三点结论:1.大数据并不能固守在自己的领域里面,要跟企业中其他的数据管理、信息分析结合起来。2.在大数据的部署过程中会采用很多种技术,我们不仅要看到技术的有效性,还要更多地考虑一下:如果把技术结合在一起,会产生什么样的价值。3.像大数据平台应该是一个共享的平台,应该能为大家创造一个共同协作的环境,这样就能降低成本和风险。

文章链接:潘越:从战略角度解读大数据的机遇

PPT下载 :Download


戴建勇:解读Apache Pig的性能优化

    
Hortonworks 戴建勇  

在12月1日“Hadoop生态系统”主题分论坛,Hortonworks member of technical staff戴建勇对Apache Pig的优化做出了详细的解说。

首先戴建勇分析了Pig和Hive的不同:

虽然Pig和hive是用来解决同样的问题,但Pig和Hive却着有显著不同。首先Pig是一个过程化的语言;而Hive说的是SQL的语言,是描述性的语言。许多开发者都喜欢使用过程化进行数据开发。对比Hive,Pig显得更加灵活,因为在Pig里面Schema不是必需的。Pig具有可扩充性,基本上所有的Pig函数库都是可以扩充的。

之后戴建勇还对Pig的历史以及Pig中的工具进行了充分的分享。当然重中之重Pig的优化是不可或缺的,各种Join的实现、oder by的实现、如何利用Combiner以及基于规则的优化器。戴建勇还对Pig 0.11版的新特性做出了解析。还等什么,速度点击下面的传送门吧!

最后文章链接:戴建勇:解读Apache Pig的性能优化

PPT下载 :Download


强琦:平台的意义在于交换,数据的价值在于共享

   
阿里 强琦  

在大数据共享平台与应用主题论坛上,来自阿里巴巴集团数据交换平台资深专家强琦分享了大数据探索 —— 阿里巴巴数据交换平台。强琦强调数据的价值在于共享,而平台的价值在于交换。作为平台的建造者要拿出数据给大家交换,以身做饵,以高价格的数据交换散落在蓝海中的数据。阿里巴巴未来的策略,也正是基于这点。数据单独使用,发挥价值并不大。只有把数据融合在一起,才能产生出巨大的价值。

强琦还指出阿里巴巴不会单纯的以打造平台的目的去做一个平台,会把平台的打造融入业务当中。阿里巴巴的数据交换平台是开放的,平台将打通和整合整个阿里巴巴集团的所有的数据。提供人性化的服务,建立一个统一的大数据交换平台。这也将是阿里巴巴至明年的工作重点之一。

文章链接:强琦:大数据探索-阿里巴巴数据交换平台

PPT下载 :Download


顾费勇:未来的DataStream机制

   
网易 顾费勇  

在12月29日主题论坛三大数据共享平台与应用中,网易资深工程师顾费勇为我们带了题为《海量数据搬运工——DataStream》的主题演讲。顾费勇从DataStream产生的原因、结构和特征、关键技术点、应用场景和未来的展望为我们开启了海量数搬运的篇章。 顾费勇为我们介绍了关于DataStream的试点关键技术:异构数据源解析、数据分流、数据可靠传输和数据传输效率。以数据的可靠传输为例让我们了解DataStream试点的关键技术。顾费勇认为数据的可靠传输包括四种。第一,持久化机制,将收到的消息先做持久化后发送。第二,ACK机制,可确保后端模块已收到数据,未收到则重发。第三,异常数据处理,将无法处理的异常数据保存在指定位置,可追溯来源。第四,全面覆盖的监控程序,监控所有进程的正确执行,监控系统有无异常日志,监控系统吞吐量是否不足有延迟,监控产品数据流量异常波动,监控产品有无不符合协议的日志。

文章链接:费勇:海量数据搬运工——DataStream

PPT下载 :Download


刘立萍:数据消费的改变,解决规模 ==》解决计算 ==》数据智能

   
百度 刘立萍  

在大数据共享平台与应用主题论坛上,来自百度基础架构部数据平台技术经理刘立萍介绍了百度大数据平台。刘立萍表示随着应用的需求,当我们的数据处理能力越来越强以后,对数据消费更高的要求也提出来了,而在百度内部把迭代关系划分成了三个阶段:

第一,解决规模(2007到2011年),解决基础存储和计算的问题。整个的集群、搭建的这些平台包括计算模式在很多地方都有计算过。单机群体达到五千,MPI的集群达到四千;各种计算模型,增量计算这种模型、规模在运用的过程中遇到过很多问题。随着碎片计算增多,使得大家计算资源越来越不够,任务都不能用;整个的任务,还有数据都不能附用。2011到2013年(从计算为中心转到数据为中心,对数据进行处理),这个过程中,实际上以数据仓库的技术为核心的,这也是现在正在做的事情。第三个阶段,从2013年以后(预测)。而这一阶段的期望是出现一些叫数据智能的产品。

文章链接:刘立萍:百度大数据平台介绍

PPT下载 :Download


刘佳:全面分析HBase用例

   
普泽天玑 刘佳  

在12月1日“Hadoop生态系统”主题分论坛,普泽天玑技术总监刘佳发表了题为“HBase用例分析”的演讲。刘佳主要分享了3个案例:

第一个是数据魔方,他从新旧系统的原理对比入手,详细介绍了他们如何对流程进行重新规划。

第二个是访客直播间,从系统架构的角度深度解析了HBase的应用。

最后是广点通,刘佳从业务背景出发对系统的重新部署流程做了深刻的讲解。

刘佳借以上3个案例,详述了项目过程中所遇到难题的实现方法。限于篇幅问题,详细技术请绕至下方传送门。

文章链接:刘佳:全面分析HBase用例

PPT下载 :Download


Ronaldo Ama使用虚拟技术整合大数据和云计算

   
VMware Ronaldo Ama 

VMware全球高级副总裁Ronaldo Ama在题为“大数据和云计算如何联系(云中的大数据)”的演讲中,展现了一副大数据的应用全景。在实时流技术,机器学习技术、实时处理技术、数据分析技术和批处理等多个领域展开。

其间Ronaldo Ama从技术上提出了3层模型,最上面是部署云计算技术的计算层;位于中间是数据存储和预处理的数据层;处于最下面的自然是由许多主机和网络构成的基础设施层。显然要实现易维护、高可靠性、弹性、灵活租用等都需要虚拟技术的支持。

最后,针对如何实现、部署虚拟化框架和应用,Ronaldo Ama还做了详细的阐述。

Ronaldo Ama认为,大数据很好,可以带来很多的价值!

文章链接:Ronaldo Ama使用虚拟技术整合大数据和云计算

PPT下载 :Download


更多“干货”请见HBTC2012直播页  责编:王旭东

欢迎关注@CSDN云计算微博,了解更多关于大数据的信息。

用DELPHI 做一个简单的屏幕保护程序 用Enter键代替Tab键-Delphi资料 用修改文件时间的方法来加密文件-Delphi资料 用最原始的方法编制程序-Delphi资料 运用Delphi编写Windows NT中服务程序 在DELPHI编程中确定系统运行模式 在Delphi程序中调用控制面板设置功能 在DELPHI下读取与设置系统时钟 在Delphi中避免2000年问题的捷径 在Delphi中调用API函数 在Delphi中获取和修改文件的时间 在Delphi中控制扫描仪 在Delphi中实现对WIN9X应用程序使用权限的设置 在Delphi中实现对目录拷贝、删除和搬移的操作 在Delphi中使用自定义光标 在Delphi中用拼音首字符序列来实现检索功能。 在DELPHI中用线程排序 在Delphi中制作背景音乐 在Dephi中使用TStream读写数据的技巧-Delphi资料 在应用程序中跟踪MOUSE的坐标-Delphi资料 怎样建立回调函数-Delphi资料 怎样显示自定义鼠标光标(Cursor)-Delphi资料 找出消失的 Delphi 窗口 执行外部程序-Delphi资料 执行一程序并等待其结束-Delphi资料 制作一个不在任务栏及任务列表中显示的幽灵程序-Delphi资料 抓获全屏-Delphi资料 子目录级的文件查询的实现-Delphi资料 Delphi中ChartFX构件使用详解 Delphi中动画设计 Delphi中对Jpeg格式文件的处理... 寻求控件编写技术下载网址。 谜语:请问CLP和CLS是什么汉语的简写? up有分!★关于《网络编程〉中的问题★:如何设计udp/ip的完成端口模式,udp协议不需要accept.... 关于重定项问题? are there any software in linux, just as netant,office etc in windows? ASP的中文問題 请问:测试工程师的工作是什么?主要测试软件的哪些项目? (100分征集)如何做使得访问JSP服务器时不用加端口号(当然不能用80)?? 菜鸟求助:关于句柄的问题。请高手多多指教 请问什么是存储过程(在SQL 2000SERVER中)? 1000分的大问题!***************怎么突破内存禁区读写的权限 java学什么?怎么学? java学什么?怎么学? 高分急救:Oracle安装完成后,服务可以启动,数据库不与服务一起启动,要手动启动 如何让启动时不自动进入x windows? 下载问题 如何得到CPU的序列号(编程) 向ActiveX控件是否可以传递数组参数 can i read or copy files in windows OS to linux? 什么错误? 将SYBASE数据库移植到SQL SERVER 过程中遇到的问题。急!help session问题 为什么我的web不能进断点? SO_REUSEADDR的疑问 关于web数据库的问题 怎么解??? 再送100分,求jtable例子! 怎样清除在image上画出的线,矩形(在运行时画上去的)?? 寻找在杭州文三路创业大厦11楼上班的朋友 where can i download simsun, and how can i use it? IIS与Apache一起工作,访问Apache时有什么办法不用指定端口? 是不是微软的一个低级漏洞? 谢谢zheng017给你的win2k superuser password的源程序。 在access2000的开发中,text框中如果只输入了空格,用text1.value取数据返回值却是null,如何能够返回空格呢? 强烈推荐:Robocode! 为了全体中国人!请回答我的问题!现在该如何访问google??????????????? =======请大家帮我介绍几个比较好的,LOTUS做的WEB网站。====== 为什么我在 M$ Win2000 使用钩子拦截键盘鼠标消息就那么困难 请问在datagrid里面如何增加记录??? 打算成立程序员单身者协会,欢迎大家发表意见,欢迎加入, snowy_howe请进来接分 邦定问题 高手指点 请问大家如何实现VB导入导出TXT文件(TAB分隔的数据)到数据库中?请具体一点,最好有例子 如何让一个模块在运行过程中中止运行. 请教如何控制目录返回?急!谢谢! 修改const常量问题 高手请进,关于asp远程读取信息的问题!急 关于VB 中的字符串截取 询问:国内有没有好的搜索网站????............... google不能用了,想用“3个代表”来搜索了 如图,在恒力f的作用下,物体位移为s,则力f做的功为? A={1,3,5} B={2,4,6} C={1,2,3,4,5,6} 课本中写的是:集合C是由所有属于集合A或属于集合B的元素组成的.课本中还举了的例子:A={x|x是有理数} B={x|x是无理数} C={x|x是实数}(这里有公共元素x的存在,所 何不试之以足呢是什么意思?郑人买履的寓意呢?最好今天! 如何制作一件小发明 一个元素可以构成集合吗? 郑人买履里,回答要快一点那,明天就要交了!(>_ 为什么a,b,c,x,y,z能构成集合?是不是判定某些元素能不能构成集合,只要看它们是不是具有确定性?是不是集合是人定的,可以没有规律? 已知集合A={5},B={1,2},C={1,3,4},从这三个集合中各取一个元素构成空间直角坐标系中点的坐标,则?2已知集合A={5},B={1,2},C={1,3,4},从这三个集合中各取一个元素构成空间直角坐标系中点的坐 固体氢氧化钠加水后现象? a,b,c,x,y,z能否构成集合,请指出其元素 电路题(功率求解)美国纽约市需要大约10的10次方W的电能供应,电压是110V;由纯铜制造的电缆来传输这一功率,他的电阻是每英尺5x10的负8次方Ω.求每英尺I平方R的损耗功率? ※1,3-二丁烯与HCl的加成反应方程式1,3-二丁烯与HCl的加成反应方程式 从集合A={a,b,c}到集合B={1,2}可以构成多少个映射?可以把它们都写出来吗? 怎么计算锥度尺寸 比如图纸上面给了大头尺寸还有锥度[10°]怎么计算小头、有什么公式吗比如图纸上面给了大头尺寸还有锥度[10°]怎么计算小头、有什么公式吗 氯化氢与3-甲基-1-丁烯加成为什么生成 C-C(CH3)(Cl)-C-C和 C-C(CH3)-C(Cl)-C不是马氏和反马氏吗?为什么Cl在双键旁边的C上?我知道了,是重排了对吧那问下什么时候会重排,这个怎么考虑?希望有 ab≠0,y=a/|a|+b/|b|+c/|c|可能取的值组成的集合是_ 家里的暖气片,在最后一片的回水管放一会水,整个房间的暖气片就开始凉了是怎么回事,集体供暖 2-甲基-1-丁烯 和HCl加成得到两种卤代烃?可是按马氏规则只能得到一种啊,答案是不是错了? 麻点怎么去掉抛光 甲壳素用作组织形成剂? 什么叫做氮化?氮化的目的是什么?氮化的最佳温度是多少? 塑料模具抛光化学药水,可以祛除料纹麻点那种配方 是那几种化学元素配置的 十二烷基苯磺酸钠可以用来做发泡剂吗? 是氢氧化钠固体与二氧化碳反应生成盐和水 还是氢氧化钠溶液与二氧化碳反应生成盐和水.还是氢氧化钠与二氧化碳反应生成盐和水.为什么若有一个判断题.1.氯化钠溶液与氢氧化钡反应生成 怎样制作科技小发明 氩弧焊、电焊、二保焊它们各自的优缺点各是什么呢?就是针对某种金属各自焊的结实. 飞镖靶边缘上数字是啥意思 科技小发明制作 串联电路功率最大还是并联电路的功率最大 tig焊接什么意思 试叙等高线中山顶、盆地、山谷、山脊陡崖、鞍部的概念 关于串联电路总功率的问题.给一个额定电压220V,40W的小灯泡串联一个电阻,这个电阻消耗30W的电能,问这个额定电压220V,40W的小灯泡它所消耗的电能比10大还是比10小? 磁性飞镖靶的材料是什么 再生橡胶污染环境吗?有个人说再生橡胶味道很大,严重污染环境,那再生橡胶对环境有危害吗?我国的再生橡胶业也是很发达的 都很影响环境吗? 设a,b是非零实数,y=a/|a| + |b|/b + c/|c| 可能取值的集合.为什么这个集合属于空集? 焊接TIG的英文全称是什么? 一个底面长50厘米,宽40厘米的长方形水箱装了一半水,水深12厘米.棱长10厘米的正方体全部浸在水中,水深 再生橡胶怎样调成灰色 设a、b是非零实数,则y=a/|a|+|b|/b+c/|c|可能取值的集合.这个集合属于集合分类中的哪一类,为什么? 一个底面长50,宽40长方体水箱装了一半水,水深12.把棱长10正方体零件浸没在水里,水箱水深多少?单位是厘米 内孔30度倒角汽齿,一个锥度,知道小头直径和度数怎么算它的长度和大头直径?要公式.有更详细的也发过来 急 数控锥度计算公式 大头为37.4长度为43,比为1比35 求小头 我有18台额定功率1KW的电机和其他电器,总功率大约是25KW,请问要装多大的单相电表?我所有的电器都是220V的,进线只是单相的 请问这个橡胶腿是个什么成型工艺呢?这个是架子鼓凳子下面腿的防滑胶,老师让我们分析下成型工艺.然后想请问下大家橡胶工艺的模压和注塑成型是一样的么?这个腿是个什么工艺呢?有什么 自度其足的度是什么意思 3000瓦的电器需要多大的电能表 在串联电路中滑动变阻器在哪里时,滑动变阻器消耗的功率最大 EPDM为什么有橡胶特性呢? 什么是沉积岩的层面层面必须是张开的吗,当一段岩芯某一平面两侧一边是砂岩,一边是泥岩,两者胶结紧密,能说这个面是层面吗? 串联电路中,有两个电阻,什么情况下,滑动变阻器的功率最大?滑动变阻器最大电阻大于另一个 大头60小头20长度40等于锥度多少 某校开展文艺活动,组织了歌咏队和舞蹈队.歌咏队的人数是两个队总人数的八分之五.因排练需要,从歌咏队调90人到舞蹈队后,歌咏队与舞蹈队人数的比是2:3.现在两个队各有多少人?急,5点50分 串联电路滑动变阻器的功率问题电源电压恒定,滑动变阻器阻值变小时,其分压越小,电流变大,那其消耗的功率怎么变化? 晶状体调节能否恢复视力 某校开展文艺活动,组织了歌咏队和舞蹈队.歌咏队的人数是两个队总人数的5/8.因排练需要,从歌咏队调90人到舞蹈队后,歌咏队与舞蹈队人数的比是2:3.现在两队各有多少人?(算术解) 大头直径48小头直径18长300是什么锥度 何不试之以足在郑人买履的意思 某校组织了歌咏队和舞蹈队.歌咏队的人数是两队总数的八分之五.后来从歌咏队调90人到舞蹈队,这时两队人的比是二比三.现在两队各有多少人 知道 图纸上 大头 长度 锥度比 求小头怎么求 大头D=18 长度L=21 锥度比C=1:10 求小d 《郑人买履》中“吾望持度”的“度”意思?
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘