说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

HBTC精彩回顾 Hadoop专家分享大数据技术工具与最佳实践

HTML文档下载 WORD文档下载 PDF文档下载
常言道:人生如戏,戏如人生。一场戏结束时通常是要谢幕的,一个亮相、一个鞠躬、一段音乐、一句表白都是谢幕的形式。精彩纷呈的HBTC已经落下帷幕,然而不管您是否有机会抽身前往,带你回味一下这饕餮盛宴冰山的一角总是有必要的。

11月30日-12月1日,Hadoop与大数据技术大会(HBTC 2012)在北京新云南皇冠假日酒店已经成功落下帷幕,但留给整个技术界的深思还有很多。会场上,五十余位讲师干料十足的实践经验掀起了场内场外阵阵讨论的热浪,五大分论坛参会者现场提问频频“出彩”,质量颇高。其中,Hortonworks的首席技术官Eric Baldeschwieler,MemSQL 的创始人与首席技术官Nikita Shamgunov,美国俄亥俄州立大学计算机系主任、IEEE Fellow张晓东教授,哈尔滨工业大学的李建中教授,中科院计算所程学旗研究员,国际著名的IT研究与顾问咨询公司Gartner张瑾,以及中国移动通信、IBM、英特尔、Teradata、VMware、Yahoo!、ebay、华为、Informatica、天云、阿里巴巴、百度、腾讯、奇虎360、网易、普泽天玑、精诚资讯等重磅讲师在现场激扬技术与趋势, 聚焦应用和实践。

我们特别选出八位实践派,提炼观点与大家分享。更多专家视点请看现场直播与公布的PPT下载。

赵伟:HIVE在腾讯分布式数据仓库实践

   
腾讯 赵伟  

在12月1日“Hadoop生态系统”主题分论坛,腾讯高级工程师赵伟首先介绍了他们的TDW核心架构,Hive,MapReduce,HDFS及PostgreSQL构成。赵伟分享了最核心的Hive模块在TDW中的实践经验;HIVE是一个在Hadoop上构建数据仓库的软件,它支持通过类SQL的HQL语言对结构化数据进行操作;实现了基本的SQL功能,可扩充UDF/UDAF、自定义SerDeThrift协议、支持多语言客户端。最后他还剖析了Hive的不足并展望了HIVE的发展前景:

在他看来,Hive有四大缺点:数据仓库功能不够完善;使用门槛高(用户界面简陋、运行调试麻烦、问题定位困难、查询计划难看);性能有提升空间(SQL翻译成的MR任务效率低或者不合理);不够稳定。

腾讯赵伟表示,腾讯机器总量5000+,最大集群约2000个节点,覆盖腾讯90%+的产品。TDW集成开发环境活跃用户数:200+,每日运行的分析SQL数:50000+。每日SQL翻译成的MR job数:100000+。最近半年SLA:99.99%。这些数字表现在Hadoop方面,腾讯并不慢。

文章链接:赵伟:Hive在腾讯分布式数据仓库实践

PPT下载 :Download


潘越:从战略角度解读大数据的机遇

   
IBM 潘越  

IBM中国研究院信息管理与医疗健康首席科学家潘越,阐述了大数据的4个V:

第一个V,大数据首先代表的是数据产生的量比传统的量大很多。他认为传统的G级别或者T级别的数据存储和管理的方案,目前看起来都不太合适或者是性价比不高。

第二个V针对的是机器产生的数据。传统的分析的周期原来可能都是以月、周、天这样的时间来做分析的,而现在很多的分析都需要实时的决策,所以数据关键是速度。

第三个V,当然是用户数据的多样性。

第四个V,数据里包含的不确定性。数据的不确定性和数据的多样性之间可能也有一种天然的联系,但是也不完全地等同。

然后得出了三点结论:1.大数据并不能固守在自己的领域里面,要跟企业中其他的数据管理、信息分析结合起来。2.在大数据的部署过程中会采用很多种技术,我们不仅要看到技术的有效性,还要更多地考虑一下:如果把技术结合在一起,会产生什么样的价值。3.像大数据平台应该是一个共享的平台,应该能为大家创造一个共同协作的环境,这样就能降低成本和风险。

文章链接:潘越:从战略角度解读大数据的机遇

PPT下载 :Download


戴建勇:解读Apache Pig的性能优化

    
Hortonworks 戴建勇  

在12月1日“Hadoop生态系统”主题分论坛,Hortonworks member of technical staff戴建勇对Apache Pig的优化做出了详细的解说。

首先戴建勇分析了Pig和Hive的不同:

虽然Pig和hive是用来解决同样的问题,但Pig和Hive却着有显著不同。首先Pig是一个过程化的语言;而Hive说的是SQL的语言,是描述性的语言。许多开发者都喜欢使用过程化进行数据开发。对比Hive,Pig显得更加灵活,因为在Pig里面Schema不是必需的。Pig具有可扩充性,基本上所有的Pig函数库都是可以扩充的。

之后戴建勇还对Pig的历史以及Pig中的工具进行了充分的分享。当然重中之重Pig的优化是不可或缺的,各种Join的实现、oder by的实现、如何利用Combiner以及基于规则的优化器。戴建勇还对Pig 0.11版的新特性做出了解析。还等什么,速度点击下面的传送门吧!

最后文章链接:戴建勇:解读Apache Pig的性能优化

PPT下载 :Download


强琦:平台的意义在于交换,数据的价值在于共享

   
阿里 强琦  

在大数据共享平台与应用主题论坛上,来自阿里巴巴集团数据交换平台资深专家强琦分享了大数据探索 —— 阿里巴巴数据交换平台。强琦强调数据的价值在于共享,而平台的价值在于交换。作为平台的建造者要拿出数据给大家交换,以身做饵,以高价格的数据交换散落在蓝海中的数据。阿里巴巴未来的策略,也正是基于这点。数据单独使用,发挥价值并不大。只有把数据融合在一起,才能产生出巨大的价值。

强琦还指出阿里巴巴不会单纯的以打造平台的目的去做一个平台,会把平台的打造融入业务当中。阿里巴巴的数据交换平台是开放的,平台将打通和整合整个阿里巴巴集团的所有的数据。提供人性化的服务,建立一个统一的大数据交换平台。这也将是阿里巴巴至明年的工作重点之一。

文章链接:强琦:大数据探索-阿里巴巴数据交换平台

PPT下载 :Download


顾费勇:未来的DataStream机制

   
网易 顾费勇  

在12月29日主题论坛三大数据共享平台与应用中,网易资深工程师顾费勇为我们带了题为《海量数据搬运工——DataStream》的主题演讲。顾费勇从DataStream产生的原因、结构和特征、关键技术点、应用场景和未来的展望为我们开启了海量数搬运的篇章。 顾费勇为我们介绍了关于DataStream的试点关键技术:异构数据源解析、数据分流、数据可靠传输和数据传输效率。以数据的可靠传输为例让我们了解DataStream试点的关键技术。顾费勇认为数据的可靠传输包括四种。第一,持久化机制,将收到的消息先做持久化后发送。第二,ACK机制,可确保后端模块已收到数据,未收到则重发。第三,异常数据处理,将无法处理的异常数据保存在指定位置,可追溯来源。第四,全面覆盖的监控程序,监控所有进程的正确执行,监控系统有无异常日志,监控系统吞吐量是否不足有延迟,监控产品数据流量异常波动,监控产品有无不符合协议的日志。

文章链接:费勇:海量数据搬运工——DataStream

PPT下载 :Download


刘立萍:数据消费的改变,解决规模 ==》解决计算 ==》数据智能

   
百度 刘立萍  

在大数据共享平台与应用主题论坛上,来自百度基础架构部数据平台技术经理刘立萍介绍了百度大数据平台。刘立萍表示随着应用的需求,当我们的数据处理能力越来越强以后,对数据消费更高的要求也提出来了,而在百度内部把迭代关系划分成了三个阶段:

第一,解决规模(2007到2011年),解决基础存储和计算的问题。整个的集群、搭建的这些平台包括计算模式在很多地方都有计算过。单机群体达到五千,MPI的集群达到四千;各种计算模型,增量计算这种模型、规模在运用的过程中遇到过很多问题。随着碎片计算增多,使得大家计算资源越来越不够,任务都不能用;整个的任务,还有数据都不能附用。2011到2013年(从计算为中心转到数据为中心,对数据进行处理),这个过程中,实际上以数据仓库的技术为核心的,这也是现在正在做的事情。第三个阶段,从2013年以后(预测)。而这一阶段的期望是出现一些叫数据智能的产品。

文章链接:刘立萍:百度大数据平台介绍

PPT下载 :Download


刘佳:全面分析HBase用例

   
普泽天玑 刘佳  

在12月1日“Hadoop生态系统”主题分论坛,普泽天玑技术总监刘佳发表了题为“HBase用例分析”的演讲。刘佳主要分享了3个案例:

第一个是数据魔方,他从新旧系统的原理对比入手,详细介绍了他们如何对流程进行重新规划。

第二个是访客直播间,从系统架构的角度深度解析了HBase的应用。

最后是广点通,刘佳从业务背景出发对系统的重新部署流程做了深刻的讲解。

刘佳借以上3个案例,详述了项目过程中所遇到难题的实现方法。限于篇幅问题,详细技术请绕至下方传送门。

文章链接:刘佳:全面分析HBase用例

PPT下载 :Download


Ronaldo Ama使用虚拟技术整合大数据和云计算

   
VMware Ronaldo Ama 

VMware全球高级副总裁Ronaldo Ama在题为“大数据和云计算如何联系(云中的大数据)”的演讲中,展现了一副大数据的应用全景。在实时流技术,机器学习技术、实时处理技术、数据分析技术和批处理等多个领域展开。

其间Ronaldo Ama从技术上提出了3层模型,最上面是部署云计算技术的计算层;位于中间是数据存储和预处理的数据层;处于最下面的自然是由许多主机和网络构成的基础设施层。显然要实现易维护、高可靠性、弹性、灵活租用等都需要虚拟技术的支持。

最后,针对如何实现、部署虚拟化框架和应用,Ronaldo Ama还做了详细的阐述。

Ronaldo Ama认为,大数据很好,可以带来很多的价值!

文章链接:Ronaldo Ama使用虚拟技术整合大数据和云计算

PPT下载 :Download


更多“干货”请见HBTC2012直播页  责编:王旭东

欢迎关注@CSDN云计算微博,了解更多关于大数据的信息。

Mailbox:六星期实现从零到百万用户及日处理亿条消息 代码审查,也要天时地利人和 Clash of Clans产品总监:游戏中的商品定价一开始就要高 移动互联网最核心的竞争是:设计的竞争 【直击美国云计算】面对AWS,VMware不会畏缩 美国白宫任命Twitter法务总监Nicole Wong为副CTO Keek宣布推出首款视频Update API 专访阿里前端工程师:淘宝移动Web开发那些事儿 【直击美国云计算】为什么eBay用燃料电池来驱动他的犹他州数据中心 【直击美国云计算】6周发布新产品,LinkedIn的trunk-based开发 移动周报:疯狂吐槽还是更得欢心?细数iOS 7的是与非 国内最受欢迎的开源项目集锦 开始3D编程前需注意的十件事 [CTO俱乐部第100期]软件平台的新思维及2345技术团队管理经验分享 失败怪圈:今天的移动App在重蹈1999年的覆辙 极客编程必备的五大PHP开发应用 Oracle或将宣布与Salesforce.com,NetSuite以及微软结盟 【专访间】神州数码谢耘:智慧城市需要以“融合平台”为特征的沃尔玛模式 对话OW2 CEO:开源≠安全隐患,免费≠无利可图 不断抄袭的Facebook正逐步沦为一家普通的公司 Windows 8.1会不会把Windows 8的“Modern”开发者踢到路边 任志鹏:FusionCloud是华为二十年技术积累的精华 机器学习典范?iOS7中的Siri能主动学习如何发音 三星宣布关闭PC业务 主推便携设备和一体机 Web设计师必须掌握的六大设计策略 Facebook为什么要推Instagram视频分享功能? 天气预报(id后面的9位数字为城市代码)年月日,星期,当前时间(仅用于javascript) PHP 5.5.0发布 不再支持Windows XP和2003 专访ThinkPHP创始人刘晨:用最简单最快速的方式开发PHP应用 重构:仔细查看,改进代码 加速编码的17款最棒的CSS工具 我的数据表怎么会经常丢?? 谁能解决这个问题我叫他老大 传统C与ANSI C有何区别 新手提问!!! 组合框的问题 请推荐一些COM入门的书籍。 都来凑热闹来吧!谢! 50分求,有哪位做过ISDN(i4l),进来留个名字,急事!!! 局域网问题,不知简单或复杂,解决了100分相送! 有没有可以动态改变控件与控件之间宽度的控件 仙劍3 破落解文件下載,快下。快刪了。 保存bmp文件的时候,如何让保存对话框默认为.bmp?? 做程序员后最经常给自己找的借口、、、 如何向注册表写入REG_DWORD类型的值,谢谢指点! 怎样链接数据库?再就是运用b/s结构完美结合 我實在不知道怎麼改了,請各位大蝦幫幫忙! interbase数据库返回的错误信息的代码是什么?具体的含义是什么? <script language=javascript src="hp/count/counter.asp?referer="+escape(document.referrer)></script>有何不对? 工具条的运动问题 在等 各位前辈来指点小弟一次吧,小弟明天面试jsp程序员 Visual Basic宣告死亡了吗? JS 菜单如何才能位于 select 表单之上? ★★★★★给个意见★★★★★ 高手指导:编xml用什么工具最好?郁闷中1····· 如何实现在线播放多个文件?即如何处理在线播放列表??在线等..... 请问如何在状态栏中显示图片? unicode和utf8的文件格式、区别等学习资料?! 请问listview的排序问题!!!!!!!!!!???????????????????????????? 奇怪的问题,急!!!!!!!! 有没有客家人?进来报道一下。 帮忙看几行代码是什么错误? 请问listview的排序问题!!!!!!!!!!???????????????????????????? 其实如今的中国,一个字就可以概括 再VC7中加入对话框的问题 TCP连接发送数据如何限制一个连接的最大速度? win2003 cdk??? 机子无法启动,各位大虾帮帮忙! 在一个FORM里面绘制了GDI对象,怎样将FORM中的选定的区域转换为位图呢? 心情不好,放分。 安装win 98时,提示“没有足够的常规内存”,该如何解决?? 奇怪的查询问题,既没有出错,也没有正确结果。 一个很基础的指针问题,为什么非要转化为一个二级指针再转化为一级指针呀,才能 想自己动手写一个论坛,请大虾推荐几本asp入门书籍 想比较一下corba webservice dcom的异同,作为论文发表如何 如何编程实现对共享文件的进行访问监视? 如何改变select-sQl查询窗的名字啊,默认是“查询”,能否改成自已喜欢的? 求助:做程控滤波器(模拟)可以用哪些芯片??? 请问取整用 那个函数? 快 C# Builder 1.0 企业版BT下载! 很容易的问题,送分了模态对话框问题 这个API调用没胡有语 错误,但为什么在打印出来好多小四方格呀,我以前也遇到 过,不知什么原因 英语翻译there are pockets of proverty in USA where the lack of medical program and nutritional program may be factors in poor health pockets of pressurized water 请问蒹葭的人生意义,简短点的.还有王国维人生三境结合蒹葭的赏析.不用太长,但请给些重点. 请说出理由好吗? 无为而活的“为”读第几声,没有目的的存活可不可以说成无为(wèi)而活 无为而活的“为”读第几声,“为”是什么意思?拜托了各位 谢谢没有目的的存活可不可以说成无为(wèi)而活 Why is this feeling today?You should forget some of the sad thing before.LetWhy is this feeling today?You should forget some of the sad thing before.Let us return to write a new script.Let us to cherish each other,happiness start from here!I love you 活在无为有什么好? 长180厘米,宽45厘米,高18厘米的木料,能据成尽可能大的正方体木块(不剩余)共有多少块? 你们最喜欢什么颜色?说出你们的理由哦! 问一个判断题,要说出理由哦体积是500立方厘米的铁皮容器中,一定盛不下500毫升水()对还是错? 温州:建好小微企业园促进实体经济振兴杭州市出台促进高校毕业生就业创业新政中纪委监察部网站推出报道详细介绍中央美媒:美国是全球不多的超级大国 不得《我是特种兵之火凤凰》帅气女兵生活美老鹰用摄像机监视绵羊:德街头画讽美监德媒曝美国10年前已监听默克尔通讯 老鹰用摄像机监视绵羊:德街头画讽美监我海军在西太平洋实兵演习遭外国舰机跟国际新闻早报:黎巴嫩北部教派冲突持续安倍称为世界作贡献途径之一是在亚洲抗安倍修改宪法解释危险举动引人警惕俄媒:质子-M火箭在中国上空故障 无北京大红门8大主力市场将进驻河北廊坊澳外长:中澳合作前所未有得紧密贵州原交通厅长程孟仁19日受审 曾伙警察洗浴中心找“小姐”遭拒 官方回应济南城市发展交流团赴台 推动城市交流巴西KC 390加油/运输机开始总装盘点中国历史上有多少龙脉:24朝一朝澳台品牌首次入选《中国文化品牌发展报新闻直击:瓜州县大棚蜜瓜提前上市
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘