说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

HBTC精彩回顾 Hadoop专家分享大数据技术工具与最佳实践

HTML文档下载 WORD文档下载 PDF文档下载
常言道:人生如戏,戏如人生。一场戏结束时通常是要谢幕的,一个亮相、一个鞠躬、一段音乐、一句表白都是谢幕的形式。精彩纷呈的HBTC已经落下帷幕,然而不管您是否有机会抽身前往,带你回味一下这饕餮盛宴冰山的一角总是有必要的。

11月30日-12月1日,Hadoop与大数据技术大会(HBTC 2012)在北京新云南皇冠假日酒店已经成功落下帷幕,但留给整个技术界的深思还有很多。会场上,五十余位讲师干料十足的实践经验掀起了场内场外阵阵讨论的热浪,五大分论坛参会者现场提问频频“出彩”,质量颇高。其中,Hortonworks的首席技术官Eric Baldeschwieler,MemSQL 的创始人与首席技术官Nikita Shamgunov,美国俄亥俄州立大学计算机系主任、IEEE Fellow张晓东教授,哈尔滨工业大学的李建中教授,中科院计算所程学旗研究员,国际著名的IT研究与顾问咨询公司Gartner张瑾,以及中国移动通信、IBM、英特尔、Teradata、VMware、Yahoo!、ebay、华为、Informatica、天云、阿里巴巴、百度、腾讯、奇虎360、网易、普泽天玑、精诚资讯等重磅讲师在现场激扬技术与趋势, 聚焦应用和实践。

我们特别选出八位实践派,提炼观点与大家分享。更多专家视点请看现场直播与公布的PPT下载。

赵伟:HIVE在腾讯分布式数据仓库实践

   
腾讯 赵伟  

在12月1日“Hadoop生态系统”主题分论坛,腾讯高级工程师赵伟首先介绍了他们的TDW核心架构,Hive,MapReduce,HDFS及PostgreSQL构成。赵伟分享了最核心的Hive模块在TDW中的实践经验;HIVE是一个在Hadoop上构建数据仓库的软件,它支持通过类SQL的HQL语言对结构化数据进行操作;实现了基本的SQL功能,可扩充UDF/UDAF、自定义SerDeThrift协议、支持多语言客户端。最后他还剖析了Hive的不足并展望了HIVE的发展前景:

在他看来,Hive有四大缺点:数据仓库功能不够完善;使用门槛高(用户界面简陋、运行调试麻烦、问题定位困难、查询计划难看);性能有提升空间(SQL翻译成的MR任务效率低或者不合理);不够稳定。

腾讯赵伟表示,腾讯机器总量5000+,最大集群约2000个节点,覆盖腾讯90%+的产品。TDW集成开发环境活跃用户数:200+,每日运行的分析SQL数:50000+。每日SQL翻译成的MR job数:100000+。最近半年SLA:99.99%。这些数字表现在Hadoop方面,腾讯并不慢。

文章链接:赵伟:Hive在腾讯分布式数据仓库实践

PPT下载 :Download


潘越:从战略角度解读大数据的机遇

   
IBM 潘越  

IBM中国研究院信息管理与医疗健康首席科学家潘越,阐述了大数据的4个V:

第一个V,大数据首先代表的是数据产生的量比传统的量大很多。他认为传统的G级别或者T级别的数据存储和管理的方案,目前看起来都不太合适或者是性价比不高。

第二个V针对的是机器产生的数据。传统的分析的周期原来可能都是以月、周、天这样的时间来做分析的,而现在很多的分析都需要实时的决策,所以数据关键是速度。

第三个V,当然是用户数据的多样性。

第四个V,数据里包含的不确定性。数据的不确定性和数据的多样性之间可能也有一种天然的联系,但是也不完全地等同。

然后得出了三点结论:1.大数据并不能固守在自己的领域里面,要跟企业中其他的数据管理、信息分析结合起来。2.在大数据的部署过程中会采用很多种技术,我们不仅要看到技术的有效性,还要更多地考虑一下:如果把技术结合在一起,会产生什么样的价值。3.像大数据平台应该是一个共享的平台,应该能为大家创造一个共同协作的环境,这样就能降低成本和风险。

文章链接:潘越:从战略角度解读大数据的机遇

PPT下载 :Download


戴建勇:解读Apache Pig的性能优化

    
Hortonworks 戴建勇  

在12月1日“Hadoop生态系统”主题分论坛,Hortonworks member of technical staff戴建勇对Apache Pig的优化做出了详细的解说。

首先戴建勇分析了Pig和Hive的不同:

虽然Pig和hive是用来解决同样的问题,但Pig和Hive却着有显著不同。首先Pig是一个过程化的语言;而Hive说的是SQL的语言,是描述性的语言。许多开发者都喜欢使用过程化进行数据开发。对比Hive,Pig显得更加灵活,因为在Pig里面Schema不是必需的。Pig具有可扩充性,基本上所有的Pig函数库都是可以扩充的。

之后戴建勇还对Pig的历史以及Pig中的工具进行了充分的分享。当然重中之重Pig的优化是不可或缺的,各种Join的实现、oder by的实现、如何利用Combiner以及基于规则的优化器。戴建勇还对Pig 0.11版的新特性做出了解析。还等什么,速度点击下面的传送门吧!

最后文章链接:戴建勇:解读Apache Pig的性能优化

PPT下载 :Download


强琦:平台的意义在于交换,数据的价值在于共享

   
阿里 强琦  

在大数据共享平台与应用主题论坛上,来自阿里巴巴集团数据交换平台资深专家强琦分享了大数据探索 —— 阿里巴巴数据交换平台。强琦强调数据的价值在于共享,而平台的价值在于交换。作为平台的建造者要拿出数据给大家交换,以身做饵,以高价格的数据交换散落在蓝海中的数据。阿里巴巴未来的策略,也正是基于这点。数据单独使用,发挥价值并不大。只有把数据融合在一起,才能产生出巨大的价值。

强琦还指出阿里巴巴不会单纯的以打造平台的目的去做一个平台,会把平台的打造融入业务当中。阿里巴巴的数据交换平台是开放的,平台将打通和整合整个阿里巴巴集团的所有的数据。提供人性化的服务,建立一个统一的大数据交换平台。这也将是阿里巴巴至明年的工作重点之一。

文章链接:强琦:大数据探索-阿里巴巴数据交换平台

PPT下载 :Download


顾费勇:未来的DataStream机制

   
网易 顾费勇  

在12月29日主题论坛三大数据共享平台与应用中,网易资深工程师顾费勇为我们带了题为《海量数据搬运工——DataStream》的主题演讲。顾费勇从DataStream产生的原因、结构和特征、关键技术点、应用场景和未来的展望为我们开启了海量数搬运的篇章。 顾费勇为我们介绍了关于DataStream的试点关键技术:异构数据源解析、数据分流、数据可靠传输和数据传输效率。以数据的可靠传输为例让我们了解DataStream试点的关键技术。顾费勇认为数据的可靠传输包括四种。第一,持久化机制,将收到的消息先做持久化后发送。第二,ACK机制,可确保后端模块已收到数据,未收到则重发。第三,异常数据处理,将无法处理的异常数据保存在指定位置,可追溯来源。第四,全面覆盖的监控程序,监控所有进程的正确执行,监控系统有无异常日志,监控系统吞吐量是否不足有延迟,监控产品数据流量异常波动,监控产品有无不符合协议的日志。

文章链接:费勇:海量数据搬运工——DataStream

PPT下载 :Download


刘立萍:数据消费的改变,解决规模 ==》解决计算 ==》数据智能

   
百度 刘立萍  

在大数据共享平台与应用主题论坛上,来自百度基础架构部数据平台技术经理刘立萍介绍了百度大数据平台。刘立萍表示随着应用的需求,当我们的数据处理能力越来越强以后,对数据消费更高的要求也提出来了,而在百度内部把迭代关系划分成了三个阶段:

第一,解决规模(2007到2011年),解决基础存储和计算的问题。整个的集群、搭建的这些平台包括计算模式在很多地方都有计算过。单机群体达到五千,MPI的集群达到四千;各种计算模型,增量计算这种模型、规模在运用的过程中遇到过很多问题。随着碎片计算增多,使得大家计算资源越来越不够,任务都不能用;整个的任务,还有数据都不能附用。2011到2013年(从计算为中心转到数据为中心,对数据进行处理),这个过程中,实际上以数据仓库的技术为核心的,这也是现在正在做的事情。第三个阶段,从2013年以后(预测)。而这一阶段的期望是出现一些叫数据智能的产品。

文章链接:刘立萍:百度大数据平台介绍

PPT下载 :Download


刘佳:全面分析HBase用例

   
普泽天玑 刘佳  

在12月1日“Hadoop生态系统”主题分论坛,普泽天玑技术总监刘佳发表了题为“HBase用例分析”的演讲。刘佳主要分享了3个案例:

第一个是数据魔方,他从新旧系统的原理对比入手,详细介绍了他们如何对流程进行重新规划。

第二个是访客直播间,从系统架构的角度深度解析了HBase的应用。

最后是广点通,刘佳从业务背景出发对系统的重新部署流程做了深刻的讲解。

刘佳借以上3个案例,详述了项目过程中所遇到难题的实现方法。限于篇幅问题,详细技术请绕至下方传送门。

文章链接:刘佳:全面分析HBase用例

PPT下载 :Download


Ronaldo Ama使用虚拟技术整合大数据和云计算

   
VMware Ronaldo Ama 

VMware全球高级副总裁Ronaldo Ama在题为“大数据和云计算如何联系(云中的大数据)”的演讲中,展现了一副大数据的应用全景。在实时流技术,机器学习技术、实时处理技术、数据分析技术和批处理等多个领域展开。

其间Ronaldo Ama从技术上提出了3层模型,最上面是部署云计算技术的计算层;位于中间是数据存储和预处理的数据层;处于最下面的自然是由许多主机和网络构成的基础设施层。显然要实现易维护、高可靠性、弹性、灵活租用等都需要虚拟技术的支持。

最后,针对如何实现、部署虚拟化框架和应用,Ronaldo Ama还做了详细的阐述。

Ronaldo Ama认为,大数据很好,可以带来很多的价值!

文章链接:Ronaldo Ama使用虚拟技术整合大数据和云计算

PPT下载 :Download


更多“干货”请见HBTC2012直播页  责编:王旭东

欢迎关注@CSDN云计算微博,了解更多关于大数据的信息。

效仿Google Facebook欲整合Instagram用户数据 与苹果全面竞争?传微软明年推Xbox机顶盒 微软Ralph Haupter:WP8即将在中国上市 开发者黄金时代来临 Paul Graham:Y Combinator创始人成长轨迹 我们需要强密码吗? 为了改变?英特尔CEO宣布将于明年5月辞职 传苹果下一代Mac OS中将整合Siri及地图服务 TripAdvisor:使用AWS比服务器托管成本节省50% [MDCC精华]亚马逊AWS布道师Kingsley Wood:灵活IT架构之道 亚马逊诉讼彰显谷歌在公有云领域威慑力十足 AWS全球创业大赛 奖金100000美元 YY:破冰而出,成功上市 Xtreme Labs工程师:Android开发常陷入的五大深坑 Elon Musk:没了乔布斯的苹果干不过谷歌 旁门左道:第一次开发移动游戏就赚到28623美元 移动周报:小聪明赚大钱 游戏SEO如何耍鸡贼? 创翼全国 六城联动——2012移动互联网应用创新大赛开放日 全国六城联动沙龙 爱丽丝+福尔摩斯 Game Insight解谜游戏玩出新花样 Windows Phone 8 SDK大升级:部分功能兼容WP7 信息大图《愤怒的小鸟》发家史 Intel预测:10年之后你的手机是48核的 消息推送惹怒用户:应用开发者请别太过分 创新工场:我们如何孵化未来? iOS越狱比例下降:国内移动开发环境怎么了? 响应式图像技术与资源分享 看Twitter如何应对大选:少些Ruby 多些Java 软件开发中常见的十大系统瓶颈 [CTO俱乐部87期]三人行架构分享:开源是背后的支柱 推荐5款超实用的.NET性能分析工具 OpenStack基金会主席Alan Clark访华 欢迎提问 程序员的十大烦恼 C#参考文档要的举手啊! 怎样做服务程序? (在系统后台运行) TComboBox的text能否设为只读? 站点属性中“应用程序保护”有三个选项,分别是---低,中,高。有什么区别吗?安全性有什么不同?为什么有的isapi程序必须设置成低才能正确执行啊? 怎样才能使Web页上的ACTIVEX控件自动下载注册? ADO 与 DATA MODUAL 怎样判断一个文本文件中的数据。 绝对的诚意邀请高手加盟 请问邮件服务器,如何用java实现,最好有源代码,谢谢了,急 急贴:>>>>>>>>>>>>>>>>>>>>>>>>>>这里有英语好的网络专家吗? 关于java中的画矩形 哪里有将股票数据转换成数据库格式的工具? 从哪里能找到用opengl绘制三维图形的源码?基于unix下的。 asp 怎么判断客户端的操作系统还有屏幕大小什么的? 卡在了一个错误里出不来,求救! 谁知道??????求救~~~~用asp操作注册表,从注册表中删除指定的主键! 何处能找到用opengl绘制三维图形的源码?基于unix下的 谁有多种字符窜转换的方法或代码呀? 用JBuilder5做的数据库应用程序怎么打包? 我的机器上没有装outlook,当我点击mailto时,就直接链接到hotmail的邮箱,怎么回事那 请问我在一个窗体里拖动了十几个ADODC控件,启动时很慢请问我该怎么样 怎样调整图片适应"picturebox"大小 请问那位大哥有求切线的C程序。 关于赵薇着装的讨论可以停止了 怎样远程连接安装在Linux 上的Mysql数据库? 谁能帮我解压缩从huizen.dds.nl/~roalt/h263.html下载的 H263软件 真诚的希望你加入振兴软件产业的 事业中来 两个函数之间变量可以共享吗 拷贝ACCESS 库 请教高手(关于数据结构)的一个问题 关于Rundll32.exe程序的问题 播放AVI动画的问题 c#和asp.net有什么关系? 串口打不开怎么办? 请问各位大虾,怎样在java里打开一个IE窗口。 网络问题! 我的浏览器怎么了? 在局域网中,如何在代理服务上作手脚,使处同一局域网某些人可以上网,某些人不能上网。各位帮忙! 如何制作安装盘,我的做好了,为什么到别的机器上安装不能运行 急急急·高手帮忙,在Java中引用C++的动态链接库,中文字符串参数变成乱码,怎么办? 有前锁问题 找个扫雷源程序! 发送邮件时,对现在大部网站要求的smtp认证,如何处理?急用! 连接的ACESS数据库可以是EXCEL的链接表吗? 神呀救救我吧? 谁知道哪有Delphi写的代理服务器源代码? 关于MFC的动态生成对象的问题 有谁把平台转向XP了,不知在这种新环境下开发出的软件在别的机器上会不会有问题(包括运行库及打包) 帮帮我,好吗?(谢谢大家了) 千山、恶人、老鱼、念雪、浪人及各位大虾,小弟也遇到了Dll引出MDIChild的问题,但是在linux下,不能正常退出,请各位帮忙,多谢了。 我的浏览器怎么了?? 机械加工零件怎么估价,就是拿到一份零件图纸,要怎么知道是用哪种加工工艺,需要加工多少时间? 彩虹有几种颜色7 某工厂有一捆粗细均匀的裸铝导线,质量为108kg,横截面积为5mm2,这段导线长 m 铝的密度2700Kg/m3 机械加工工艺基础1.车削加工中粗加工切削用量选择的原则.2.被加工零件为有色金属材料,加工方案有两种:一、钻—扩-粗铰 二、钻-粗镗-粗磨哪个方案合理可行,为什么?3.试对零件结构设计 类似于粗糙度仪,粗糙度计,粗糙度测量仪,粗糙度测试仪这样的产品在南京什么公司有销售的 铜导线、铝导线用什么性质区分?初三第一学期 机械加工工艺应注意什么? 空气负离子浓度测试仪在青岛有销售的吗 数控车锥度怎么算20大头30度角怎么算小头15的长度最好给个算法谢谢了谁能直接给用上面数字算出来 电镀镍表面未电镀完全我想问一下,电镀镍的时候,样品表面经过了多次除油等表面处理,可是电镀过程中出现跟地图一样的,只有少数地方电镀上了,经过好几个小时了,其他的地方才逐渐电镀上. 某机械厂要铸造100个铁质的机件,铸造该机件的木模用的木料的密度为0.7g/cm3,每只木模质量是4.2kg,求所铸造的这100个机件的总质量 数控车大头40小头20锥度15度求大头到小头的长度最好给个算法的过程 请问电镀镍的时候,电镀时间比标准时间缩短,而电流变大,会对产品有什么影响?电镀厚度,是否会有差异,外观和性能会不会有影响? 苯检测仪,VOC检测仪在青岛有销售的吗 数控车内孔带0.03毫米的锥度怎么在程序里去掉?内孔长度是59.0直径是254.0车出来外小里大 为什么在太阳下闭上眼,能看到各种颜色?睁开眼后为什么一切都瞬时变黑白色? 2、铸造铁质零件时,木模用密度为0.7g/cm的立方的樟木造成的,模型的质量是3.5kg,如果要铸造这样的零件100个,按120%下料,最少要多少千克水?(铁的质量:7.9g/cm的立方) 如何减少数控车加工轴类件带锥度的现象 将以光碟放在阳光下,有何发现?描述你所观察到的现象. 测量仪器和网络测试仪分别有哪些品牌,他们属于哪个国家的,有何特点与优势,国内哪些代理商在代理?帮帮 彩虹是光的折射产生的吗?是折射还是反射? CNC加工中心主要能做那些模具?做零件的是那种? 泄漏电流测试仪等测量仪器 每一台都要拿去 做检测报告吗?如题,像我们公司的产品电热毯等,只要拿样品做检测报告就行了.我们供应商的这种泄漏电流测试仪 每一台都要有单独的检测报告的 彩虹是怎样形成的 为何要经过两次折射一次反射 内径 粗糙度测量我公司一个产品 直径在Ø 8.纵深为40mm .RZ 2.4..想在不切割的情况下测量它的粗糙度,请大家推荐下仪器.. 由水反射出的彩虹颜色怎样排列的?最上面的是什么颜色?把镜子放在水中 一束光照在镜子上 放射出去的光 最上面的应该是什么色的? 彩虹是由光的反射还是折射? 粗糙度测量中都要测量哪些参数 阳光照在红纸上,会反射出什么颜色的光?如题 10立方厘米的铁和40立方厘米的铝制成合金密度是多少?【铁密度:7.9g/cm^3铝密度:2.7g/cm^3 硅片表面的粗糙度怎样测量 彩虹由哪几种颜色? 莫氏五号锥度是多少度? 接触式和非接触式粗糙度测量的区别哪些地方有差异? 普车车内孔,图纸标数已知小径52,长度90,锥度8°,求大径的值径,计算方式怎么求的,急阿,有没有大神教教呢 钻夹头锥度请问1-13MM B16 的钻夹头配机床主轴锥孔是多大的锥度? 为什么三棱镜会反射出彩虹老师给我们上课时弄的实验这是为什么啊 还有为什么看的明显的只有三个颜色——红、黄、紫我们是下午大概两三点时做的实验不要只会打一个啊 飞机设计师为减轻飞机的重力,将一钢制零件改为铝制零件,使其质量减少104kg,则所需铝的质量是( )(р钢=7.9*10³kg/m³,Р铝=2.7*10³kg/m³)A.35.5kg B.54kg C.104kg D.158kg 钻石在直射灯光下能反射几种颜色.我的钻戒貌似是三到四种 分别为 黄色,橙红色 蓝色 与绿色,不过钻石在直射灯光下能反射几种颜色.我的钻戒貌似是三到四种 分别为 黄色,橙红色 蓝色 与绿 彩虹与三棱镜彩虹是空气中的水珠折射出来的,相当于三棱镜,但空气中那么多水珠怎么只能形成一道彩虹?而且为什么彩虹是弯的?究竟多少水珠相当于一个三棱镜? 飞机设计师为减轻飞机的重力,将一个钢制零件改为铝制零件,使其质量减少104kg,则所需铝的质量是 kg.(ρ 防辐射眼镜在灯光照射下会反射出什么颜色发射出来是绿色的不知道是好还是坏呢 眼镜店说是最好的—— 牛顿做三棱镜试验时把日光分为六色还是七色 飞机设计师为减轻飞机重力将一钢制零件改为铝制零件使其质量减少了104Kg求所需铝的质量是多少〔钢的密度7.8;铝的密度的2.7〕 飞机设计师为了减轻飞机的重力,将一钢制零件改为铝制零件,其质量减轻了104千克,则所需铝的质量是多少千克?要有科学过程,复制的不要,好的加分钢铁密度为7.9克每立方厘米,铝的密度为2.7克 三棱镜和阳光怎么可以作出彩虹七色光也行 彩虹到底是反射多还是折射多啊 飞机设计师为了减轻飞机的重力,将一钢制零件改为铝制零件,其质量减轻了104千克,则所需铝的质量是多少千 关于零件粗糙度测量仪器不同系统测出来的粗糙度值差异较大的疑问.我公司最近一批产品在客户处投诉密封孔粗糙度超差.我公司内部使用的是哈量的设备采用的应当是国标,测出来Rz 2 左右, 外园340毫米内园一头200毫米一头190毫米的内锥度轴承 飞机设计师为减轻飞机重力,将一钢制零件改为铝制零件,使其质量减少104千克,则所需铝的质量是%B 光学知识 彩虹 激光单狭缝的绕射条纹 肥皂泡的彩色条纹&光碟上的色彩分别是什么光学现象请分别注明它们所属的光学类别!我主要想知道 它们分别是什么光学 比如 几何光学 波动光学之类 彩虹是折射多一点还是反射多一点? CAD粗糙度如何标注 为什么向着太阳吹肥皂泡会显出色彩?为什么有的时候天上会出现彩虹? 急~~~~~~~希望大家帮帮! 双列圆柱滚子轴承锥型NN3006K轴承的内孔锥度是多少度?分不多,给点就行了 cad粗糙度什么情况下才标注啊?求Cad高手 寻汽车橡胶配件加工技术及设备 彩虹是什么颜色 为什么彩虹经过反射会成为弧形呢?为什么一定是弧形的呢?
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn