说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

美团梁堰波:用SQL-on-Hadoop构建互联网数据仓库与商务智能系统

HTML文档下载 WORD文档下载 PDF文档下载
为什么非要把SQL放到Hadoop上? 为什么非得基于Hadoop呢?他将会给大家解决这些疑问,同时分享互联网领域数据仓库和商务智能系统构建的业务需求和解决方案,分享一线工作中的经验教训!他就是美团网梁堰波!

【CSDN资讯】大数据是现在非常热门的一个话题,SQL on Hadoop是目前大数据技术发展的一个重要方向,如何可以迅速的了解掌握这门技术,CSDN特地邀请梁堰波来为我们做这次讲座“用SQL-on-Hadoop构建互联网数据仓库与商务智能系统”,通过对业务需求与SQL-on-Hadoop现状的分析,详细阐述SQL on Hadoop中各个技术点,分享一线的经验实践,帮助从业技术人员更快的掌握相关技术要点,少走弯路。

对于一个工程师或者分析师来说,如何查询和分析TB/PB级别的数据是在大数据时代不可回避的问题。SQL on Hadoop就成为了一个重要数据分析与挖掘工具。此时可能会有疑问,为什么非要把SQL放到Hadoop上? 因为SQL易于使用;那为什么非得基于Hadoop呢?因为Hadoop架构具备很强的鲁棒性和可扩展性。

梁堰波表示大数据时代,数据的价值是所有企业都能看见的宝贵财富,大数据的核心也是将有效数据从海量的数据中挖掘分析出来,从而利用有效数据创造价值。在互联网企业和有大数据处理需求的传统企业中,基于Hadoop构建的数据仓库的数据来源主要有通过Apache/Nginx的日志收集到的数据、一般存储在Oracle/MySQL中的用户和业务数据、通过ETL工具从其他外部DW数据源里导入的数据等。他讲到其实目前所有的SQL on Hadoop产品其实都是在某个或者某些特定领域内适合的,没有万能的产品。像当年Oracle/Teradata这样的满足几乎所有企业级应用的产品在大数据时代是不现实的。所以每一种SQL on Hadoop产品都在尽量满足某一类应用的特征。

以Hive和Impala为例来说,Hive是目前互联网企业中处理大数据、构建数据仓库最常用的解决方案,甚至在很多公司部署了Hadoop集群不是为了跑原生MapReduce程序,而全用来跑Hive SQL的查询任务。


对于有很多data scientist和analyst的公司,会有很多相同表的查询需求。那么显然每个人都从Hive中查数据速度既慢又浪费资源。如果能把经常访问的数据放到内存组成的集群中供用户查询那样效率就会高很多。Facebook针对这一需求开发了Presto,一个把热数据放到内存中供SQL查询的系统。这个设计思路跟Impala和Stinger非常类似了。使用Presto进行简单查询只需要几百毫秒,即使是非常复杂的查询,也只需数分钟即可完成,它在内存中运行,并且不会向磁盘写入。Facebook有超过850名工程师每天用它来扫描超过320TB的数据,满足了80%的ad-hoc查询需求。

Impala则可以看成是Google Dremel架构和MPP (Massively Parallel Processing)结构的混合体

目前主要是Cloudera在主导这个项目。以百度为例,百度尝试把MySQL接入Impala的后端作为存储引擎,同时实现相应操作对应的PlanFragment,那么用户来的query还是按照原来的解析方法解析成各种PlanFragment,然后直接调度到对应的节点(HDFS DataNode/HBaseRegionServer/MySQL)上执行。会把某些源数据或者中间数据放到MySQL中,用户的query涉及到使用这部分数据时直接去MySQL里面拿。

梁堰波从技术架构和最新进展两个角度分析一下各种SQL on Hadoop产品的优缺点和适用范围:Hive、Tez/Stinger、Impala、Shark/Spark、Phoenix、 Hdapt/HadoopDB、Hawq/Greenplum。梁堰波对此7种最新技术从产品的原理,使用场景,架构,优缺点,性能优化等方面做了深度阐述。文章详情点击:SQL on Hadoop的最新进展及7项相关技术分享 

此次CSDN在线培训:“用SQL-on-Hadoop构建互联网数据仓库与商务智能系统”中,梁堰波会介绍目前在互联网领域数据仓库和商务智能系统构建的业务需求和解决方案。SQL-on-Hadoop产品的原理,使用场景,架构,优缺点,性能优化等。最后会介绍几个实际案例帮助大家理解互联网数据仓库和SQL-on-Hadoop产品。本次培训将会讲到的技术点有:Hadoop、Hive、Impala、Shark、Flume、Oozie、Sqoop、Zookeeper、HBase、Tableau、MicroStrategy框架的对比介绍,以及优缺点比较、使用场景、目前在企业的应用案例,同时还将带来几种常用的解决方案与比较!

本次在线培训采用三分屏模式,在听课的同时可以和讲师进行互动,让你感受真实的课堂环境。还在为Hadoop“手艺”无处可学而烦恼?还在为Hadoop企业级应用而头疼?快来看看吧!

报名地址:http://huiyi.csdn.net/meeting/info/730/biz

讲师介绍:梁堰波何许人也,北航计算机硕士,曾工作于VMware、百度、法国电信研发中心等机构,现于美团网从事数据开发与挖掘工作。他本人具备丰富的大数据领域工作经验。在Hadoop/HBase/Impala和数据挖掘方面有丰富的实战经验,曾发表过多篇技术文章!

VB的多媒体控件VBPLAY.VBX简介 VB技巧点滴 VB技巧汇编 (一) VB剪贴板的用法 VB开发CAI软件的小经验 VB软件设计中的几个问题 VB新手常见问题解答 VB修改注册表一特例 VB与VC混合编程中处理消息的方法 VB中的进制转换是怎样的? VB中调用带参数存储过程的实现(数据库) VB中感叹号“!”与圆点“.”的用法差异 VB中如何实现注册表的读写 VB中实现“擦视”技术 Visual Basic 2000年问题 Visual Basic 的未来 Visual Basic 命令分类表 Visual Basic三级跳 Visual Basic使用技巧 Visual Basic中的子类处理技术 Visual Basic中软件封面技术探秘 VisualBasic 软件设计中的几个问题 Windows 95/NT 运行了多长时间 -VB资料 Windows 的登录资料库 -VB资料 把回车键变成TAB键-VB资料 把文件置入到Text或RichText中 -VB资料 避免按 [ENTER] 回车键产生的“嘀”声 -VB资料 避免使用全局变量-VB资料 避免装载多份应用程序-VB资料 不定个数的参数 -VB资料 不在任务栏中显示,只能在Ctrl+Alt+Del对话框中显示或者干脆什么也不显示数 -VB资料 为什么这个网站疯狂的连接我?看不出来是什么原因 关于合计函数的错误 请高手帮忙! 请高手帮忙! 请高手帮忙! 双声卡问题求救 windows下如何阅读pdg文件? 求救,我的QQ好像中病毒了!(莫名其妙的自动发信息) 请高手帮忙! 请高手帮忙! 哪里有下载——规划办证hyppc.3.0的,很急的,多谢 datawindow的sql不能修改 有谁用过Dev的Print System,请进来看看! 2000的信使服务 新浪网上商店的东西能不能买? 制作网上收看MTV,和在线听歌,下载,和短信业务,使用什么技术最好? 在VB里的chr(32)等在c#里怎么实现! 动态添加控件,看看这行代码是否有错: 看sdk头大了,大家帮我解释一下这几句的意思吧~~~~~ 大虾们::急呀!帮帮!!在线等待!! 恶梦从上午开始 求助!我的CapsLock键出问题了(只能打开大写,不能关闭) 请帮我看这条SQL语句,什么地方不对啊! Webservice的哪里算中间层,可以进行逻辑控制?客户端是否需要midas.dll? 为什么客户端浏览器总出错误? 如何获得DataReader中的行数? Libran() 请进 什么关键时候信赖全球通??屁话,大家来帮忙鄙视一下移动!!! 如何设置Log文件,记录数据库的操作信息? 请问哪里可以买到数据线把手迹和电脑联起来 蓝天,我有一个CELL表格的问题? 请问那里有bcb6.0下载(100)分 用DataGrid进行自定义分页后,页面切换时,如何方便的记录嵌在DataGrid中的Checkbox的状态? 关于GHOST的问题,现在的版本是否能刻WIN2000,以及域网中广播式刻录的问题,急!!!!!!!!!!!!!!!!!! 图片显示问题 请问有关程序员的考试 AntBrother(蚁哥) 请进 AntBrother(蚁哥) 请进 帮忙,如何屏闭TextBox控件的其它字符输入,只能输入数字!!!! 下的一段代码,在BCB怎是报错 大难题:在Win2000或者WinXP上安装Oracle7.3.3 ???? 一个很菜的问题:怎么查看所有的变量或属性值? 请问VB.NET如何获取IE收藏夹的位置? 迷惑不解,请教了 怎么用按钮来控制复选框的全部选中呀??? Excel中宏的问题!急 大难题:在Win2000或者WinXP上安装 Oracle7.3.3 ??? 关于窗口的大小和位置的问题 视图指针问题,高手帮忙!谢谢! 寻觅图象处理高手共同合作,欢迎朋友们去偶的站点申请免费主页空间 中秋佳节,兄弟们发Cash了吗 ? 动脑筋,填数题要使三个算式都成立,则三角、方块、圆圈代表的数各是几?方块+方块+方块+三角+三角=23方块+方块+三角+圆圈=17圆圈+圆圈+方块+三角=15三角=() 方块=() 圆圈=() 动脑筋“?处应填什么 英语翻译欢迎来我家做客.厨房很干净,前些日子刚买了一台新的冰箱.我的卧室很整洁,书桌上有一张邮票,如果你需要的话,我可以把它送给你. 英语翻译星期天,我到了我阿姨的一个画室,那里有很多的画,画的十分漂亮,我在我阿姨那帮忙.帮他们学画画的打水,虽然很累,但是我很高兴,因为我也喜欢画画,而且他们也乐意教我画些简单的 动脑筋 填英语数字( ) ( ) ( )( ) ( ) ( )( ) ( ) ( )在上面的方框用英语填入one--nine九个数字,使横向,纵向相加后等于fifteen,所填的数字不得重复. 这个动脑筋怎么写? 可导和可微是什么关系? 论文:体育让生活更精彩! (x的2次方加2x减3)乘(x的平方加2x减24)加90 可导和可微的关系是什么? 佰艺 两个字的英文怎么写佰艺 两个字的英文怎么翻译可以几种写法 想给公司名字翻译成英文 美媒:美国“重返亚洲”战略让中国从中英媒:长期天然气短缺加剧中国空气污染日本解密文件称美曾让其修宪员工工资企业不能再一口价 杭州拟正式义乌集装箱数10年增70多倍 义乌成杭州市公述民评进入第三场 市民拷问地杭州孩儿巷取消52个泊位后道路通行明杭州凤起东路将继续往东延伸 唐家村桥浙江省首次公开省级部门决算及“三公”杭州规定企业拒绝工资集体协商将最高被韩媒:朝鲜军工厂和军列连发火灾 或系颜值! 速度!世锦赛志愿者 都是老资格最大快递“大本营”本周全搬离世锦赛志愿者 都是老资格便民服务点 社区全覆盖254岁香山致远斋迎客年轻人看过来 真正的偶像来了公诉应“简更简、繁更繁”黑长途站点 15斤散装酒上车没人查碎玻璃伤城管 摩的司机判1年14号线 9月20日空载试跑两界穿越做富商九炎焚天未来融合器无限之爱萌修真强者在校园宛若幻梦位面武侠神话法外特工死神之燕归来重生之超级强国无限之军事基地中山公园旅游三国城旅游后海湾旅游五彩池旅游东台顶旅游龙泉寺旅游温岭旅游白水河旅游康乐草原旅游关东古巷旅游东白山旅游
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘