说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

美团梁堰波:用SQL-on-Hadoop构建互联网数据仓库与商务智能系统

HTML文档下载 WORD文档下载 PDF文档下载
为什么非要把SQL放到Hadoop上? 为什么非得基于Hadoop呢?他将会给大家解决这些疑问,同时分享互联网领域数据仓库和商务智能系统构建的业务需求和解决方案,分享一线工作中的经验教训!他就是美团网梁堰波!

【CSDN资讯】大数据是现在非常热门的一个话题,SQL on Hadoop是目前大数据技术发展的一个重要方向,如何可以迅速的了解掌握这门技术,CSDN特地邀请梁堰波来为我们做这次讲座“用SQL-on-Hadoop构建互联网数据仓库与商务智能系统”,通过对业务需求与SQL-on-Hadoop现状的分析,详细阐述SQL on Hadoop中各个技术点,分享一线的经验实践,帮助从业技术人员更快的掌握相关技术要点,少走弯路。

对于一个工程师或者分析师来说,如何查询和分析TB/PB级别的数据是在大数据时代不可回避的问题。SQL on Hadoop就成为了一个重要数据分析与挖掘工具。此时可能会有疑问,为什么非要把SQL放到Hadoop上? 因为SQL易于使用;那为什么非得基于Hadoop呢?因为Hadoop架构具备很强的鲁棒性和可扩展性。

梁堰波表示大数据时代,数据的价值是所有企业都能看见的宝贵财富,大数据的核心也是将有效数据从海量的数据中挖掘分析出来,从而利用有效数据创造价值。在互联网企业和有大数据处理需求的传统企业中,基于Hadoop构建的数据仓库的数据来源主要有通过Apache/Nginx的日志收集到的数据、一般存储在Oracle/MySQL中的用户和业务数据、通过ETL工具从其他外部DW数据源里导入的数据等。他讲到其实目前所有的SQL on Hadoop产品其实都是在某个或者某些特定领域内适合的,没有万能的产品。像当年Oracle/Teradata这样的满足几乎所有企业级应用的产品在大数据时代是不现实的。所以每一种SQL on Hadoop产品都在尽量满足某一类应用的特征。

以Hive和Impala为例来说,Hive是目前互联网企业中处理大数据、构建数据仓库最常用的解决方案,甚至在很多公司部署了Hadoop集群不是为了跑原生MapReduce程序,而全用来跑Hive SQL的查询任务。


对于有很多data scientist和analyst的公司,会有很多相同表的查询需求。那么显然每个人都从Hive中查数据速度既慢又浪费资源。如果能把经常访问的数据放到内存组成的集群中供用户查询那样效率就会高很多。Facebook针对这一需求开发了Presto,一个把热数据放到内存中供SQL查询的系统。这个设计思路跟Impala和Stinger非常类似了。使用Presto进行简单查询只需要几百毫秒,即使是非常复杂的查询,也只需数分钟即可完成,它在内存中运行,并且不会向磁盘写入。Facebook有超过850名工程师每天用它来扫描超过320TB的数据,满足了80%的ad-hoc查询需求。

Impala则可以看成是Google Dremel架构和MPP (Massively Parallel Processing)结构的混合体

目前主要是Cloudera在主导这个项目。以百度为例,百度尝试把MySQL接入Impala的后端作为存储引擎,同时实现相应操作对应的PlanFragment,那么用户来的query还是按照原来的解析方法解析成各种PlanFragment,然后直接调度到对应的节点(HDFS DataNode/HBaseRegionServer/MySQL)上执行。会把某些源数据或者中间数据放到MySQL中,用户的query涉及到使用这部分数据时直接去MySQL里面拿。

梁堰波从技术架构和最新进展两个角度分析一下各种SQL on Hadoop产品的优缺点和适用范围:Hive、Tez/Stinger、Impala、Shark/Spark、Phoenix、 Hdapt/HadoopDB、Hawq/Greenplum。梁堰波对此7种最新技术从产品的原理,使用场景,架构,优缺点,性能优化等方面做了深度阐述。文章详情点击:SQL on Hadoop的最新进展及7项相关技术分享 

此次CSDN在线培训:“用SQL-on-Hadoop构建互联网数据仓库与商务智能系统”中,梁堰波会介绍目前在互联网领域数据仓库和商务智能系统构建的业务需求和解决方案。SQL-on-Hadoop产品的原理,使用场景,架构,优缺点,性能优化等。最后会介绍几个实际案例帮助大家理解互联网数据仓库和SQL-on-Hadoop产品。本次培训将会讲到的技术点有:Hadoop、Hive、Impala、Shark、Flume、Oozie、Sqoop、Zookeeper、HBase、Tableau、MicroStrategy框架的对比介绍,以及优缺点比较、使用场景、目前在企业的应用案例,同时还将带来几种常用的解决方案与比较!

本次在线培训采用三分屏模式,在听课的同时可以和讲师进行互动,让你感受真实的课堂环境。还在为Hadoop“手艺”无处可学而烦恼?还在为Hadoop企业级应用而头疼?快来看看吧!

报名地址:http://huiyi.csdn.net/meeting/info/730/biz

讲师介绍:梁堰波何许人也,北航计算机硕士,曾工作于VMware、百度、法国电信研发中心等机构,现于美团网从事数据开发与挖掘工作。他本人具备丰富的大数据领域工作经验。在Hadoop/HBase/Impala和数据挖掘方面有丰富的实战经验,曾发表过多篇技术文章!

VB判断剪贴板的所有可用格式 VB判断驱动器类型 VB判断是否已经建立 Dial Up 连接 VB判断一个年份是否为闰年 VB判断一个驱动器的类型 屏蔽文本框默认的右键菜单——浅谈如何控制Windows消息 -VB资料 奇数和偶数校验-VB资料 启动控制面板命令大全 -VB资料 VB取得 DOS 环境变量 VB取得并设置双击间隔时间 VB取得磁盘序列号、卷标和文件系统类型 VB取得短文件名 VB取得和设置计算机名 VB取得和设置系统颜色 VB取得计算机名 VB取得目前所有的输入法 VB取得应用所在的目录 趣味撞球——VB应用程序一例 缺省值和可选参数 -VB资料 确定当前 WIN95 的启动状态-VB资料 让TextBox的输入具备overwrite(覆盖)的功能 -VB资料 让密码轻松显示 -VB资料 让文本框输入完后,直接跳入下一行 -VB资料 VB如何编制带有不定个数参数的过程。 VB如何充分扩充VB功能 VB如何传递不固定个数的叁数? VB如何打开和关闭光驱门 VB如何导出收藏夹到文件或者导入文件到收藏夹 VB如何得到磁盘上剩余空间的值 VB如何得到应用程序的资料! VB如何调用chm格式的帮助文件 如何将一个二叉树保存在文件中,并且能从文件中再恢复到内存 关于电子邮件发送的程序 我以前都是VFP的,不知道怎么在ODBC中链接一个.DBF文件?请告诉我,谢谢 ftp问题求教 高分求教,为什么我的ASP.net 不能调试 如何来实现? 紧急求助:如何将字符串中的数字和字母转化为全角字符? 我该怎么设置我的VPN??? 高分求B/S办公自动化项目设计文档!请版主不要删除!! 能装配数据库,但打不开数据库,错误:ORA-01115: ??? 1 ?????? IO ?? (? # 31796) CWnd的create函数中有一个UINT nID参数,请问该参数干什么用的,用同一个id可以吗? 那里有免费的E-mail服务器下载?十万火急 DBCombo数据绑定控件下拉列表的宽度 较特殊的 API 使用问题 菜鸟问题:如何把一张表的数据添加到另一张表中(结构完全相同)? 升级的sdk下,CFileDialog关闭时出错 控件许可问题 各位,你们有没有遇到过这样的情况 明天我生日,怕大家不在,先贴出来,祝福我吧! 在做程序的时候需要从客户端不停的刷新服务器端的数据 ,是用xmlhttp还是web service? 如何将.DBF在ODBC中链接,有很多选项,是VFP(table)还是其它的?请各位赐教 周末散分!!! 哪位高手帮帮忙,求客户端计数器程序 高分!有关Delphi界面的问题!如何实现象QQ那样的动画移动效果 c#,xml高手请进,小弟有一个非常紧急的问题,请指点。 lotus notes怎样连接多台服务器? 数据存放的问题 adodc+datagrid数据更新后,grid怎样及时更新? 请教 请问JDBC 中classes12.jar、classes12_g.jar、classes12dms.jar这三者有什么区别? 给小弟一个启示 寻电子商务领域合作-购买源码或合作开发 水晶报表显示时如何让它不出现toolTip提示信息? 开发Struts程序遇上的问题 如何启动Tomcat?? 在access中怎样给一个日期型的字段附空值???(在线等待) 快毕业了,我的烦恼?!!! 如何保存页面,一项一项粘贴他妈的太烦了! 在IE下执行servlet时为什么有些servlet可以正常运行,有些却提示下载文件? 如何把两个关联的DataTable 合并成一个DataTable 或者DataView 象数据库中的视图 在asp调用access数据库时出现错误( 在线等待) InstallShield Developer 7.0 East Language Pack 的问题!!! *****寻求好的Global.asa(在线等待)******* 大家快过来看看这个小程序!送分!来者有分! 学完操作系统的,将来能作什么工作呢? Insert一幅图片到Oracle数据库及从数据库中取出这幅图片的方法及代码(1) 如何将文本框设置成只读的,帮帮忙了!在线等待! MSXML如何使用,能否给一个较详细的例子 一阵风 屏蔽控件某个事件 使用MicroSoft DTSPackage Object Library开发的问题 what is the number of your car?你的汽车牌号是多少?这种用法叫什么?句型结构希望解析清楚 有没有其他翻译 ( )is your mother?The one under the tree. A.Who B.Which c.What( )is your mother?The one under the tree. A.Who B.Which c.What 老师说是B,还说省略了women 动词后面是人一定要用宾格吗?介词后面一定用的都是宾格吗? There is no doubt和it is no doubtThere is no doubt 和 it is no doubt 的区别什么时候用there 什么时候用it那_______is no doubt__that____he can enter a good company.为什么第一格用There而不用it呢? The boy is sitting in the garden in front of which stands a tree这句子的原序 是不是动词和介词后的人称都用宾格? it's no doubt 和there is no doubt 的区别 高中数学 划横线的部分是怎么转化过来的? 法国 日本 英国 美国 泰国 巴西的简单情况 what`s the number of your tilephone?为什么加of和the 麻烦告诉我所划横线的这步是怎么来的 求boyfriend的三单I'll be there的5首歌mp3完整版kanata2rjj@126.com phone,what's,of,number,your,the怎样连词成句 什么词后面doing和to do 都可以加帮帮忙啦. boyfriend i'll be there歌曲 三首 请问forget to do sth与forget doing sth 的用法和区别 后面+do +to do +doing的词写下来初一上期到现在全部写下来 Boyfriend I'll be there罗马音歌词能不能再把每个音分一下. forget to do something和forget doing something区别用法 什么词后边加to do,什么词后边加doing人教版的,越多越好,初中三年的,谢了o(∩_∩)o... 求I'll Be There -- Boyfriend中文歌词和音译 Miss a 的over u中文谐音翻译 forget to to do sth.与 forget doing sth.怎么用?我知道:forget to do sth.是说:是还未做过的,后者是:已经做过的但我还没弄懂这个定义的意思,请帮我解释清楚要是有例句就好了 require的用法.是sb require doing sth 还是 sb require to do sth?我需要学习 用require造句怎么造.还有require to be done 怎么回事 鲁人版七年级上册思想品德复习提纲复习题下附答案 字母上面划横线怎么划 关于校园生活的作文 大学校园生活作文 散文 What’s your car number?用 car 还是 car'swhat's your ___ number?是用car还是car's forget doing sth与 forget to do sth 用法的区别 七年级新目标英语下册Unit6 2b的listen again.fill in the blanks的翻译 英语中的不定代词指什么,都有那些 下列名词有没有复数形式?有的请在横线上写出来,没有请在横线上划“/”.monkey_______ class______ water______ shelf_____ rice______ nurse______peach_______ library____ dog______ milk______ dress_____ postman______tooth_______ 急需翻译!1.He goes back to the donkeys and counts them again. 2.He gets on one of them and goes on. 在英语中,什么是不定代词.不定代词的意思,不定代词如何运用,在什么语境下使用,通常放在什么词的前面,什么词的后面 forget doing sth怎么用 You can listen to them again and again and repeat the sentences that are d____ for you what's in your.是英语高手的进 VFP基础 划横线的答案 划横线那步是怎么来的 就是“由……1/2”这句怎么来的 求详情 There ...is on it的汉语意思是什么 persuade sb to do sth和persuade sb into doing sth 有什么区别 其中有一步没看懂 划横线的那一步周期是怎么算的 求详情 is that it there 对话环境大概是 有一份文件在桌子上 把它转化成陈述句怎么说, 是不是介词后面人称代词要宾格?所有格是不是也是?主格不行吗? 是require sb doing sth,require sb do sth ,require sb sth?搞不清了 例如:这辆车需要修理有几种说法?急用! there is 和 it is 有区别吗 除了意思上的!要细说举例! 1、用人+pay+钱+for sth .用这个短语,造句.2、It takes +sb+时/钱+to do sth.也用这个短语,造句. it is no wonder 中wonder 既然是名词性的,为什么还用it 而不用there呢? SO how is it going there?的意思是什么? try to persuade sb to do sth和persuade sb to do sth区别 there is no wonder it's no wonder有什么区别 追求流行事物有什么利弊?八年级上册粤教版思想品德追求流行事物有什么利弊?八年级上册粤教版思想品德 persuade sb to do sth的例句不用太多急 there is no wonder OR it's no wonder?都是固定用法么? 英语中常用的动词征集 where is the report A there it is B there is it 给美丽做道加法中第二段划横线的句子是对老是感觉的描写,请说说这样写有什么好处/ 请帮我收集英语动词过去式和原式(小学的)急! The boy is standing in the garden which in front of a tree的原序 介词后+宾格 有 介词后+宾格 这种说法吗?有一句句子This is a photo of ---- on the Great Wall(I)这句句子中 横线上应填什么人称代词请将 I me my mine myself逐一分析 写下
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘