说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

美团梁堰波:用SQL-on-Hadoop构建互联网数据仓库与商务智能系统

HTML文档下载 WORD文档下载 PDF文档下载
为什么非要把SQL放到Hadoop上? 为什么非得基于Hadoop呢?他将会给大家解决这些疑问,同时分享互联网领域数据仓库和商务智能系统构建的业务需求和解决方案,分享一线工作中的经验教训!他就是美团网梁堰波!

【CSDN资讯】大数据是现在非常热门的一个话题,SQL on Hadoop是目前大数据技术发展的一个重要方向,如何可以迅速的了解掌握这门技术,CSDN特地邀请梁堰波来为我们做这次讲座“用SQL-on-Hadoop构建互联网数据仓库与商务智能系统”,通过对业务需求与SQL-on-Hadoop现状的分析,详细阐述SQL on Hadoop中各个技术点,分享一线的经验实践,帮助从业技术人员更快的掌握相关技术要点,少走弯路。

对于一个工程师或者分析师来说,如何查询和分析TB/PB级别的数据是在大数据时代不可回避的问题。SQL on Hadoop就成为了一个重要数据分析与挖掘工具。此时可能会有疑问,为什么非要把SQL放到Hadoop上? 因为SQL易于使用;那为什么非得基于Hadoop呢?因为Hadoop架构具备很强的鲁棒性和可扩展性。

梁堰波表示大数据时代,数据的价值是所有企业都能看见的宝贵财富,大数据的核心也是将有效数据从海量的数据中挖掘分析出来,从而利用有效数据创造价值。在互联网企业和有大数据处理需求的传统企业中,基于Hadoop构建的数据仓库的数据来源主要有通过Apache/Nginx的日志收集到的数据、一般存储在Oracle/MySQL中的用户和业务数据、通过ETL工具从其他外部DW数据源里导入的数据等。他讲到其实目前所有的SQL on Hadoop产品其实都是在某个或者某些特定领域内适合的,没有万能的产品。像当年Oracle/Teradata这样的满足几乎所有企业级应用的产品在大数据时代是不现实的。所以每一种SQL on Hadoop产品都在尽量满足某一类应用的特征。

以Hive和Impala为例来说,Hive是目前互联网企业中处理大数据、构建数据仓库最常用的解决方案,甚至在很多公司部署了Hadoop集群不是为了跑原生MapReduce程序,而全用来跑Hive SQL的查询任务。


对于有很多data scientist和analyst的公司,会有很多相同表的查询需求。那么显然每个人都从Hive中查数据速度既慢又浪费资源。如果能把经常访问的数据放到内存组成的集群中供用户查询那样效率就会高很多。Facebook针对这一需求开发了Presto,一个把热数据放到内存中供SQL查询的系统。这个设计思路跟Impala和Stinger非常类似了。使用Presto进行简单查询只需要几百毫秒,即使是非常复杂的查询,也只需数分钟即可完成,它在内存中运行,并且不会向磁盘写入。Facebook有超过850名工程师每天用它来扫描超过320TB的数据,满足了80%的ad-hoc查询需求。

Impala则可以看成是Google Dremel架构和MPP (Massively Parallel Processing)结构的混合体

目前主要是Cloudera在主导这个项目。以百度为例,百度尝试把MySQL接入Impala的后端作为存储引擎,同时实现相应操作对应的PlanFragment,那么用户来的query还是按照原来的解析方法解析成各种PlanFragment,然后直接调度到对应的节点(HDFS DataNode/HBaseRegionServer/MySQL)上执行。会把某些源数据或者中间数据放到MySQL中,用户的query涉及到使用这部分数据时直接去MySQL里面拿。

梁堰波从技术架构和最新进展两个角度分析一下各种SQL on Hadoop产品的优缺点和适用范围:Hive、Tez/Stinger、Impala、Shark/Spark、Phoenix、 Hdapt/HadoopDB、Hawq/Greenplum。梁堰波对此7种最新技术从产品的原理,使用场景,架构,优缺点,性能优化等方面做了深度阐述。文章详情点击:SQL on Hadoop的最新进展及7项相关技术分享 

此次CSDN在线培训:“用SQL-on-Hadoop构建互联网数据仓库与商务智能系统”中,梁堰波会介绍目前在互联网领域数据仓库和商务智能系统构建的业务需求和解决方案。SQL-on-Hadoop产品的原理,使用场景,架构,优缺点,性能优化等。最后会介绍几个实际案例帮助大家理解互联网数据仓库和SQL-on-Hadoop产品。本次培训将会讲到的技术点有:Hadoop、Hive、Impala、Shark、Flume、Oozie、Sqoop、Zookeeper、HBase、Tableau、MicroStrategy框架的对比介绍,以及优缺点比较、使用场景、目前在企业的应用案例,同时还将带来几种常用的解决方案与比较!

本次在线培训采用三分屏模式,在听课的同时可以和讲师进行互动,让你感受真实的课堂环境。还在为Hadoop“手艺”无处可学而烦恼?还在为Hadoop企业级应用而头疼?快来看看吧!

报名地址:http://huiyi.csdn.net/meeting/info/730/biz

讲师介绍:梁堰波何许人也,北航计算机硕士,曾工作于VMware、百度、法国电信研发中心等机构,现于美团网从事数据开发与挖掘工作。他本人具备丰富的大数据领域工作经验。在Hadoop/HBase/Impala和数据挖掘方面有丰富的实战经验,曾发表过多篇技术文章!

用jQuery改变图片(image src) 用std::atomic實現簡單的讀寫鎖 ChinaPay网上支付网关.NET开发 VOB生成IFO文件用nero刻录DVD详解 15款开源Android游戏引擎(安卓免费游戏引擎) 将MVC ASPX转换到Razor视图 Word设置目录简明教程 asp.net mvc页面javascript代码中如何使用razor Discuz X论坛数据表结构:用户数据表pre_common_member boost在windows平台下自带超强 IOCP 的ASIO Boost下载和编译安装简明指引 Windows和Linux环境中Boost下载安装编译配置使用指南 Android开发技巧:Android常用类库说明 Android开发技巧:Android 文件系统 Android开发技巧:Android应用程序架构 ASP.NET MVC Razor 输出没有编码的HTML字符串 ASP.NET MVC 3 Razor 在head里包含js文件 JQuery mobile介绍 JQuery Mobile 页面结构 什么是云计算的通俗理解 什么是Hadoop以及与云计算的关系 创建一个Windows Phone 7推箱子益智游戏 好用的在线编辑器百度UEditor ASP.NET如何从URL或route数据中得到controller类型和action信息 Discuz X论坛数据表结构:论坛主题数据表pre_forum_thread Discuz X论坛数据表结构:论坛帖子数据表pre_forum_post jQuery UI 消息框(message box)的使用 kmp算法中的求Next()函数的算法 ASP.NET MVC3 如何将DataTable绑定到Html.DropDownList PHP调用COM组件 农行网上银行支付接口:无法读取商户端配置文件 关于c远程调用 这个病毒太狠了! 如何将IE打印功能去掉?禁止别人打印网页? 请教关于TImageList中存储多幅图片的问题 100分赠送 寻架构? 请教高手:如何在VB开发的程序中准确判断用户的可用内存? 用jb怎么在另一个类中控制frame中的一个label的text的实时的变化?多谢 如何制作PB应用程序的安装程序?高分求救。 WinXP里怎样备份norton antivirs的升级数据? 我只是给自己加点分啦 快救救我吧,我的存储过程返回值有问题?? 日文原码想在中文环境中运行可不可能 JBoss高手看过来! 下面的js执行错误,请看看 请教高手:如何当一个程序被反复调用时利用command$? 声明游标时可否用变量? 能不能提供几个漂亮的repeater控件的模版? dbs.Execute "SELECT * INTO 在校学生 FROM [Excel 8.0;DATABASE=" & App.Path & "\MyExcel.xls].[WorkSheet1] "报错,在线等待 有没有什么工具或办法可以将Tc 下的程序移植到linux下运行? 求助! 请教!急! 世间什么才是最珍贵的? 大家來說說2003年版<射雕>的敗筆. 请教:如何在VB开发的程序中判断一个程序在硬盘上的安装路径? 帮忙!谢谢! 此类问题如何查询? 请教个问题:每次启动机器都会打开IE跳到我们这边的一个内部网站去,本来启动就慢----火死了,怎么去掉---在注册表了改么? combo控件问题. 问一个关于刚开机的win.com的问题。请高手帮帮忙呀! dbs.Execute "SELECT * INTO 在校学生 FROM [Excel 8.0;DATABASE=" & App.Path & "\MyExcel.xls].[WorkSheet1] "报错,在线等待 请问我如何在注册网站成功后,在exchange中也建立一个与注册网站时同名的帐号呢? ASP(javascript)自动回复问题?? ★★母亲的生日★★ 哪位有没有用spcomm控件进行串口通讯的例子? 大家帮我看看这是用哪个做的? 关于打印... 两路由器的使用方法比较,哪个好些? 在线求助:有没有改变电脑所连的打印机打印属性方向的API函数?多谢 我要送分 设置ejb的几个接口时,我有点弄不明白 有没有什么办法把ACCESS的表打印出来?格式改变一下? 烦啊~~~~ 谢谢!如何让对话框的大小不受屏幕分辩率的影响??? 请问怎样避免多用户同时访问数据库中的表? 简单问题:怎样用url打开一个文档?多谢 怎么控制小数的位数? 这个QQ炸弹好厉害,是什么原理呢? 我的问题怎么老是出现在这个地方。。。。 一个对话框程序调用dll中函数的问题! 请教有关类的扩展 核细胞是(),遗传信息存在于()中 是谁发现了大气压力快啊 我很急啊 家庭联产承包责任制与土地改革有什么区别麻烦告诉我 人体口腔上表皮细胞中的遗传信息流向 毛细血管出血用什么办法止血 气管支气管黏膜上皮是不是分为腺上皮和纤毛上皮? 我想问一下,如果以宇宙飞船的速度的飞机在大气层内飞行,飞行员能否承受得住这么大的加速度压力 1.2.说出下列各式的值(求过程 用旋光仪测糖溶液的浓度为什么让气泡位于盛液管的鼓起部位?又为什么让有鼓起部分的一端朝上? 有关太阳的信息太阳是一颗巨大而炽热的恒星.它是距离地球最近的恒星,距离地球约1.5亿千米.太阳的直径约1392000千米,是地球直径的109倍;太阳的体积是地球体积的103万倍.太阳的表面温度约6 计算下列各式的值(写出详细的步骤) |√3+√2|+|√2-√3| 螺孔M10大径是5,那么小径是多少呢?有没有螺钉和螺孔大径和小径的公式啊. 有关太阳的信息有哪些?有关太阳的内部. You'd better ___ (not go) out.It ___ (rain) hard. 大侠们,请问螺孔的大径和小径,有效长度和总长度有没有关系? 请给我一些有关太阳的信息 You'd better not go out.It ____ (rain) soon 'c 螺孔标号5-M20,我知道20是其大径为20mm,我还想知道,槽高或牙高(也就是大径和小径的差)是多少?我是这么计算槽高的:三角槽的角度为60度,螺距(牙距)在GB4459.1里面是2.5mm,那么计算得出位1. 请给我一些有关太阳的信息, It ___(rain) heacily outside ----You'd better not ___(go)out solidworks如何画不垂直于表面的螺孔,也就是画和基本参考平面成一角度的螺孔我自己来回答吧,呵呵,可以不要建斜面,直接用简单孔就可以了 问青少年有关太阳的信息比如:太阳是一颗巨大而炽热的恒星.它是距离地球约1.5亿千米.太阳的直径约139200千米. 脑部神经总是抽痛怎么回事? 如何治疗皮脂腺增生 听觉感受器是什么 为什么我的广联达绘图中独立基础的属性中没有参数化图形呢?我想画四棱台的独立基础却画不了. 肠腺是器官吗?如题,我在辅导书上看到肠腺是由上皮组织构成的,那它是不是一个器官呢? 听觉感受器位于哪里耳朵 哺乳动物的消化腺有( ) ( ) ( ) ( )等. 小肠内的内分泌细胞是绒毛,肠腺都有吗?有无主要分布区?作用呢? 帮忙计算下列各式的值 消化腺包括哪些 肠腺是由什么分泌的 神经细胞和肌肉细胞的遗传物质一样吗 发现的一点奇怪问题 中午太阳不在正头顶上方 是怎么回事?我在深圳龙岗 那天我想看太阳方向判断一下东南西北 让我发现一个有点奇怪的问题 中午的时候太阳不在头顶正上方 有点偏南 我 消化腺都各自分泌什么?能消化什么?是填空:——,能分泌——,能消化——. 身体内的细胞所含的遗传物质为什么是一样的呢 小华到海边看日出,发现了一个奇怪的现象:明明看到太阳从遥远的海边升起来了可是眨眼又落回去了,请详细说明其中的原因. 消化腺有什么作用 生物中;人的肌肉细胞和神经细胞的遗传物质是什么? 神秘问题,看太阳打喷嚏.我眼睛直视太阳或者其他光源就会打喷嚏(前提是光源得强一点),而且我的同学中也有几个和我一样,不过不多,我猜测是光解酶的作用. 如何抑制皮脂腺分泌 轨道舱在飞船的哪个部分最好说得详细一些 蔗糖燃烧实验,为什么要加小苏打 生物问题!腺上皮属于组织吗?1.具有支持,连接,保护,营养等功能的组织是?上皮 肌肉 神经 结缔组织2.人体消化食物和吸收营养物质是依靠哪一系统?呼吸 消化 运动 神经3.不是病毒的特 轨道舱与飞船分离后去了哪?! 请问鸡蛋是球形吗?一年级数学判断题.谢谢!答案摸不着头绪,给个解释好吗? 我要10句排比句,快. 蔗糖溶液的旋光率一般情况下是多少 蔗糖转化试验中可以把蔗糖倒进盐酸中吗?为什么? 腺来源于原始上皮,原始上皮是什么? 下列叙述错误的是( ).选项:a、葡萄糖在酸性水溶液中有变旋光现象.b、 麦芽糖、蔗糖都是还原糖a、葡萄糖在酸性水溶液中有变旋光现象.b、 麦芽糖、蔗糖都是还原糖 在蔗糖与盐酸反应,把盐酸加到蔗糖去,可否把蔗糖加到盐酸中去?为什么? 腺上皮分布在哪 为什么我今天下午又看了月亮又看到了太阳? 判断题:球形可以看成圆顶形的组合.对还是错 土地改革与家庭联产承包责任制的异同不要复制知道里面一些文不对题的答案~ 为什么今天还能看到太阳,是因为我拯救了世界. 配置蔗糖和盐酸溶液时,是将将盐酸加到蔗糖中去,是否可以将蔗糖加到盐酸中? 甲状腺是被覆上皮构成还是腺上皮构成?上皮组织主要分为被覆上皮和腺上皮.甲状腺的实质由甲状腺滤泡和滤泡旁细胞组成甲状腺滤泡由单层立方上皮(被覆上皮)构成.但是甲状腺是内分泌 教授:转基因技术从根本上灭绝人类 是邢台多名农民工遭不明身份人殴打 警方外交部:中方对伊朗与国际原子能机构间日本一公司办公室内种160多盆大麻草世行报告:俄罗斯在营商环境排名中前进美国脱口秀主持人就“杀光中国人”言论外交部:中方将为推动两苏关系持续改善“基础四国”在杭共商应对气候变化并发浙江杭州一高校起火 300名学生紧急美驻吉尔吉斯使馆收到不明信封 内装白巴基斯坦女警被曝职场路艰辛 受性别歧日称中国海军2艘军舰经日本先岛诸岛毗亚太地区主要股市涨跌不一《世界新闻报》窃听案开庭 涉及政要、边\"开刀\"边造绿 杭州投10个亿温州苍南首起“地沟油”案制造者被判刑日本一公司办公室内种160多盆大麻草德国联邦议院将召开特别会议商讨美监听泰国明年起拟向游客征收入境税 逗留3武大伟访美并与美方就朝核及重启六方会工信部:国内手机用户超12亿 移动上交通银行天使贷申请技巧上海市委常委董云虎:助推上海国际文化男子推车疑手湿致电池短路冒烟 港铁乘安徽任免杨敬农、虞爱华、叶露、吴旭军日本人为什么要把中国地图倒过来看?2016年新财富500富人榜出炉John Wall未市售J Wall利快生活16年新品集中上市,家居成跨【寻茶】采茶工篇EIA撞上小非农 谁是赢家:油价?美大学生找到五大窑瓷片引出惊天宋官墓群特朗普公然痛斥美国的军事结盟政策,国“颜值担当”的HUAWEI G9青春云南凤庆县:旅游休闲度假去处多理想型男友是什么样的?武钢股份:不了解武钢股份的你注定的悲2016股权众筹“大时代”已到来中国购入俄罗斯石油公司股票确保石油供连血糖仪都智能了,你还有什么理由不锻北京车展,福特带来了这些车[美丽河北]沧州市启动2016年青年
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘