说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

美团梁堰波:用SQL-on-Hadoop构建互联网数据仓库与商务智能系统

HTML文档下载 WORD文档下载 PDF文档下载
为什么非要把SQL放到Hadoop上? 为什么非得基于Hadoop呢?他将会给大家解决这些疑问,同时分享互联网领域数据仓库和商务智能系统构建的业务需求和解决方案,分享一线工作中的经验教训!他就是美团网梁堰波!

【CSDN资讯】大数据是现在非常热门的一个话题,SQL on Hadoop是目前大数据技术发展的一个重要方向,如何可以迅速的了解掌握这门技术,CSDN特地邀请梁堰波来为我们做这次讲座“用SQL-on-Hadoop构建互联网数据仓库与商务智能系统”,通过对业务需求与SQL-on-Hadoop现状的分析,详细阐述SQL on Hadoop中各个技术点,分享一线的经验实践,帮助从业技术人员更快的掌握相关技术要点,少走弯路。

对于一个工程师或者分析师来说,如何查询和分析TB/PB级别的数据是在大数据时代不可回避的问题。SQL on Hadoop就成为了一个重要数据分析与挖掘工具。此时可能会有疑问,为什么非要把SQL放到Hadoop上? 因为SQL易于使用;那为什么非得基于Hadoop呢?因为Hadoop架构具备很强的鲁棒性和可扩展性。

梁堰波表示大数据时代,数据的价值是所有企业都能看见的宝贵财富,大数据的核心也是将有效数据从海量的数据中挖掘分析出来,从而利用有效数据创造价值。在互联网企业和有大数据处理需求的传统企业中,基于Hadoop构建的数据仓库的数据来源主要有通过Apache/Nginx的日志收集到的数据、一般存储在Oracle/MySQL中的用户和业务数据、通过ETL工具从其他外部DW数据源里导入的数据等。他讲到其实目前所有的SQL on Hadoop产品其实都是在某个或者某些特定领域内适合的,没有万能的产品。像当年Oracle/Teradata这样的满足几乎所有企业级应用的产品在大数据时代是不现实的。所以每一种SQL on Hadoop产品都在尽量满足某一类应用的特征。

以Hive和Impala为例来说,Hive是目前互联网企业中处理大数据、构建数据仓库最常用的解决方案,甚至在很多公司部署了Hadoop集群不是为了跑原生MapReduce程序,而全用来跑Hive SQL的查询任务。


对于有很多data scientist和analyst的公司,会有很多相同表的查询需求。那么显然每个人都从Hive中查数据速度既慢又浪费资源。如果能把经常访问的数据放到内存组成的集群中供用户查询那样效率就会高很多。Facebook针对这一需求开发了Presto,一个把热数据放到内存中供SQL查询的系统。这个设计思路跟Impala和Stinger非常类似了。使用Presto进行简单查询只需要几百毫秒,即使是非常复杂的查询,也只需数分钟即可完成,它在内存中运行,并且不会向磁盘写入。Facebook有超过850名工程师每天用它来扫描超过320TB的数据,满足了80%的ad-hoc查询需求。

Impala则可以看成是Google Dremel架构和MPP (Massively Parallel Processing)结构的混合体

目前主要是Cloudera在主导这个项目。以百度为例,百度尝试把MySQL接入Impala的后端作为存储引擎,同时实现相应操作对应的PlanFragment,那么用户来的query还是按照原来的解析方法解析成各种PlanFragment,然后直接调度到对应的节点(HDFS DataNode/HBaseRegionServer/MySQL)上执行。会把某些源数据或者中间数据放到MySQL中,用户的query涉及到使用这部分数据时直接去MySQL里面拿。

梁堰波从技术架构和最新进展两个角度分析一下各种SQL on Hadoop产品的优缺点和适用范围:Hive、Tez/Stinger、Impala、Shark/Spark、Phoenix、 Hdapt/HadoopDB、Hawq/Greenplum。梁堰波对此7种最新技术从产品的原理,使用场景,架构,优缺点,性能优化等方面做了深度阐述。文章详情点击:SQL on Hadoop的最新进展及7项相关技术分享 

此次CSDN在线培训:“用SQL-on-Hadoop构建互联网数据仓库与商务智能系统”中,梁堰波会介绍目前在互联网领域数据仓库和商务智能系统构建的业务需求和解决方案。SQL-on-Hadoop产品的原理,使用场景,架构,优缺点,性能优化等。最后会介绍几个实际案例帮助大家理解互联网数据仓库和SQL-on-Hadoop产品。本次培训将会讲到的技术点有:Hadoop、Hive、Impala、Shark、Flume、Oozie、Sqoop、Zookeeper、HBase、Tableau、MicroStrategy框架的对比介绍,以及优缺点比较、使用场景、目前在企业的应用案例,同时还将带来几种常用的解决方案与比较!

本次在线培训采用三分屏模式,在听课的同时可以和讲师进行互动,让你感受真实的课堂环境。还在为Hadoop“手艺”无处可学而烦恼?还在为Hadoop企业级应用而头疼?快来看看吧!

报名地址:http://huiyi.csdn.net/meeting/info/730/biz

讲师介绍:梁堰波何许人也,北航计算机硕士,曾工作于VMware、百度、法国电信研发中心等机构,现于美团网从事数据开发与挖掘工作。他本人具备丰富的大数据领域工作经验。在Hadoop/HBase/Impala和数据挖掘方面有丰富的实战经验,曾发表过多篇技术文章!

专访Informatica亚太和日本区副总裁Murray Sargant:中国公司正考虑数据资产货币化 Facebook又开源:让iOS应用界面极致流畅的ASDK框架 一周消息树:盘点史上最具毁灭性的软件Bug 微信公众平台设备功能支持个人开发者接入 2014中国移动开发者大调查第三批获奖名单曝光 微信企业号上线,带你看看它的真面目! OpenStack Juno版本发布——支持Spark和NFV 【十问十答】对话Go语言开发团队 苹果要求、Android开始,64位时代真的来了! MDCC 2014产品与设计论坛:带你发现产品之美 Java开发者值得关注的7款新工具 助力国产移动产品出海,UCloud部署北美节点 Zack Parker:用EC2在Cotap上打桩 用卫生棉杀敌冲关!两个高中女生的创意游戏 专访《Java程序员修炼之道》作者Ben Evans:保守的设计思想是Java的最大优势 Google收购Firebase 帮助程序员快速开发出移动App和Web App 微信支付开发关键点技术解析 游戏任玩!开源虚拟现实头戴式设备Open DoVision MDCC大会召开倒数10天 看Twitter、Facebook和国内“BAT”三大巨头最新动态 《近匠》Wijmo 5 CTO:从Web到移动,我的25年编程生涯 重复充电、防丢失!多功能智能行李箱Bluesmart 【设计经验传承】图标设计初阶要先型 “光年”光纤路由 支持千兆网络的家居中心 MDCC 2014移动开发技术与平台峰会:知名应用技术大牛传授实战经验 Unity生态圈将变?EA前总裁接替创始人任新CEO 第九届中国Linux内核开发者大会在京举办 《近匠》爱拍SDK:手游录像分享 爱拍才会赢 Mark走起!iOS开发最常用的第三方库 【CTO俱乐部读书会】《人件》译者肖然:软件工程是社会学 错过就要等一年 深圳微信开发者大会不容错过的十大理由 【干货】国外程序员整理的 C++ 资源大全 除了本站好象很少有人讨论日志文件的,能介绍点好的website吧(国内外均可)谢了先 用什么软件制作和修改.chm文件阿?? 问个弱问题:web服务器和数据库服务器不用同样系列的东西会有问题吗? createbitmap()里頭有五個參數,最後一個參數怎麽設置?我看了英文和中文的解釋都理解不了,誰能給個例子出來呀 如何添加自定义的ToolBar.怎样在命令菜单被check时随意显示和隐藏该工具条?急! 在线等,为什么我的代码原来可以运行,现在不可以了????TextPad 用GetCommandLine()得到的文件名是c:\test\YTEX~1.XY,而我的实际文件名是c:\test\y.txt.XY,我该怎么办? 急急急...为什么我拨号已经拨通了,但我还是打不开网页,ping各个网站也ping不通 各位前辈好.关于TCP/IP协议应用的问题,请大家指点. ***软件加密,急急急!!!请高手指教*** 寻找与CSDN类似的社区软件 谁有SCJP SL-275的原版电子版教材? 标准C程序中调用类的编译错误 access的mdb数据库如何编程知道里面含有那几个表? 谁有瑞星的升级程序,或是授权ID什么的?现在瑞星升级很烦啊!又是注册,又是授权的。 好象很少有人讨论日志文件的,能介绍点好的website吧(国内外均可)谢了先 Ghost之后,20G只剩下一个2G的C:!!!如何恢复,请指教,多谢!!! 我是初学者,问一个比较傻的问题:既然JAVA是一种纯面向对象的语言,那么为什么int i=new int()或int i=new int(1)不能通过编译?谢谢。 哪位能讲解一下,WEB服务器启动一个PHP 脚本的过程? 哪位朋友有没有做过让asp自动生成 Access数据库中的一张表 现想做一模块,主要是对股票数据在网络(包括公司内部网或是INTERNET)进行实时的发送; 关于DcomConnection的一个问题:连接局域网其他机器的应用程序服务器时“拒绝访问” 在VisData中正常通过,但在程序中不能通过,为什么 图像的小波分解和重构,模极大值算法。 师傅不在QQ,在这里吗?有个问题.//小新的徒弟. 老千,上次的那个rose下载网站,你还记得吗?偶忘了,搜索了几遍野没找到//牛虻 在VisData中正常通过但在程序中不能通过,为什么 向各位高手请教两句:tab_1.post selecttab(3) 的作用是不是向tab发送消息,消息内容是selecttab(3)?yield()是不是从消息中查找是否有相同消息,如果有则将它拿出执行? 我很莱,谁能给我简单的解释一下线程是什么?脱壳是什么? 图象资料,轻而易举30分! 和大家交流一下泛型化编程 文件拷贝的简单问题, 大家好:请问:access的mdb数据库如何编程知道里面含有那几个表? 怎样将mysql驱动加到jbuilder中,让Database pilot能认得出,高分相送 高分求教:关于ADO实现数据库!!!!!!!!!!谢谢 请问如何一次删除数据库中的所有数据? 怎么使label框透明!帮帮我! TNMUDP问题:怎样才能知道RemoteHost连接失败??? 谁有CuteFTP Pro2.0注册码?谢谢 如何进行DropDownList绑定,谢谢! 请问一个CString的问题 那个168查分台太可恶了 WIN98与WIN2000共享一个OFFICE??? 网络连接怎么检测 能把IE浏览器最大吗?俺指的是把右上最大按钮最大化? 怎么判断表单传送的整数中不能有字符,谢谢!!! 如何把我写好的说明书放到我VC++应用程序的帮助文件中? 求最容易理解,最容易上手的数据库书籍,各位老大请指教,谢谢!! 快!快快!!来拿分呀!!!!!!!!一个简单问题。 WIN98与WIN2000共享一个OFFICE 2000??? 在Servlet中如何使用JavaBean(调用其中的方法)?主要是格式!如果网上有这方面的资料也可以告诉我,我急用,不胜感激!40分送上!(只有这些了) 带电瓶的拖拉机,电瓶开关控制正极效果好还是负极效果好? 电动车上的普通电门锁,想改成刷卡电门锁,能改怎么?能改需要怎么改, 如何控制一汽缸自动做往返运动?我想用一电路控制一汽缸自动做往返运动,另外还接一计数器,记录汽缸的运动次数,急求一电路图和电子元器件参数. 电磁阀的两位五通,两位三通,单电控, 怎么区分电动车线路那些线是正极和负极线路想请问下电动车里面的线路那么多,怎么区分哪些是正极的,哪些又是负极的呢? 控制气缸自动往返运动需要什么配件?我现有的配件有空压机、气缸、二位五通电磁阀、磁性开关(接近开关)、软管,除了这些我还需要其他什么配件?最好有相关的安装视频,有视频的多加分 单电控两位五通电磁阀可以与双作用气缸在一起使用吗?之前都是用双电控电磁阀来控制双作用气缸的,单电控可以控制吗 封冻的江河水面能够承受的最大压强是7x10的5次方Pa,一辆20t的坦克能够在冰面上行驶吗? 怎样增大或减小压强的方法?如下回答增大S一定,------FF一定,------S同时-----F和----S减小S一定,------FF一定,------S同时-----F和----S 控制双作用气缸什么情况下用双电控两位五通电磁阀,什么情况用单电控两位五通电磁阀 请问现在的汽车都装有汽车尾气净化器么?尤其是中国有没有装. 什么催化剂将挥发性尾气转化为二氧化碳 物理:潜水员穿上可以承受压强为4.9×10的5次方PA,潜入水中的最大深度A、5米B、50米C、500米D、5000米另外请告诉我详细计算过程 简述净化器是如何降低汽车尾气危害的 1.重力为20万牛的坦克,每条履带与地面的接触面积是2平方米.求:若某冰面能承受的最大压强为6*10的四次方帕,坦克能否直接通过这个冰面?2.一铁球挂在弹簧秤下,弹簧秤示数为3.92牛,将铁球完 冬天河面结冰,一处冰层能承受的最大压强为二乘以十的四次方Pa.一个质量为40千克的人单脚面积为160平方厘米计算说明他是否可以通过冰面要具体的计算步骤 光电开关,电磁阀,继电器,气缸.接在一起用光电开关感应物体,感应到物体气缸工作,物体离开气缸停止工作回到原来位置,循环工作. 重力为20万牛的坦克,每条履带与地面的接触面积是2米的平方.求:若某冰面能承受的最大压强为6乘10的4...重力为20万牛的坦克,每条履带与地面的接触面积是2米的平方.求:若某冰面能承受的 电动车48伏充电器 输出端 N 和L 哪个是正极? 催化式排气净化器如何降低尾气危害 磁性开关怎么控制旋转气缸旋转气缸可以用磁性开关来保证位置么? 普通的气缸可以夹装在气缸的两头,旋转怎么夹? 给电池充电,充电器的正极应该接电池的正极还是负极?为什么哪? 催化式排气净化器是如何降低汽车尾气污染的 汽车尾气中含有CO,NO,一种新型催化剂能使二者反应,生成两种常见的无毒气体,反应的化学式为什么? 电动自行车充电器输出端电源正极对应电瓶的正极还是负极? 坦克车为什么要装履带? 汽车尾气中含有Co、No,一种新型催化剂能使二者发生反应,生成两种常见的无毒气体,反应的化学方程式为? 1、光对被照物体也会产生一个压强,太阳光垂直投射到地面上对地面的压强约4.6*10的负五次方帕.我国有9...1、光对被照物体也会产生一个压强,太阳光垂直投射到地面上对地面的压强约4.6*10的 在坦克的轮子上安装履带,履带表面有凹凸不平的棱是为了 问:减小压强和增大压强分别有哪些方法? 铁匠大哥,一个气压机,用三个按纽,一个三位五通中封的电磁阀怎么控制汽缸上下和停止中间的按扭是停止的,两边分别是上和下,就是气刚上升或下降时,按停止可以在随时停止,急用, 请问怎么用220V接近开关控制油泵启动,接近开关电流很小,若用中间继电器串联控制,电流也是很大啊 北京在奥运时用的一种三效空气净化器可将汽车排出的一氧化碳一氧化氮转化成A二氧化碳 氮气 B二氧化碳 氧气 氮气 我的电动车想装个底盘灯,能不能正极接在车大灯上,然后把负极接在车架上?这样行得通吗 接近开关可以直接控制中间继电器吗?是哪种型号的接近开关呢 一个开关,一个气缸,怎么控制气缸上下动作首先,是不使用任何控制阀,只有一个开关;其次我这个是纯粹的气动装置,没有电控;最后这是一个机械往复动作,靠人去执行,按一下按钮气缸压下去 ,一个气压机,用三个按纽,一个三位五通中封的电磁阀怎么控制汽缸上下和停止三个按纽分别是上,下和停,怎么控制啊,急用,谢谢啦手不能放在按纽上要点动上按停时它才停要不要用继电器啊? 汽车尾气中污染空气的主要物质是有CO、SO2、CO2、NO中的几种 关于气缸的行程控制问题我有一个气缸,我想在气缸上加两个磁性开关,我想通过磁性开关来控制气缸的行程我想气缸走到一半的时候,不知能否在这个时候让气缸停下来. 电动车充电器N是正极L是负极吗? 2个接近开关控制2个气缸(电磁阀控制)的动作.顶到其中一个接近开关,气缸中一个动作,顶到另一个动作相接近开关1、接近开关2,气缸A、B(用电磁阀控制)中间继电器两个,动作如下:当到 如何控制气缸伸缩我对这方面不懂,我需要气缸控制:行程50-100mm,推力1kg左右,按开关,前进至需要的位置后自动停止,再按开关,回原位.请问:1、需要连接些什么元件?2、各元件的参数? 使用五位五通电磁阀控制气缸方法,气缸在中途停止3次,用三位五通中位封闭型电磁阀,用普通气缸设计可行吗 电磁阀与PLC控制汽缸保持问题现在有汽缸电磁阀控制汽缸顶出与复位运动,到达位置利用传感器检测到位信号,这个时候汽缸就不顶出了,电磁阀肯定要断电,那汽缸不就复位了吗,我要求让汽缸 气缸控制行程我需要气缸做定位运动,假如我选了个行程500MM的气缸,他推着我的工件到一个位置后,工件被传感器感应到,我就给电磁阀断电(因为工件大小不一,所以气缸推的位置也不一样), 1.2x10的四次方Pa的物理意义是() 接近开关,电磁阀,气缸电磁阀控制气缸,当电磁阀关闭时,气缸的进气管被堵,气缸的出气管也通向电磁阀.那气缸是怎么回复到没有顶出的状态的,是用弹簧拉?当气缸被顶出时,进气孔和出气孔是 汽车尾气中CO和氮氧化物哪个排的更多? 1.0X10的五次方Pa的物理意义是 在汽车排气管上安装尾气净化装置,可使尾气中的CO和NO在催化剂表面发生反应产生两种空气组成的气体,2NO + 2CO = N2 + 2CO2,条件是加催化剂.为甚麽会生成氮气,而不是二氧化氮. 用 催化转换器 处理后的汽车尾气,由于含有-易于空气中的水蒸气作用,形成酸雾.要解决这个问题,还需采取的 1.2乘10的六次方Pa的物理意义是每平方厘米的受力面积上所受压力为( )N 尾气中的NO.CO在“三元催化装置”中发生反应,两种生成物都是空气中的气体成分,请写出相应的化学方程式 为什么装有三元催化转换器必须使用无铅汽油? 用脚踏开关和继电器能控制电磁阀收缩吗?意思是用脚踩一下汽缸出来,在踩一下汽缸回了是用电的啊 在汽车排气管上安装尾气净化装置,可使尾气中的CO和NO的催化剂表面发生反应,产生两种空气组成的气体写化学方程式 第二次世界大战期间主要事件 一个正极一个负极和一个拉线开关,怎么接才能让开关控制灯泡 电动车电门锁 红线是正极 黑线是负极 连在一起会怎样 如何控制汽缸做自动往返运动?让汽缸隔五秒运动一次.也就是推出去停顿5秒缩回,缩回停顿5秒又推出去.这样一直往返工作,但是我需要10个汽缸同时做这样的运动.怎么设计?需要什么配件,最好
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn