说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

美团梁堰波:用SQL-on-Hadoop构建互联网数据仓库与商务智能系统

HTML文档下载 WORD文档下载 PDF文档下载
为什么非要把SQL放到Hadoop上? 为什么非得基于Hadoop呢?他将会给大家解决这些疑问,同时分享互联网领域数据仓库和商务智能系统构建的业务需求和解决方案,分享一线工作中的经验教训!他就是美团网梁堰波!

【CSDN资讯】大数据是现在非常热门的一个话题,SQL on Hadoop是目前大数据技术发展的一个重要方向,如何可以迅速的了解掌握这门技术,CSDN特地邀请梁堰波来为我们做这次讲座“用SQL-on-Hadoop构建互联网数据仓库与商务智能系统”,通过对业务需求与SQL-on-Hadoop现状的分析,详细阐述SQL on Hadoop中各个技术点,分享一线的经验实践,帮助从业技术人员更快的掌握相关技术要点,少走弯路。

对于一个工程师或者分析师来说,如何查询和分析TB/PB级别的数据是在大数据时代不可回避的问题。SQL on Hadoop就成为了一个重要数据分析与挖掘工具。此时可能会有疑问,为什么非要把SQL放到Hadoop上? 因为SQL易于使用;那为什么非得基于Hadoop呢?因为Hadoop架构具备很强的鲁棒性和可扩展性。

梁堰波表示大数据时代,数据的价值是所有企业都能看见的宝贵财富,大数据的核心也是将有效数据从海量的数据中挖掘分析出来,从而利用有效数据创造价值。在互联网企业和有大数据处理需求的传统企业中,基于Hadoop构建的数据仓库的数据来源主要有通过Apache/Nginx的日志收集到的数据、一般存储在Oracle/MySQL中的用户和业务数据、通过ETL工具从其他外部DW数据源里导入的数据等。他讲到其实目前所有的SQL on Hadoop产品其实都是在某个或者某些特定领域内适合的,没有万能的产品。像当年Oracle/Teradata这样的满足几乎所有企业级应用的产品在大数据时代是不现实的。所以每一种SQL on Hadoop产品都在尽量满足某一类应用的特征。

以Hive和Impala为例来说,Hive是目前互联网企业中处理大数据、构建数据仓库最常用的解决方案,甚至在很多公司部署了Hadoop集群不是为了跑原生MapReduce程序,而全用来跑Hive SQL的查询任务。


对于有很多data scientist和analyst的公司,会有很多相同表的查询需求。那么显然每个人都从Hive中查数据速度既慢又浪费资源。如果能把经常访问的数据放到内存组成的集群中供用户查询那样效率就会高很多。Facebook针对这一需求开发了Presto,一个把热数据放到内存中供SQL查询的系统。这个设计思路跟Impala和Stinger非常类似了。使用Presto进行简单查询只需要几百毫秒,即使是非常复杂的查询,也只需数分钟即可完成,它在内存中运行,并且不会向磁盘写入。Facebook有超过850名工程师每天用它来扫描超过320TB的数据,满足了80%的ad-hoc查询需求。

Impala则可以看成是Google Dremel架构和MPP (Massively Parallel Processing)结构的混合体

目前主要是Cloudera在主导这个项目。以百度为例,百度尝试把MySQL接入Impala的后端作为存储引擎,同时实现相应操作对应的PlanFragment,那么用户来的query还是按照原来的解析方法解析成各种PlanFragment,然后直接调度到对应的节点(HDFS DataNode/HBaseRegionServer/MySQL)上执行。会把某些源数据或者中间数据放到MySQL中,用户的query涉及到使用这部分数据时直接去MySQL里面拿。

梁堰波从技术架构和最新进展两个角度分析一下各种SQL on Hadoop产品的优缺点和适用范围:Hive、Tez/Stinger、Impala、Shark/Spark、Phoenix、 Hdapt/HadoopDB、Hawq/Greenplum。梁堰波对此7种最新技术从产品的原理,使用场景,架构,优缺点,性能优化等方面做了深度阐述。文章详情点击:SQL on Hadoop的最新进展及7项相关技术分享 

此次CSDN在线培训:“用SQL-on-Hadoop构建互联网数据仓库与商务智能系统”中,梁堰波会介绍目前在互联网领域数据仓库和商务智能系统构建的业务需求和解决方案。SQL-on-Hadoop产品的原理,使用场景,架构,优缺点,性能优化等。最后会介绍几个实际案例帮助大家理解互联网数据仓库和SQL-on-Hadoop产品。本次培训将会讲到的技术点有:Hadoop、Hive、Impala、Shark、Flume、Oozie、Sqoop、Zookeeper、HBase、Tableau、MicroStrategy框架的对比介绍,以及优缺点比较、使用场景、目前在企业的应用案例,同时还将带来几种常用的解决方案与比较!

本次在线培训采用三分屏模式,在听课的同时可以和讲师进行互动,让你感受真实的课堂环境。还在为Hadoop“手艺”无处可学而烦恼?还在为Hadoop企业级应用而头疼?快来看看吧!

报名地址:http://huiyi.csdn.net/meeting/info/730/biz

讲师介绍:梁堰波何许人也,北航计算机硕士,曾工作于VMware、百度、法国电信研发中心等机构,现于美团网从事数据开发与挖掘工作。他本人具备丰富的大数据领域工作经验。在Hadoop/HBase/Impala和数据挖掘方面有丰富的实战经验,曾发表过多篇技术文章!

助力梦想!MDCC免费为优秀App开发团队提供展位 为Symfony2和Redis正名,基于PHP的10亿请求/周网站打造 【聚焦API】教你如何选择最适合的NLP API服务商? 直接改应用!Flipboard开源iOS应用内调试工具FLEX 专访腾讯游戏运营总经理崔晓春:云时代游戏运营的变革与创新 嵌入式专家Bruce Douglass经验谈 门票销售过半 从2014微信开发者大会购票者特征说起 当来自金星的Devs碰上火星的Ops——共话应用扩展 移动平台市场占有率:Android首次赶超iOS 豌豆荚范怀宇 I/O大会总结:Android无处不在 轻博客始祖Tumblr:哈希以支撑2.3万Blog请求/秒 《近匠》FIR.im:简单易用的内测分发工具 传苹果公司将于9月9日召开新一代iPhone发布会 近百家微信开发商参与征集评选活动 TOP10正浮出水面 Java程序猿,手游引擎怎么选? MDCC 2014优秀移动团队免费展位火热申请中 【微信讲师面对面】你在企业服务号开发中遇到的坑和难点 五个解决方案让MongoDB拥有RDBMS的鲁棒性事务 浅谈Apache Spark的6个发光点 安卓 “假ID” 签名漏洞,竟然骗过了支付宝和360 从Social到Big Data,移动App蚂蜂窝转型推新品 《近匠》nice曹大鹏,从男装导购到潮人社区的心路历程 DevOps扼杀的不是开发者,而是开发生产力! 利用Docker构建开发环境 Netflix公布Cassandra新性能:基于AWS的百万次写入每秒 一周消息树:谷歌Android遭遇“颠覆”危机 微软发布新应用Snipp3t,iOS平台首发且无Windows Phone版 TOP10优秀微信开发商随后揭晓 2014微信开发者大会开幕在即 8月12日:PC鼻祖IBM 5150迎来33周年 平板创作3D展现:蒙特利尔大学发明Hyve-3D设计系统 Quick Charge技术解析:关于手机快速充电的那些事儿 提问:猪真的很幸福吗?要求 wywq(幸福如猪) 回答。 哪位高手做过可视电话的? VB能不能实现“一个结构体类型的数组当参数传递 Forgotten Birthd Husbands Overheard Fine 有个在多线程中使用ADO的问题。请高手们帮忙。 Suede jacket 可能是installshield的Bug! 我想去北京找个工作,请大家帮帮忙,提供点信息! 装了“猫”为何还有630错误(电话线也接了)? excel 問題 各位:数据窗口有一检索变量,现在想retrieve出所有的记录,检索变量应该怎样赋值?谢谢! linux和windows是不是只能分别装在两个分区中 关于图像处理:如何使图像锐化与柔化? 帮帮我啦! 我在使用jdbc读取数据的时候,碰到了内存溢出的问题,怎么回事呀 哪里有餐饮系统的介绍?90不够的话,先欠着,多谢了! 在两个ASP程序之间怎么传递参数? ccl2000(不帅不酷的Goblin):其实你真的很酷很帅的。 大侠帮帮我啦(关于SQL语句的问题) 关于Vxd的编译问题 用VC编的程序,一运行就说“执行非法操作”,问题出在哪里?? SQL Server有病 一个关于api的简单问题 《易佳自定义报表》用后很失望 请教各位高手一个有关报表控件的问题? 小妹向大家请教!可不可以直接在本页的代码中改变该页面浏览时的属性? 家菲猫:惊悉你昨晚惨遭不幸,被窃大量钱物,今日一天无法和你联系上,估计手机和通信录已全部丢失,如果今晚无法来我处,明早8点以前请务必携猫 MM 赶到上海南站!!! MDI文档模板和应用程序调用问题请教,大侠请进! 一个c++问题???? 请问各位高手,sqlserver2k加密的存储过程是否能解密,看到它的实际的语句?可否能跟踪加密的存储过程? 我下载了一个formula one ,发现她的界面跟excel差不多,在pb中怎么用? 高分求XML 高级编程(足本)[01.pdf到10.pdf]!!!! 招聘汇编程序员 ie 中true dbgrid 的问题 急招聘汇编程序员 关于WINDONWS文件夹 WIN2000有关用户管理的问题 谁可以告诉我怎么调用已有的EXE文件。 有谁知道广州或南海的高级程序员考试的辅导点 如何把系统时间作为一个文件的保存名? TURBO C语言对磁盘操作的问题 着急招聘汇编程序员 为什么大家得的都是0分? 这行代码是什么意思: 不知怎的,不小心访问到一个网站。我已设为使用空页,可它还是要先启动,画面又恶劣,怎么办? 还是关于从字符串中提取汉字的问题,我是从*.txt取出一个字符串(readln),结果无法提取汉字 请大家帮忙,白送分的 为什么我无法安装win2000??? 如何只显示数据库中的最后一条记录?(只显示一条) 高二化学知识点总结 1,将含有C,H,O的有机物3.24g装入元素分析装置,通入足量的氧气使之完全燃烧,将生成的气体依次通过CaCl2管【A】和碱石灰管【B】,测得A管质量增加了2.16g,B管增加了9.24g,已知该有机物的相对分子 在DNA的粗提取实验过程中,两次烧杯中加入蒸馏水的作用 A、B、C、D、E均为可溶于水的固体,组成它们的离子有:阳离子:Na+、Mg2+、Al3+、Ba2+阴离子:OH-、Cl-、碳酸根离子、硫酸根离子、硫酸氢根离子分别取其水溶液进行试验,结果如下:①A溶液与B 高二化学——有机物的基础像CH3,CH4这样的,假设它们是最简式在没有相对分子质量的情况下,怎么知道它的化学分子式,老师说有些不用相对分子质量就可以知道它的分子式的.上课有点没听懂. 实验室制取二氧化碳注意事项不能用……代替……,因为…… (这个格式) 要有总结性,简练, 热方程式的加减怎么个加减法?是否可以据一些例子? 某烃的结构简式为 分子中含有四面体结构的碳原子数为a,在同一直线上的碳原子数最多为b,一定在同一平面内的碳原子数为c,则a、b、c分别为_________.请问一定在同一平面内的碳原子数为是不 实验室制取二氧化碳的注意事项就是那个石灰石和稀盐酸制取二氧化碳,其中有什么注意事项? 已知在298K时下列反映的有关数据:C(s)+1/2O2(g)==CO(g),ΔH1=-110.5Kj/mol C(s)+O2(g)==CO2(g) ,ΔH2=-393.5KJ/mol 则C(s)+CO2(g)==2CO(g)的ΔH为( )A、283.5Kj/mol B、172.5Kj/mol C、-172,5Kj/mol D、-504Kj/mol(╯3╰) 高二化学! 在线等 求教高手向四个体积相同的密闭容器中分别充入一定量的SO2和O2,开始反应时,按正反应速率由大到小排 列顺序正确的是( )甲:在500℃时,SO2和O2各10 mol反应乙:在500℃时 实验室制取气体时要注意的是1.选择适当的反应,包括___和___;2.选择合适的___;3.需验证所制得的气体 高二化学热反应反应物质的量基本计算已知C(s)+O2(g)=CO2(g); △H1 C(s)+1\2O2(g)=CO(g);△H2.求△H1与△H2的相对大小? 怎么样的有机物能发生氧化反应?酯化反应?加成反应?取代反应?消去反应? 实验室制取氯气为什么要用饱和食盐水来吸收氯化氢气体? 试验中不能测出由石墨和氧气反应生成甲烷的反应热ΔH4,但可测出CH4,C,H2 燃烧反应中的反应热ΔH1=-890.3,ΔH2=-393.5,ΔH3=-285.8 根据盖斯定理求ΔH4 今有三种饱和一元醇A,B,C其相对分子质量之比为8:22:29按物质的量之比1:2:1将A,B,C三种醇混合取该混合醇16.2g与足量金属钠反应生成标准状况下氢气的体积为2.24L试计算- 1)A,B,C三种醇相对 实验室制取氯气时为什么用饱和食盐水去除氯化氢气体?我买的资料上说也可以用少量水,可是氯气不是溶于水么?还有,如果用不饱和的食盐水会怎么样? 高二化学热反应方程式中焓变值变化的问题比如一个热反应方程式.每一项系数X2那么焓变值也有X2但是我们老师说某一年的高考题 有种情况是焓变值不变的,那是怎么一回事啊? 丁烷失去一个氢原子后所剩余的原子团叫做丁基,丁基有___种,写出所有丁基的结构简式___.丁烷的一氯代物有___种.相对分子质量为114的烷烃,其一氯代物只有一种,则此结构简式为___名称___ 为什么实验室制取氯气时先用食盐水后用浓硫酸 如图,用系统命名法命名下列有机物 A.甲烷和溴蒸汽在加热条件下发生取代反应B.乙炔和溴水中的溴发生加成反应请问哪个是对的?为什么.. 实验室里制氯气中,饱和食盐水起什么作用?MnO2+4HCl =Cl2+MnCl2+Cl2+2H2O为得到纯净的氯气,需要把浓盐酸和二氧化锰在加热条件下反应产生的气体依次通过 饱和食盐水 浓硫酸 我不知道饱和食盐水 CH3 C2H5丨 丨CH3一CH2一CH2一CH2一CH2一CH2一CH2一CH2一CH2一CH2一CH2一CH3这个叫做 6-甲基-7-乙基-12烷 还是叫做 6-乙基-7-甲基-12烷 3.描述CH3—CH==CH—C≡C—CF3分子结构的下列叙述中,正确的是A.6个碳原子有可能在一条直线上 B.6个碳原子一定都在同一平面上 在实验室制氯气的实验中,为什么要用饱和食盐水?它对次氯化氢(和氯化氢)有什么作用 请问该有机物如何命名 高二化学.谢谢 为何石油的分馏实验中温度计的底部要放在导管的接入口? 这个有机物怎么命名, 丙烷是石油分馏的一种产品对吗? 石油的分馏实验中,温度计水银球插入液面以下,因为它测的是混合液的温度.这句话错哪里了 有机物怎么命名,还有怎么判断这些有机物类别. 1-溴丙烷与氢氧化钠反应为什么要加水 在石蜡分馏试验中,我们用蘸石蜡油的棉花放在试管底部,加上碎瓷片灼烧,反应原理是什么?碎瓷片?这个是石蜡的分馏,我想知道这个是物理变化还是化学变化。因为网上写的是石蜡是固态高 甲乙两容器中均充入2mol SO2,1mol O2,发生反应2SO2(g)+O2(g)=2SO3(g) △H 1-溴丙烷和2-溴丙烷分别与NaOH的乙醇溶液共热的反应中,两反应A 产物相同,反应类型相同 B 产物不同,反应类型不同C 碳氢键断裂的位置相同 D 碳溴键断裂的位置相同 汽油是石油加热分馏得到的产物,它其中可能含有哪些元素,请证明出来要有详尽的理由 浮法玻璃氢气起什么作用 高二化学等效平衡在一固定容积的密闭容器中,保持一定温度,A+2B==3C,已知加入1molA和3molB且达到平衡后,生成了amolC在相同条件下,若在同一容器中,改为加入2molA和8molB,若要求平衡后C在反应混合 将1—氯丙烷跟氢氧化钠的醇溶液共热、生成的产物再跟溴水反应、得到一种有机物,他的同分异构体有几种? 氢气的作用 已知2SO2 (g)+O2 (g)⇌2SO3 (g);△H=-197kJ•mol-1.向同温、同体积的三个密闭容器中分别充入气体:(甲) 2mol SO2和1mol O2;(乙) 1mol SO2和0.5mol O2;(丙) 2mol SO3.恒温、恒容下反 一溴丙烷和氢氧化钠醇溶液反应的化学方程式 反应了什么事件 高二化学等效平衡的讲解要详细的 ~~ 解释透彻的~~拜托啦 1-溴丙烷与2-溴丙烷和NaOH的水溶液反应的方程式水溶液 不是醇溶液 在重大政治事件中的表现和认识 怎么写···急 急··· 有关于高二化学 等效平衡的问题一个非等体反应在恒容的情况下,成比例加入与之前相同的药物,那么当反应达到平衡状态时,各物质所占百分数是否与之前一样? 在制取蒸馏水的实验中,烧杯里装冷水的目的是什么 材料反映了什么事件从有最早的历史记录以来,没有一桩伟大的事业能像十八世纪后半期一个主要鞑靼民族跨越亚洲草原向东迁逃那样轰动于世,那样令人激动的了. 各类有机物的性质和可以发生的反应.一些特殊性质等. 制取蒸馏水的实验中试管内装的冷水有什么作用 关注时事对大学生成才有何意义200字左右 谁可以帮我总结一下高二化学有机物那一块的所有的有机物(甲烷等)的物理性质和化学性质?化学性质最好有方程式 请问在化学实验室制取蒸馏水装置中,为什么冷水从下管进,上管出 《七律长征》中反映了什么事件?“三军”是指什么?在这一过程中召开过什么重要会议?有何意义?务必一一回答,最好简短一点, 高二化学有机物的一些简单总结(正确的加30分)哪些官能团和NaOH,Na,Cu(OH)2,NaCO3反应?哪些能用溴水检验? 这章我学起来有点吃力,不清楚的就不要回答 实验室制取蒸馏水试验中冷凝器是什么作用
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn