说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

美团梁堰波:用SQL-on-Hadoop构建互联网数据仓库与商务智能系统

HTML文档下载 WORD文档下载 PDF文档下载
为什么非要把SQL放到Hadoop上? 为什么非得基于Hadoop呢?他将会给大家解决这些疑问,同时分享互联网领域数据仓库和商务智能系统构建的业务需求和解决方案,分享一线工作中的经验教训!他就是美团网梁堰波!

【CSDN资讯】大数据是现在非常热门的一个话题,SQL on Hadoop是目前大数据技术发展的一个重要方向,如何可以迅速的了解掌握这门技术,CSDN特地邀请梁堰波来为我们做这次讲座“用SQL-on-Hadoop构建互联网数据仓库与商务智能系统”,通过对业务需求与SQL-on-Hadoop现状的分析,详细阐述SQL on Hadoop中各个技术点,分享一线的经验实践,帮助从业技术人员更快的掌握相关技术要点,少走弯路。

对于一个工程师或者分析师来说,如何查询和分析TB/PB级别的数据是在大数据时代不可回避的问题。SQL on Hadoop就成为了一个重要数据分析与挖掘工具。此时可能会有疑问,为什么非要把SQL放到Hadoop上? 因为SQL易于使用;那为什么非得基于Hadoop呢?因为Hadoop架构具备很强的鲁棒性和可扩展性。

梁堰波表示大数据时代,数据的价值是所有企业都能看见的宝贵财富,大数据的核心也是将有效数据从海量的数据中挖掘分析出来,从而利用有效数据创造价值。在互联网企业和有大数据处理需求的传统企业中,基于Hadoop构建的数据仓库的数据来源主要有通过Apache/Nginx的日志收集到的数据、一般存储在Oracle/MySQL中的用户和业务数据、通过ETL工具从其他外部DW数据源里导入的数据等。他讲到其实目前所有的SQL on Hadoop产品其实都是在某个或者某些特定领域内适合的,没有万能的产品。像当年Oracle/Teradata这样的满足几乎所有企业级应用的产品在大数据时代是不现实的。所以每一种SQL on Hadoop产品都在尽量满足某一类应用的特征。

以Hive和Impala为例来说,Hive是目前互联网企业中处理大数据、构建数据仓库最常用的解决方案,甚至在很多公司部署了Hadoop集群不是为了跑原生MapReduce程序,而全用来跑Hive SQL的查询任务。


对于有很多data scientist和analyst的公司,会有很多相同表的查询需求。那么显然每个人都从Hive中查数据速度既慢又浪费资源。如果能把经常访问的数据放到内存组成的集群中供用户查询那样效率就会高很多。Facebook针对这一需求开发了Presto,一个把热数据放到内存中供SQL查询的系统。这个设计思路跟Impala和Stinger非常类似了。使用Presto进行简单查询只需要几百毫秒,即使是非常复杂的查询,也只需数分钟即可完成,它在内存中运行,并且不会向磁盘写入。Facebook有超过850名工程师每天用它来扫描超过320TB的数据,满足了80%的ad-hoc查询需求。

Impala则可以看成是Google Dremel架构和MPP (Massively Parallel Processing)结构的混合体

目前主要是Cloudera在主导这个项目。以百度为例,百度尝试把MySQL接入Impala的后端作为存储引擎,同时实现相应操作对应的PlanFragment,那么用户来的query还是按照原来的解析方法解析成各种PlanFragment,然后直接调度到对应的节点(HDFS DataNode/HBaseRegionServer/MySQL)上执行。会把某些源数据或者中间数据放到MySQL中,用户的query涉及到使用这部分数据时直接去MySQL里面拿。

梁堰波从技术架构和最新进展两个角度分析一下各种SQL on Hadoop产品的优缺点和适用范围:Hive、Tez/Stinger、Impala、Shark/Spark、Phoenix、 Hdapt/HadoopDB、Hawq/Greenplum。梁堰波对此7种最新技术从产品的原理,使用场景,架构,优缺点,性能优化等方面做了深度阐述。文章详情点击:SQL on Hadoop的最新进展及7项相关技术分享 

此次CSDN在线培训:“用SQL-on-Hadoop构建互联网数据仓库与商务智能系统”中,梁堰波会介绍目前在互联网领域数据仓库和商务智能系统构建的业务需求和解决方案。SQL-on-Hadoop产品的原理,使用场景,架构,优缺点,性能优化等。最后会介绍几个实际案例帮助大家理解互联网数据仓库和SQL-on-Hadoop产品。本次培训将会讲到的技术点有:Hadoop、Hive、Impala、Shark、Flume、Oozie、Sqoop、Zookeeper、HBase、Tableau、MicroStrategy框架的对比介绍,以及优缺点比较、使用场景、目前在企业的应用案例,同时还将带来几种常用的解决方案与比较!

本次在线培训采用三分屏模式,在听课的同时可以和讲师进行互动,让你感受真实的课堂环境。还在为Hadoop“手艺”无处可学而烦恼?还在为Hadoop企业级应用而头疼?快来看看吧!

报名地址:http://huiyi.csdn.net/meeting/info/730/biz

讲师介绍:梁堰波何许人也,北航计算机硕士,曾工作于VMware、百度、法国电信研发中心等机构,现于美团网从事数据开发与挖掘工作。他本人具备丰富的大数据领域工作经验。在Hadoop/HBase/Impala和数据挖掘方面有丰富的实战经验,曾发表过多篇技术文章!

越狱与开源:2015移动安全峰会(MSS)纪实 开发者自白:我是如何不花一分钱收获230万应用下载量的! OpenCloud 2015报名超预期 近20位讲师会前采访提前看 硅谷公司人才招聘那些事儿——硅谷“超级面试官”董飞专访 一切为了用户体验:揭秘京东首页改版背后的故事 TIOBE 2015年4月编程语言排行榜:Java王者归来 三大主题技术峰会开幕在即 OpenCloud 2015参会者提醒 《近匠》快码,唯快不破的代码众包平台 打破边界 生态化反!乐视发布三款超级手机 苹果收购LinX:iPhone或将采用双摄像头技术 Google《Android性能优化》学习笔记 Amaze UI 2.3.0版本发布 整合多个第三方插件 专访Layabox创始人谢成鸿:Flash与HTML5结合的背后 高德推“LBS+”开放平台战略 整合位置大数据和云计算 CLion 1.0发布,C/C++跨平台集成开发环境 2015超实用的前端开发指南 期待吗?Linux 4.1将引入大量汇编代码变更! TSMC量产16FF+制程,Apple Watch或将采用Finfet技术 谷歌搜索引擎更新 移动端支持不好的网站排名将受影响 《近匠》格知GUECHI,设计师品牌让你离时尚更近 Apple Watch应用开发经验谈:我遇到的那些坑 约吗?UNITE 2015 BEIJING日程全揭晓! 谷歌扩擴增App搜索結果 已抓取300亿App页面 功耗、联网与交互:可穿戴设备操作系统问题解读 李大学离职京东后:转做投资人,助传统产业“互联网+”转型 Skype Translator实现中英实时语音对话 语音翻译领域又一新突破 如何判断自己是否适合自由职业? 创造·连接·成就:UNITE 2015 BEIJING圆满落幕 IT互联网人才招聘市场特点:人少钱多疯狂抢? React Native并非原生 Instagram Apple Watch应用设计师:对原有App全部重新思考 JTable怎样一行一行地显示? 我的程序 无边框窗口显示问题 求教各位大虾 VB数据库 如何知道某字段有这个姓名记录? 我想学一种C++的集成环境,是C++BUILDER还是VC 我完全没基础,请帮我走出第一步:汇编工具在哪下载?我想试试那个“两只老虎” 如何在还原Cookie中的中文字? 制做彩色立体阴影怎么做啊! 我的程序 请问有没有这样的公司? 2000 server 无法使用ADSL????? 我要和她分手。。。。。。。。 一个不错的网站,进来看一下吧! map 使用的几个小问题 請大家幫我做這個的標準譯文,謝謝!!! 就像做考題一樣,不要只說它在概意思! 新手上路第一问!Hello World都不能运行 这样的SQL语句怎样转化成能在mysql下运行的 学汇编,应用在什么地方?单从功能来说,汇编强大还是C++强大 replace语句的使用方法: 一个不错的网站,进来看一下吧! 关于软加密的问题???? 请高手,两个简单的问题?在线等待???急急!!! 关于ADOQuery1.refresh的问题 我的程序 一个不错的网站,进来看一下吧! 求DELPHI开发ACTIVEX用于WEB打印指定内容的实现说明。 dreamweaver中的一个小问题,,,急!急!急! 我的程序 100分求救啊!使用TEvent对象要包含什么头文件啊? 如何使SYNTAXFROMSQL不从RDBMS中的extended attribute system tables中获取数据 一个不错的网站,进来看一下吧! 几个菜鸟问题 求教:如何配准图形和图象 如果不会C语言,也不会汇编语言,那么学C++困难还是学汇编困难 请各位帮忙超简单,散分! 向往技术的高手请进!能否用DoEvents 实现多线程呢? 谁有DATALIST分页控件,说明如何使用! 怎样用VB读取98系统当前的硬件配置??求助!!!! 在线等呀 急急!!!!!!!!!!! 急,有关视频输出的问题~~ 我在WIN ME 上UPDATE,结果导致无法收看网络电影(用WMA格式的) cannot focus a disable or invisible window 有关session与servlet/JSP的问题: 高手帮一下,谢谢~~~ 我想把一个picturebox里的图片,复制到剪贴板,并且在文件夹中能够实现粘贴功能,怎么办 为什么我的计算字段在DBGrid中出不来。 关于在winform中DATAGRID的问题? Oracle8i出现Oracle Intelligent Agent Executable错误怎么办? 背景音乐怎么老是有问题啊! 分度头分78等分怎么分谢谢了 有没有关于敬廉崇洁的成语故事内?同题 胶体分散体系与大分子溶液的主要区别是什么 分度头 三等分一个圆用万能分度头 怎么来三等分一个圆 本人刚刚接触有点混 像亚细亚的意思.没啥问的了. 在这个正方形内剪去一个最大的圆.剩余的面积是多少?[正方形边长5米] 急, 33等份在分度头怎么分万能分度头上加工33等份如何分啊 敬廉崇洁的故事有什么? 液溶胶与溶液怎么判断一分散系是液溶胶还是溶液?如:下列分散系中属于胶体的是A.蛋白质溶于水B.白磷溶于CS2C.高锰酸钾溶于水为什么说蛋白质是胶体??它跟白磷和高锰酸钾一样都溶在水 分度头怎分61等份 CuO的四层含义如H2O的含义是:一个水分子是由两个氢分子和一个氧原子构成的。 显微镜的使用方法,还有有关显微镜有哪些题 桂园小学同学在“迎奥运”活动中共放飞了2008只鸽子,其中低年级同学放飞的有508只,中年级同学与高年级同学放飞只数的比是9∶16.高年级同学比中年级同学多放飞多少只? cuo什么意思 归纳一下生物显微镜的用法,鞠躬由于我初中基本没听课,所以现在对显微镜的用法完全搞不清楚请帮我解答下面的问题1,大小光圈和反光镜的用法,意思就是该什么时候用2,目镜物镜高低倍的视 桂园小学同学在2008年“庆奥运”活动中放飞620只鸽子,其中低年级同学与高年级同学放飞只数的比是3:8中年级同学与高年级同学放飞只数的比是9:16,中年级同学比低年级同学多放飞多少只? 把一块铁块压成铁片,它的密度怎么变化,体积怎么变化?可是压力不是会改变物质的密度吗? 初中生物显微镜使用方法(求视频)我在百度搜索了,都是那种通电了的光照的,可我们实验考试是那种用好像是一个反光镜来反射光线的,文字说明看得有些头晕,求视频! 同学们在迎世博活动中共放飞了2010只鸽子,低年级同学放飞了510只鸽子,中年级比高年级同学放飞只数比是9比16,高年级同学比中年级同学多放飞了多少只 一种镀锌铁片 其中含锌质量分数为百分之10 取15g 这种铁片放入稀硫酸 充分反应生成多少升氢气 H密度0.09g/ 下列物质中,①CO2②KCl③CaBr2;④O2;⑤NH4Cl;⑥Ca( OH)2;⑦N2;⑧HBr;⑨NH3:⑩Na2O2,试用以上编 号填空:⑴只有非极性键的是______;⑵只有极性键 的是______;⑶只有离子键的是______;⑷有离子键,也有非极性 用4个1平方分米的的正方形分别拼成一个正方形和长方形,长方形面积是多少? 请问:把一块铁块压成铁片,它的密度怎么变化,体积怎么变化?压力不是会改变物质的密度吗?所以体积是不是改变小,密度变大?如果是:将蓬松的1kg棉花压紧,它的体积和密度怎么变化?两者 在《中国古代史》一书中有这么一句“操十二石的强弩”,写的是吴起在魏的军事改革中的一项士兵要求这其中的十二石是多少斤或者说是几牛(如果是力量的话)?有人说一石好几十斤甚至 把4个棱长2分米的正方形,拼成一个长方形,拼成的长方形面积可能是多少平方分米? 将6.5克的锌放入足量的稀硫酸中充分反应,的到80mL密度为1.25克每毫升的溶液,计将6.5克的锌放入足量的稀硫酸中充分反应,的到80mL密度为1.25克每毫升的溶液,计算所得溶液中硫酸锌的物质的 弩比弓更准射程更远,为何古代军事史上只有骑射兵没有骑驽兵? 把一个长方形的长增加5分米,宽增加8分米后,得到一个面积比原长方形多181平方分米的正方形,这个正方形的 请帮我翻译:君子喻于义,小人喻于利 为了使电解池电流恒定,要用石墨做阳极呢,还是用铁棒做阳极? 碳氢油是个什么东西?我要它的分子结构,不是要他的用途,石油天然气也是碳氢化合物,这个碳氢油到底是什么》、?我要分子结构...碳氢油这个好像是一种新能源,就是看它是真还是假,网上 “君子喻于义,小人喻于利.”的译文是什么?加急, “你这个人真CUO”中的CUO是那个地方的方言?有没有对应的汉字?可以拓展一下. 我有2个圆加工件要用万能分度头等分,一个是Φ25.5mm 需要27等分 还一个是Φ21mm 需要16等分,我应该操作或者说我在万能分度头上应该怎么操作,最好是用通俗点的解释下,我是小白,请达人解析, 初中军训日记最后一天的 男生的 实际一点 1 圆的半径是3厘米,计算正方形的面积. CUO是什么意思 气蒜(只长蒜皮不长蒜瓣,蒜瓣也是蒜皮)怎么解决?我住山东昌邑大姜之乡,在姜地也学种蒜.肥水也充足,蒜薹1000斤/亩,蒜秸很粗,蒜头也大,但是蒜头形状象水仙,蒜皮红色,手感很软,剥开见很多蒜 圆的半径是三厘米,求正方形面积 cuo四层含义 汽油瓶上的汽油味有多少时间才能完全挥发?汽油瓶身上的汽油味需要多少时间才能完全挥发?就是说要闻不到汽油味, 单点触屏和多点触屏有什么区别 柳州话里的“撮(cuo)”是代表什么意思啦? 孔子对教育有哪些重要贡献?八上历史与社会 多点触屏与单点触屏有何区别?各自都有什么优点? 毒鱼 阿拉伯和拜占庭教育在历史上有那些贡献?还有他们成功的原因?和产生的影响? 多点触屏与单点触屏有何区别?如题 各自都有什么优点? 初三化学酸碱盐,求详解!我有标答,要的是思路或过程,谢谢! c怎么鉴别初三化学酸碱盐,求详解!我有标答,要的是思路或过程,谢谢! c怎么鉴别 《春江晚景》是谁的画作,一种肝脏内有剧毒的鱼是哪种那种鱼是日本人爱吃的 如何提高阅读概括能力 碳氢油怎么样?有谁了解这一块的?能不能做啊? 什么是绝缘体,请从电子转移方面解释其原理 怎样提高概括能力! 甲醇和碳氢油哪个作为汽车动力油更好?_什么油料更有发展前途 “敬廉崇洁”的小故事 急为什么要先接通电源,再释放小车使其运动在试验中为什么要先接通电源,再释放小车使其运动 什么是碳氢油 敬廉崇洁的人物故事(故事比赛用的,3分钟左右,名人的故事,3分钟左右,别太长也别太短 ,比较好理解的,有些语言描写的更好, 溶胶与大分子溶液是否为动力学稳定体系 苏格兰女法医揭秘连环凶杀案 数十桩悬16岁少年蜗居桥下一个月 以废弃席梦福建商人遭老乡绑架 交付185公斤黄河北超生女婴被抱走追踪:家属称有人欲成都10岁小学生跳楼自杀 班主任殡仪下周起北京供暖热线“12319”全天中国珠算韩国泡菜等备选人类非物质文化富二代驾玛莎拉蒂对飙法拉利 追尾面包成都调整市政府领导分工 市长葛红林不土耳其4名女议员戴头巾出席会议 打破盘点:医生绝对不会告诉你的那些事儿外媒:中国人为何与读书渐行渐远?锦江区回应男孩坠楼事件 要求各学校加外媒:美国使馆搞监听激怒亚洲多国英报:高尔夫球场或成中共反腐“新阵地德内政部长称接受斯诺登帮助 但拒绝为美国国土安全部爆工资丑闻 1年多发8克里称NSA监控为“自动导航” 指责巴基斯坦塔利班首领被美击毙 巴和平进美83岁珠宝大盗涉嫌“重操旧业”被捕NSA被曝窃听国际货币基金组织和世界世乒赛发布厅挡板突然倒塌 国际乒联主“飞云丹”让肌肤白如雪, 日久却会汞最新太空发射计划:两年四射早樱“消息树”被包围成明星 二月兰结苏宁无缘“最豪华”超级杯 恒大赢的不高邮化工厂超排废水仅罚603元?江苏4人获全国“最美志愿者”称号尤文力争撂倒国米捍卫榜首平泉中医院开展先天性心脏病患儿免费筛原油全周上涨逾3%,下周必持续上涨趋这个技术能帮助你省下1/3甚至一半的平泉中医院提高医院管理水平 创建人民你的收入就是我实力的证明 你还在犹豫在太空待了一年的暖男:拍照控 每天都有车的人都会考虑的问题 油灯亮了还能平泉县交通运输局切实把“八项规定”落10多万要好看又好开?怎么能少了它们平泉县加强美丽乡村建设提高农民幸福指感受DIY乐趣,金河田超越2机箱装机中国大米产量第一,却血本无归平泉县多点发力重点实施精准扶贫
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘