说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Spark独门秘籍:打造结构一体化、功能多元化的高效数据流水线

HTML文档下载 WORD文档下载 PDF文档下载
连城讲到,Spark作为一套用Scala写成的分布式内存计算系统,很好地结合了分布式系统和函数式语言,目前Spark的覆盖面已然相当广泛。他称Spark的独门秘籍便是“打造结构上一体化、功能上多元化的高效数据流水线。”

2014年4月19日“中国Spark技术峰会”(Spark Summit China 2014)将在北京召开,国内外Apache Spark社区成员和企业用户将首次齐聚北京。AMPLab、Databricks、Intel、淘宝、网易等公司的Spark贡献者及一线开发者将分享他们在生产环境中的Spark项目经验和最佳实践方案。

在Spark技术峰会召开前夕,记者和本次Spark峰会的演讲嘉宾连城做了一次简单的沟通,他就Spark技术优势、Spark技术发展、企业应用Spark遇到的困境等话题分享了自己的看法。

连城

Intel物联技术研究院研究员,Spark contributor
目前专注于以Apache Spark为主的大数据处理平台,即将加入Databricks。


以下是记者采访原文:

- 什么原因吸引你钻研Spark技术?

最初接触Spark纯粹是出于个人兴趣。我感兴趣的技术方向主要有二,即分布式系统和函数式语言。Spark作为一套用Scala写成的分布式内存计算系统,很好地结合了这两个领域。Spark提供的Scala API本身也很类似于一套分布式、惰性求值的纯函数式语言。然而后来,越是深入探寻,便越是被Spark所吸引。Spark背后的不少想法在先前的系统中或多或少都有所体现,但Matei Zaharia博士众人非常巧妙地集众家之所长,融会贯通,克服了众多旧有特化系统中的各种缺陷,浓缩提炼出了RDD(Resilient Distributed Dataset,弹性分布式数据集)这一高度通用的抽象结构。围绕RDD这一核心,AMPLab团队以扎实的工程功底和开放的心态,打造了全新的Spark生态圈,又以Spark为核心提出了极富创意的BDAS(Berkeley Data Analytics Stack,伯克利数据分析栈)。在研究成果的工业转化方面,AMPLab团队可谓典范:他们不仅是富有远见的科学家,也是功力深厚的工程师,同时还扮演着开源社区中循循善诱的良师益友角色。正是基于以上这些原因,去年得知Spark核心团队创办Databricks后我便力求加盟,并最终幸运地得偿所愿。能与这样一群杰出的同事工作,本身就是一件令人非常兴奋的事。

 - 对于解决哪些问题Spark独具优势?

随着大数据相关技术和产业的逐渐成熟,单个组织内往往需要同时进行多种类型的大数据分析作业。如:传统Hadoop MapReduce最为擅长的批量计算、各种机器学习算法为代表的迭代型计算、流式计算、社交网络中常用的图计算、SQL关系查询、交互式即席查询等等。在Spark出现之前,要在一个组织内同时完成数种大数据分析任务,就不得不与多套特化系统打交道,一方面引入了不容小觑的运维复杂性,另一方面还免不了要在多个系统间频繁进行代价高昂的数据转储(ETL)。AMPLab在介绍以Spark为核心的BDAS时常说的一句话是:one stack to rule them all,也就是说可以在一套软件栈内完成前述各种大数据分析任务。相对于MapReduce上的批量计算、迭代型计算以及基于Hive的SQL查询,Spark更是可以带来一到两个数量级的效率提升,在传统MapReduce近乎不可能的交互式即席查询也因而得以实现。这种“全能”特质,很大程度上源自RDD这一合理抽象和AMPLab/Databricks团队扎实的工程功底。当然,Spark并不真的是全能的。RDD模型适合的是粗粒度的数据并行计算,而不适合细粒度的、需要异步更新的计算;对于这些计算需求,如果要追求极致的性能,还是需要求助于特化系统(如图计算领域的GraphLab等)。但就现有成果来看,Spark的覆盖面已然相当广泛。简而言之,Spark的独门秘籍便是打造结构上一体化、功能上多元化的高效数据流水线。

- 目前企业应用Spark最大的困难是什么?

据我有限的了解,最大的困难还是人才方面的短缺。无论Spark还是Spark所使用的Scala,都还是相当年轻的事物。虽然它们各自都已经吸引了大批富有远见和才华的开发者,但不得不说距离大规模普及还有相当长的一段路要走。另一个相关问题是Spark方面的参考材料还不多。目前社区内开发者们主要的学习方式还限于阅读有限的官方文档、源码、AMPLab发表的论文,以及社区讨论。所幸Fast Data Processing with Spark一书的中文版已经在翻译中;由O'Reilly出品,来自Spark核心团队的Learning Spark今年也有望面世。

- 根据您的了解,目前Spark发展的情况如何?

评价一个开源项目发展情况的重要指标之一就是该项目的贡献者人数。对于这一点,在去年12月份的Spark Summit上,Spark的创始人Matei Zaharia博士十分自豪:“过去六个月内,Spark的活跃开发者人数超过了Hadoop MapReduce!”那时Spark贡献者总人数是103人;而今四个月过去了,根据GitHub最新的统计,这一数字已然增长到了153人。特别值得一提的是,在最近发布的几个版本中,华人开发者的人数飞速上升。Spark项目主站中Powered by Spark页面中不断增长的公司列表也是Spark在工业界稳步推进的有力证明。这份列表中不乏阿里巴巴、百度、点评、搜狐等中国企业的身影。如前所述,Spark的推广还任重道远,但其良好的向下兼容性、相对传统方法的显著优势,以及来自社区的巨大热情令我非常看好Spark的发展前景。

- 请谈谈你在这次大会上即将分享的话题。

 本次大会上,我将为大家介绍新近加入Spark主线版本的alpha组件Catalyst/Spark SQL。在去年的Spark Summit上,Catalyst的主要设计者Michael Armbrust曾将Catalyst描绘为一套简洁强大的SQL查询计划优化框架。随着时间的推移,Catalyst已经逐渐进化为一整套完整的SQL on Spark解决方案并更名为Spark SQL。后续Catalyst/Spark SQL有望成为Shark的新引擎。Catalyst/Spark SQL的特点主要包括: 向下兼容HiveQL,可以操纵现存的各种Hive数据格式。 支持针对原生RDD对象的关系查询;用户既可以选择HiveQL,也可以选择Catalyst提供的精简SQL子集或Scala DSL,从而完全摆脱对Hive的依赖。 在执行效率方面,Catalyst内建的查询优化引擎可以对用户编写的HQL/SQL查询进行有效优化,从而有效减轻用户在Spark应用性能调优方面的负担。 借力于Scala 2.10新近的反射能力,Catalyst实现了一套可扩展的代码生成框架,可以针对特定逻辑直接生成字节码,进一步提升性能。

 - 哪些听众最应该了解这些话题,这个话题可以帮助听众解决哪些问题?

所有正在应用Hive、Shark等SQL data warehouse的听众都应该会对这个话题感兴趣。相对于Hive,和Shark一样,Catalyst可以提供一到两个数量级的性能提升,实现真正的交互式大数据即席查询。相对于Shark,Catalyst提供了针对原生RDD对象的关系查询支持,并且在保留Hive兼容性的前提下进一步解耦了对Hive的依赖,精简了代码库;全新的执行计划优化和代码生成框架简洁清爽,为更进一步的性能提升打开了更大的想像空间。


更多精彩尽在2014年4月19日中国Spark技术峰会,3月31日前购票订票可享受最低票价优惠。


以“ 云计算大数据 推动智慧中国 ”为主题的 第六届中国云计算大会 将于5月20-23日在北京国家会议中心隆重举办。产业观察、技术培训、主题论坛、行业研讨,内容丰富,干货十足。票价优惠,马上 报名 ! 
APP运营人的一天:宫爆老奶奶产品运营 新传感器:三星Galaxy S4或将支持眼球追踪 IBM发布基于OpenStack的服务 从Windows Server 2012云创益大赛看国内行业私有云发展 张小龙谈微信:你可能不知道的9件事 源代码管理十诫 游戏手柄也能编程 极客打造不用键盘输入的IDE 开源不只是程序员的专利 政府也可以 开源搜索Elasticsearch:PB级数据的快速搜索 月下载量已达20万次 乐视网联手富士康推超级电视 欲颠覆传统盈利/营销模式 IBM 2012IT实践达人赛圆满落幕 宣布成立新兴技术大学 对比MapReduce 流处理框架没有所谓的查询层 美国政府:修复漏洞仍有风险 应禁用Java插件 AppGlu应用辅助工具:帮助开发者处理善后工作 iOS!你这几个方面该向Android好好学习 小于1%,中国有真正自主的移动操作系统吗? 张小龙专访系列(下):不一样的产品思维 Gartner:截止到2016年公有云市场复合增长为17.7% Appcore:在企业内部部署IaaS平台 B轮融资600万美元 超现实主义!用脑电波控制你的计算机设备 搜狐否认“情理之中”的退市 上市仍是最优选择 六大BaaS产品推荐:移动开发必备的后端云服务 未遵守承诺 微软遭遇欧盟7.31亿美元巨额罚单 PaaS正能量:6人团队,仅1人全职后端 支撑6000万用户 三星:我不抽成,收益100%让开发者拿去! 腾讯开放平台推“送红利计划” 承诺半年内不参与分成 JavaEE快速开发框架Wabacus 4.0发布,开发效率提高五倍以上 市盈率创新高 谷歌为什么会在苹果博弈中暂时胜出 从Rovio遇到危机,看现在应用市场的演变 Windows Azure支持Android应用 面向东亚推广云服务 抛弃DRAM、拥抱闪存,Facebook重做Memcached 请问有没有简单的图形计数器代码? 帮我看这段代码有什么用?? 这个系统怎么不能安装新字体? sos,求救svg! 谁能解决我的问题啊 在线等待!! Dreamweaver有中文版本吗?Dreamweaver有中文版本吗? 如何打印查询出的数据记录? 在线电影播放问题 分发SyBase ASA客户端程序 比比谁的马甲多,本人马甲一览表 :) 这么会这样??是服务器的问题吗?请高手解决 关于编程思路的问题 请教高手,delphi能否实现调用其他可执行程序!!!!!!!!! 如何调用API生成透明窗体? 那里有有关Oracle Designer 实际应用的文档和书籍。快!!!! 用什么函数能返回数组中的元素个数 怎么在fastreport中打印固定行数?不是通过调节band高度来实现... 求救SQL2000电子教程或精品图书(要入门级的) 请问哪里有citizen的GSX-540S的驱动???急急 再帮我 请问哪里能找到php_pear.dll? 哪儿可以找到《think in java》的习题答案? 请问以下查询中,为何没有查到记录,query1记录数显示为1? 哪里可以下载vc5.0 用新版sun虚拟机,为什么找不到类了? 回车的问题 100在线等待………… 网页上的一些图片看不到 关于sql的问题? 我哪里错了呢? CITIZEN 的打印机 GSX-540S的驱动哪里有??急啊!! 我该如何处理这感情 #图书醒目#《vc++和uml》#图书醒目# 斑竹:请给matlab一个专区! 如何调用API使得子窗体全屏显示,且要屏蔽掉所有菜单及工具条? 每次用.net帮助的索引就会出错退出 奇怪的linux安装问题 用PB6.5开发单机版程序用什么数据库比较合适? 为什么我每次用UpdateUI刷新JTree时都有错? 本菜鸟想问一个怎么定义公用函数的问题!请各位大虾不吝赐教!不胜感激。 我这个人啊!!大家可能还不了解!! 网友六一见面,找个网友男朋友看海,找个网友男朋友看星星! 请教!! 求教SQL语句 神洲数码怎样? 请大家帮帮忙:如何将一个字符转换为unicode码形式(得到的是数字,而不是字符串)! msn怎么通不过http代理 求助:J2EE Container中deployed的servlet是否可以调用EJB local home? 有关时间限制 ie问题有没有碰到过 TADOTable+TDBGridEH+TDataSource中编辑一有关键字的表时,怎样做到避免在输入相同的关键字时的出错? 矩形ABCD中,AD//BC,角ABC=60度,BC=2*根号3,AE是梯形的高线,且BE=1,则AD=_____.希望能有过程.谢谢是梯形ABCD ,能有详细的过程么? 已知菱形ABCD,BF交AD延长线于F,BE=DF,求证DE=EH 已知菱形ABCD,BF交AD延长线于F,BE=DF,求证DE=EH 春天里什么花开? 一潜水艇所在的高度是-50米,一条鲨鱼在潜水艇上方10米,鲨鱼的高度是多少? 火车的速度大约是客机速度的10分之1,火车的速度与客机速度的比是____.__÷4=6÷8=24分之()=____:16=()分之24=48÷_____ 春天里都有什么花开呢? 一艘潜水艇在海中的高度为-80米,一条鲨鱼在潜水艇上方30米,那么鲨鱼所在的高度为( )米;一只海鸥飞在海平面上10米;海鸥距离潜水艇( )米. 一列火车每小时行驶78千米,相当于一架飞机速度的10分之一,这架飞机每小时飞机多少千米 Flow到底是什么意思? 举下列?我觉得ap亚力维新的歌挺不错的`在rap吧里面讨论了一下听别人说他们flow的辣``而且看很多贴子里面都提有flow这个词 不理解是什么意思我只知道beat是什么意思`` 声音传的远的原因是什么? 资本主义萌芽和资本主义的产生有什么区别吗?如果有,请说明,资本主义产生是什么时候,资本主义萌芽又是什么时候. 春天里有哪些花开,和动物? 一艘潜水艇所处的高度是海拔一100米,一条鲨鱼在潜水艇上方40米,鲨鱼所处的位置是海拔()米? 商品经济发展和资本主义萌芽的产生 二者区别是什么 flow是什么意思中文是什么意思阿 宇宙中势能计算宇宙中的势能计算是不是要取无穷远处作为参考系 如果是,那为什么要这么取 如果不是为什么我可以算出离地表越高势能越小 珍贵的近义词干燥、痛快的反义词 说唱术语中 flow 一艘潜艇在海平面一下300米处,一条鲨鱼在潜艇上方100米处.鲨鱼的高度是多少?(用在海平面下多少米描述作答即可) 干燥的反义词和光滑的反义词和惊奇的近义词? 庄重的反义词是什么?宽厚的反义词是什么? 懂得如何夸奖女人 近义词 肆虐——( )威胁——( )反义词 阻挡——( )干燥——( )松散——( ) flow 用在机械上是什么意思?以下这句想了半天也没翻译出来,哪位高人能帮帮忙?谢谢!two-way valves in the fully open position have the index marking on the top of the valve stem ,parallel with the direction of flow.two-way 知道如何称赞女人的美丽吗? 数学建模,我想知道我的描述适合哪种数学模型.论文需要.追加100分,希望能多多交流.小弟论文要做一个专家系统,关于健身处方推送的,需要建一个健身减肥效益模型,具体如下: 已知一个 Where I can purchase the air mass flow sensor? 动能+重力势能+压力势能=常数压力势能是什么 需要知道更多赞美人的话和语句!主要针对成年男人! 什么感应开关能感应玻璃?什么感应开关能感应玻璃啊!我们是做有机玻璃制品的,我想装自动热弯的,但不知什么感应开关能感应到玻璃, 水压力的势能怎么计算如果假设水体不可压缩,是不是就没有水压力的势能? 牛人们,什么是“势能密度”,如何计算?自己知道的东西太少了. 拿一个长约1.5m的玻璃筒,里面放入质量和形状都不相同的金属片和小羽毛;玻璃筒一端封闭,另一端有开关,通过开关可以把玻璃筒抽成真空.把玻璃筒倒立过来,观察物体下落情况.观察玻璃筒内 压力是什么能(动能 势能 还是?) 一潜水艇所在高度为-50米,一鲨鱼在其上方10米,请问鲨鱼所在高度为多少米? 少壮不努力,老大徒伤悲的意思. 已知梯形ABCD中,AD//BC,∠ABC=60°,BD=2根号3.AE是梯形的高,且BE=1.则AD=多少? 一搜潜水艇所在的高度为负五十米,一条鲨鱼在艇上方10米,鲨鱼所在的高度为多少? 求一篇简单的数学建模论文,选修课的作业,平时的练习就行.急用, 在一次军事训练中,一架直升机停在离海面80M的低空,一艘潜水艇在水下50M处,一只鲨鱼在潜水艇下30M处,用正在一次军事训练中,一架直升机“停”在离海面80M的低空,一艘潜水艇在水下50M处,一只 一潜水艇所在的高度是-50米,一条鲨鱼在潜水艇上方10米,鲨鱼所在高度是多少?一只小鸟在30米得空中,小鸟高度怎么表示?你能把潜水艇,鲨鱼,小鸟的高度表示在数轴上吗?(能不能请大家用画图 如图,已知点C和点D是线段上的两点,且AB=a厘米,CD=b厘米,点M是线段上的中点,点N是线段BD的中点.求线如图,已知点C和点D是线段上的两点,且AB=a厘米,CD=b厘米,点M是线段上的中点,点N是线段BD的中点. 如图,梯形ABCD中,AD平行CD,∠ABC=60度,BD=根号39,AE垂直于BC于E,BE=1,则AD=?应该是AD平行BC 为什么有水的手碰到冰会粘住问题同题目. 高分悬赏数模论文一篇(选修课作业)要求:1格式正确2内容简单易懂3主题贴近生活实际4最好是哪位童鞋自己的菜鸟作品 哈哈 卫生与健康作文有多少 用CLINIQUE倩碧过敏了用了护肤三步骤系列- 温和型洗面胶之后,脸上开始过敏了,那么还可以继续使用吗? 失望的反义词是什么 是关于卫生健康的作文 把舌头放在冰冻的金属上为什么会粘住 暴露的反义词是什么 中国目前要采取什么样的周边战略,才能有利于中国安全?当前世界范围的安全问题呈现多样性、传染性、联动性、突发性特点,一国与他国、国内与国际、传统与非传统等各种安全因素相互交 商鞅变法推行“重农抑商”政策造成的后果和影响主要有()A巩固了封建小农经济B增强了统一的物质力量偶认为A 要理由 塔河塔丰有旅店吗 现在自动检测技术有很多,为什么人工检测还经常用到 中国分件社会末期,“重农抑商”严重阻碍了资本主义萌芽的发展.其造成的后果有哪些?. 我国最大的内陆河是不是塔里木河 在梯形ABCD中,AD//BC,∠ABC=60°,BD=2根号3,AE是梯形的高,且BE=1,则AD=? 什么材料的瓶子最结实?我要设计一个酱油瓶,什么材料最结实?摔不破,敲不烂,也不会瘪的,如果能透明最好,不透明也可以的.至少,一只狗狗无论如何都拿这个瓶子没办法.认真问的,狗讨厌什么 塔里木河为什么最终不能注入海洋?不要在百度上复制的. 外交部:美方已向中方澄清 无“夺回”美国总统与伊拉克总理谈安全问题土耳其总统警告说大规模杀伤性武器扩散俄总理:美国窃听外国领导人的行为“无桐庐环保局局长办乔迁宴被免职杭州秋石高架半山匝道11月初启用孕妇被车撞伤无人施救 2名村官停车救3名中国专家受邀参与叙利亚化学武器核联大主席称新兴经济体成为促进发展中国运营商公布垃圾短信举报方式 违规号码河南大货车路过徐州遭胡乱罚款 涉事警中储粮掺转基因油续:千吨进口菜子油获印度开建182米高世界最高雕塑 呼吁加沙唯一发电站停运使供电形势严峻美国洛杉矶国际机场发生枪击事件中储粮就掺转基因油事件处分6人 一公联合国秘书长与世行行长将再次联合访问希腊首都发生枪击事件两死一伤北京黑停车场当城管面收费 称公司领导希腊首都雅典发生枪击事件 致两人死亡男孩疑因被逼检讨跳楼身亡 老师至殡仪浙江高院再审陈满故意杀人、放火案 宣中国人越洋到加拿大买房,你想了解的都新研究表明虫牙治疗无需再削牙了!海外再升级!红米Note 3即将打入天际通畅游30国套餐开领 荣耀给你特捞过界呀!老外手制猴年点心,居然比咱市委副书记涂刚、副市长刘仁祥等领导一雷山陡寨:50盏太阳能路灯让800多7美元?OPEC减产无望,油价掉头向就读新闻学在职研究生可以转户口吗?鲁尼:望本赛季打破曼联进球纪录曼富图 055CXPRO4 四节碳纤吴奇隆刘诗诗婚纱路透照曝光啦,男帅女18禁《睡兄弟》里比陈晓都帅的李现,【分享】提高在职研究生通过率两大法则首单开晒!入手 BANDAI 万代 江苏外教:末节更需要马尚得分使命召唤--当前最佳高送转龙头品种选上市公司发力无人驾驶 2016年或是三亚自由行 南迹公路旅行带你开启全新“野”出一片天地 云狐Anote手机
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘