说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

皮皮网陈超:易用与性能兼备,Spark蓬勃发展!

HTML文档下载 WORD文档下载 PDF文档下载
Spark是下一代In Memory MR计算框架,性能上有数量级提升,同时支持Interactive Query、流计算、图计算等。本次Spark峰会的演讲嘉宾陈超将在会上分享Spark的核心原理,并在此基础上探讨几个Spark性能的优化点!

2014年4月19日“中国Spark技术峰会”(Spark Summit China 2014)将在北京召开,国内外Apache Spark社区成员和企业用户将首次齐聚北京。AMPLab、Databricks、Intel、淘宝、网易等公司的Spark贡献者及一线开发者将分享他们在生产环境中的Spark项目经验和最佳实践方案。

Spark是下一代In Memory MR计算框架,性能上有数量级提升,同时支持Interactive Query、流计算、图计算等。在Spark技术峰会召开前夕,记者和本次Spark峰会的演讲嘉宾陈超做了一次简单的沟通,他表示将会在4月19日“中国Spark技术峰会”和大家分享Spark的核心原理,并在此基础上探讨几个Spark性能的优化点!点击报名

陈超   @CrazyJVM

就职于皮皮网,担任数据平台负责人,负责公司所有数据分析与数据挖掘相关的项目。近年来一直专注于分布式计算与机器学习相关领域。国内较早的Spark研究与使用者,Spark Contributor。目前专注于基于Spark平台的大数据处理。

以下是记者采访原文:

什么原因吸引你钻研Spark技术?

在使用Spark之前一直是使用Hadoop(MapReduce)来做一些机器学习方面的工作,但是深感运行效率低下,并且代码写起来也比较冗长。所以当时就想试试看能不能换个方式来做,当我调研到Spark时,我觉得Spark非常适合我的需求,极好的易用性的同时也有着极高的性能。其实还有一点,我本身算是一个Scala爱好者,而Spark是使用Scala写的,这也算是一个促使我研究与使用Spark的因素吧。

对于解决哪些问题Spark独具优势?

就目前来说,Spark在机器学习方面有着无与伦比的优势,特别适合需要多次迭代计算的算法。当然Spark的容错和调度也自有其特点和优势。最后Spark能把批处理和流处理做到一个很好的平衡。

目前企业应用Spark最大的困难是什么?

对于一般规模的企业来讲,只要有相应的Spark工程师,部署Spark我想都没什么大问题。但是对于BAT规模的企业来讲,需要考虑的问题就比较多了。

根据您的了解,目前Spark发展的情况如何?

目前Spark社区极其活跃。众所周知,Spark现在已经成为了Apache的顶级项目,到目前为止已经有159位来自世界各地的Contributor,并且这个数字还在继续增加中。Spark生态系统正在朝着一个健康的方向发展!

请谈谈你在这次大会上即将分享的话题。

我这次主要想讲一下Spark性能相关的话题,其中也会涉及到Spark的一些原理。讲这个话题初衷是我收到好多邮件,描述他们在工作中遇到一些Spark带来的性能问题。其中一些问题可能解决方法很简单,但是如果不解决的话却会对性能造成极大的影响。

哪些听众最应该了解这些话题,这个话题可以帮助听众解决哪些问题?

想要学习Spark,特别是想在公司部署Spark的朋友们一定会有所收获。这些话题一来可以帮助他们了解Spark的应用场景,二来可以提醒大家在使用Spark过程中应该注意的一些问题。

更多精彩尽在2014年4月19日中国Spark技术峰会,3月31日前购票订票可享受最低票价优惠。马上报名

往期采访内容:

淘宝明风:基于Graphx的图计算实践分享

Spark独门秘籍:打造结构一体化、功能多元化的高效数据流水线

网易王健宗:革命Hadoop,Spark带来百亿市场价值!

尹绪森:打开圈子拥抱变化,谈Spark玩家的自我修养


以“ 云计算大数据 推动智慧中国 ”为主题的 第六届中国云计算大会 将于5月20-23日在北京国家会议中心隆重举办。产业观察、技术培训、主题论坛、行业研讨,内容丰富,干货十足。票价优惠,马上 报名 ! 

传谷歌正开发触屏Chrome OS笔记本 今年或上市 估值25亿 视觉社交网站Pinterest融资2亿美元 跨平台开发框架Xamarin 2.0发布 移动新趋势:扁平化设计 vs. 拟物化设计(上篇) 杂谈 App Store 之 HIG 与 Objective-C 为什么苹果三星将主宰智能电视未来? 罗永浩可爱多:Smartisan OS即将发布 春晚 VS. 移动应用:用户注意力统计报告 Twitter发布BootStrap 2.3版本! 面向对象编程从骨子里就有问题——看看名人大家是如何诋毁面向对象的 开发者及团队能从LibreOffice那里学到什么? 8000美元存储135TB数据:打造开源的存储硬件 Bing,每月27亿的有效搜索不及僵尸网络的一半 为什么说Amazon的James Hamilton是“可遇不可求”的? Facebook背后的数据团队 红帽将产品转移到Apache社区 Impala是如何提升3~90倍查询效率的? 云中保障数据安全及完整性必须防范的遗留问题 VMware推出移动性平台:VMware Horizon Suite 移动周报:全球最大校园Hackathon的参赛宝典 Unity3D首届游戏创意设计大赛开始报名 中国日报:向移动新媒体蜕变 C#五子棋程序设计 Mozilla宣布推出Firefox OS 面临四大问题 Ruby 2系列首个稳定版 Ruby 2.0.0-P0发布 微软改进Windows Blue搜索 系统或今夏推出 移动新趋势:扁平化设计 vs. 拟物化设计(下篇) 传奇程序员:Minecraft开发者Notch大神 让沟通更便捷 ConnectYard宣布推出全新的Web API 在Hadoop上运行SQL:程序员需知晓的13种数据工具 怎样用好Eucalyptus? 请问怎么用MAPI控件发送HTML格式的邮件啊 小问题,好郁闷!! 父窗口弹出一个子窗口,如果在子窗口点击鼠标,消息是怎么在父子窗口之间折腾的呢? 如何在接受到两个消息后才执行一段代码呢? 怎么定义一个三维数组 那位大哥能告诉我75,000日圆值多少人民币啊???? 安装了DirectX 9b之后Media Player 9.0总是出问题。 局域网怎么装打印机? 为什么控制面板中的“添加删除程序”不能用了?在线等待,请各位帮忙。 请问高手如何设置绘图背景为黑色,并且哪种绘制模式不影响画图的画笔颜色 《程序员》的文章错字太多!!!!!!!!!!!! 关于指纹采集识别 高分求《j2EE服务器端高级编程》这本书的源码 MAKEWORD宏从哪里找到中文解释。 为何在重载CreateParams后指定Form的Height值小于某个值后就不会再小? 开发一个基于WEB的ASP仓库管理,用什么技术比较好。 怎样让弹出对话框居中显示 我用Server.Transfer来做两个页面之间传值,我怎么让页面成为新窗口打开呀,100分 高分请教XML高手 在InterDev中,我什么说我不能连接web server 请问 怎么响应一个按钮打开一个新页面,同时关闭旧页面 各位PM进来谈谈自己的经历和经验教训。 picturebox控件问题 jdbc的奇怪限制,不能reread row data UNIX支持中文否,请推荐UNIX好书 高分求助:怎样发布sapi.dll 我发现我变笨了!!或许我本来就很笨。但是问句实在的:IT会使人变笨吗? hal.dll文件丢失!winxp修复的问题!急! pb如何连接execl 用Windows2000Internet连接共享出现的问题,请各位大侠解决一下! 关于数据库字段大小问题 ★★如何给一个Dialog加背景图片?★★ MSDN Library 2003中文版3CD下载 我用access+adoquery+DBgrid,我在拖动改变dbgrid的列宽时,为何会报错? 关于软件汉化的问题。 请教:可以从硬盘上直接安装linux吗? C语言二级考什么题型 MYSQL是不是不能建视图啊?新手清多多指教 还是ASP与SQL联不上的问题,在线等待 请问:C:\Documents and Settings\user\Local Settings\Temporary Internet Files里的内容怎么删除 紧急求助!sqlserver服务启动不了 怎么知道当前这台UNIX的IP地址 getWidth怎么用呀??????????????? 我的是win2000 server ,怎么会老出现什么explorer.exe错误???? 申请免费空间 请大家谈makefile的写法 请大家帮忙 求助,Windows2003启动时提示 \windows\system32\config\system文件丢失或已损坏, 无法启动。 怎么样使程序调试结果在屏幕上停留时间长点 初学,请问Edit如何添加到Memo中? 如何制作安装程序? 被酒莫惊春睡重,“被”字读什么?bei?pi?出自纳兰性德的《浣溪沙》.如果知道读什么请告诉我,请附加原因,比如通什么什么的.并且我还很想问这词中的几个字,品析一下,“闭”“被”“消”“ 伤心的时候总是一个人听音乐是我习惯了吗 用英语怎么翻译 哥听的不是歌是寂寞翻译成英语 “其实孤独的人并不寂寞 因为还有眼泪陪着我”是什么歌? We do use other forms.这个do use 好别扭啊.解释一下? “今晚是否也会感到一点点寂寞”这句话是不是病句? instance,case,example,sample的区别如题 example的用法 Two years later,we will make,each other may be not willing to make choices Talk to each other and try to make you be understood.这句话对吗? 转转笔能开发智力么 留祥路本月起改叫石祥西路 路牌错了破男硕士年薪5万月花400 穿旧衣相亲男子为救假装落水儿童瘫痪 28年后获美国六大互联网巨头致信国会要求改革监自称21岁大学生 40岁男子男扮女装中央第八巡视组组长:着力发现选人用人杭州13岁姑娘失踪5天 在社会上结识快递哥邱师傅倒在送货路上 同行前去凭绍兴印染温州电镀两个“污染大户”转型温州双岙村遭垃圾围堵 焚烧垃圾引消防爱心的哥贵师傅往返江山衢州送尿毒症患标杆管理:第一要义是为顾客创造价值!郑州男子跟着指路箭头绕行被带坑里 摔泰国摩托车噪音激怒象群 车手遭大象围移动互联网\"圈地大战\" 抢红包郑州车主因绿标晒成蓝色被扣3分罚款1美国证券交易委员会,询问“阿里与工商不慎落水小伙儿溺亡牧野湖两个CEO的“情书”:情人节,滴滴、郑州街头推行“摊贩自治”商户与城管换“快的”副总裁李敏:“补贴消耗战”影“鲇鱼”搅局 郑州火车站商圈挺进展贸
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘