说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

网易王健宗:革命Hadoop,Spark带来百亿市场价值!

HTML文档下载 WORD文档下载 PDF文档下载
王健宗认为,对比经过5年以上发展的Hadoop,Spark这个Apache顶级项目还有很长的路要走,然而当你看到一些教授放弃了公职,一些博士中断了学业,你就会相信百亿市场价值并非虚言。毋庸置疑,Hadoop的代替者已然出现!

2014年4月19日“中国Spark技术峰会”(Spark Summit China 2014)将在北京召开,国内外Apache Spark社区成员和企业用户将首次齐聚北京。AMPLab、Databricks、Intel、淘宝、网易等公司的Spark贡献者及一线开发者将分享他们在生产环境中的Spark项目经验和最佳实践方案。


Spark作为一个通用的并行计算框架,已经成为继Hadoop之后又一大热门开源项目,逐渐获得很多企业的支持。在Spark技术峰会召开前夕,记者采访到了本次峰会的演讲者——网易高级研究员、中国计算机学会大数据专委会委员王健宗博士。他曾任惠普云计算高级解决方案专家和美国莱斯大学电子与计算工程系研究员,现负责网易游戏大数据框架的研究和部署工作,在其推广下成功将Spark稳定应用在生产环境中。


网易高级研究员、中国计算机学会大数据专委会委员王健宗博士

CSDN的专访整理如下:

 - 什么原因吸引你钻研Spark技术?   

主要是Berkeley AMPLab出的东西吸引了我,我很信奉一句:“AMP出品,必属精品”,基本上每周我都会关注他们LAB的主页,阅读他们的技术报告和论文,紧跟他们的研究前沿,建议大家有兴趣多关注一下 https://amplab.cs.berkeley.edu/projects/  ,目前他们所孵化的一些生物计算、多核、机器学习等项目可能未来也会影响整个计算机领域。

记得五六年前,在云计算风生水起的时候,AMPLab所发表的“ABOVE THE CLOUDS: A BERKELEY VIEW OF CLOUD COMPUTING”,是目前云计算引用最高的文章,你现在回头看这篇文章会发现目前云计算的发展方向和战略依然逃不出这篇文章当时所定义和规划的内容。

我再说个例子,我以前最早是从事存储研究工作的,而AMPLab所出的RISC 、RAID、NOW可以说改变了并深远影响了整个计算机工业,记得我在美国留学的时候,和AMPLab的创始人DAVID PATTERSON有过当面的交流,对于这个杰出科学家依然保持对技术的热情,每天依然和学生MEETING到深夜的敬业精神所深深感动,有这样的一群人,你说他们所出的东西还用怀疑吗?

Spark最早出现的时候,我就很关注,这是Berkeley AMPLab在大数据时代的杀手锏,也是将来能一统大数据领域的利器,套用大约三十年前他们发明RAID时候的话,我觉得“ Spark会带来百亿的市场价值”。

- 对于解决哪些问题Spark独具优势?

Spark的优势得天独厚,其是一个完整的大数据处理生态系统,除了底层存储HDFS还需要使用Hadoop的生态系统外,其他方面完全可以替代Hadoop,Hadoop自己在可用性、可靠性、实时性方面的一些劣势我这里就不重复叙述了,而Spark正是可以革命Hadoop的目前唯一替代者。

- 目前企业应用Spark最大的困难是什么?

目前最大的困难还是人的因素,了解Spark的人还是太少,我现在去和一些企业有大数据需求的CEO聊天的时候,一些单位使用Hadoop的人都很少,何谈Spark?

目前Spark处于企业应用的起步阶段,主要是一些大公司在应用,的确各方面还是不成熟,所以培养一批Spark技术专家来推动企业的应用迫不及待,也是目前企业应用的最大困难。

- 根据您的了解,目前Spark发展的情况如何?

目前SPARK整个大数据处理生态系统,如流处理、图技术、机器学习、NoSQL查询等方面都有自己的技术,并且也刚刚成为Apache顶级Project,在Hadoop 2.0中也完美整合,此外AMPLab一批人成立了公司来全力推动,有一些教授放弃了公职,一些博士中断了学业,相信以这种壮士断腕的霸气肯定可以把Spark发展好,Hadoop从推动到目前大规模应用也走了五年多时间,而Spark还有比较长的路要走。

- 请谈谈你在这次大会上即将分享的话题。

我主要介绍自己Spark的一些经验得失,因为Spark对于你我他都是新东西,都处于学习阶段,我只是走得前了一小步,所以我的一些经验总结期望能为大家应用落地Spark提供参考和帮助。

- 哪些听众最应该了解这些话题,这个话题可以帮助听众解决哪些问题?

我认为所有对大数据处理有兴趣,或者出现大数据处理实时性困难的公司或者个人都可以来参加这个峰会。相信经过这次峰会之后,可以坚定大家回去之后应用Spark来提到Hadoop的决心和信心,更多的内容我们可以峰会的时候交流。

写在最后:

采访的最后,王健宗表达了对中国Spark技术峰会的祝福,他预祝中国Spark技术峰会成功举办,以技术为社会创造更多价值!

更多精彩尽在2014年4月19日中国Spark技术峰会,3月31日前购票订票可享受最低票价优惠。

走进大学校园:是什么让学生成为独立开发者? 移动周报:为什么说独立开发者才是光明康途? MapFan eye:看日本地图导航应用的新玩法 数据会被清空:部分三星、魅族手机存安全漏洞 IE10简化文件访问 支持FileReader API 从MySQL迁移到MariaSQL Wikipedia力求开放 奥巴马筹款网站的制作过程 国内芯片厂商发力4G 新岸线2013年将推LTE方案 CMDN Club 23期:开放平台和O2O移动产品开发 花旗调低Apple股票评级 不信iPhone5会卖得好 2012年Linux Journal读者选择奖结果公布 百度云SiteApp:三步轻松创建移动网站 Twitter跨数据中心图片存储系统Blobstore解析 摩托罗拉携手中国移动发布Intel Inside智能机新锋丽i MT788 第五届“英特尔杯”全国大学生软件创新大赛圆满落幕 Appro推出液冷超级计算机 Dell:曾敦促微软WinRT放弃Windows品牌 IE10十大优点:渲染页面比Chrome快8% 法国电信:开放平台下的O2O移动产品怎么玩? 客如云创始人彭雷:寻找O2O“失落的半圆” 中国电信宋鹏飞:天翼开放平台的服务及架构解析 W3C小组宣布:HTML5标准制定完成 还记得DUQU吗?起因可能是Windows中存在了20多年的漏洞! API管理的五大规则 Google也节能:挖角美能源部Arun Majumdar博士 预测:云计算领域的5大变革 CTO俱乐部:移动信息化的创新实践及互联网创业 核心组图曝光:BlackBerry 10明年1月30日发布 “蛐蛐儿”创始人朱连兴:音频二维码的技术实现和应用场景 信恩科技创始人林兴陆:QR Code二维码的前世今生 2012移动开发工具盘点:傻瓜式游戏工具引擎 急!!急!!通过父窗口打开的子窗口怎么控制父窗口的属性!!---100大洋!---- 求教:ATL 请问DBGrid的Options属性是一种什么类型啊,对它的操作中>>和<<是什么意思?C++中我只看到过cin>>a、和cout<<"here"等的用法啊,有什么区别? 成都地震了,附近可能有大震 紧急求助:在SQL语句中如何表述日期类型字段的常量? 有多少程序员长过青春痘? 怎样实现在点击超链接时处理另一事件 如何让网上资源不被别人下载到本地 天津的朋友们谁能告诉我哪里能买到《Windows程序设计》!!! 求助help & manual(2.7.0版)的注册码 如果win98中的pws中不包括mts,能正常工作吗 ? 为何在BCB中用TDBimage 存取Mysql数据库的图象时出错:invalid blob size ? 如何实现全自动拔号(无用户交互) 请看这个sql语句,怎么错了? 请问,如何设置 键盘开机呀? 关于光驱 如何获取delphi中dbgrid的单元格的内容 问题征解,关于一个智力题的程序解法。 sos!!求救!!!java运行时环境设置的初级问题!各位大侠帮忙了!!!! :-(( 關于delphi6的ActionMainMenuBar组件和ActionToolBar组件 的菜鳥級問題?? 李维的电子商务篇的第二章的例子没法运行,这是为何? 谁能告诉我学VC的步骤和教材啊,还会加分啊 如何将一个可以滚动的窗口的全部内容转换为BMP保存起来(如:IE)?(提供线索就有分)欢迎参与成果供享!!! 请教关于VsPrint Oracle8i Enterprise Manager Release 2.1 相当于ORACLE8.1.几啊? 使用ListView如何操作数据 ★★★简单问题送100分★★★:如何打印框架容器里的的全部内容,包括mschart图表,label,combox等? 我的DW里加入FLASH特效时为什么中文会变成乱码?我给分的............ 我感到天昏地暗、日月无光、前途渺茫、无心睡眠、精神恍惚、双目痴呆相恋8年准备结婚的女友突然和别人结婚了!我受不了了!我快疯了! 请教有关IE5带的ActiveX控件Dhtmled.ocx的98下安装问题 程序员与高级程序员到底那个好过 关于 delphi的一点东东 access一个日期时间字段是短格式的,用什么SQL语句改成长格式的? 怎样才能在主页中显示自己的qq是否在线?????? 有没有平面按钮控件 Interdev6.0 IDE 环境下无法使用MSDN access一个日期时间字段是短格式的,用什么SQL语句改成长格式的?? 大家来帮帮我想想?应该怎么样来删除呢!!!! 各位用VB.net的兄弟,请问你们使得是 Beta1 还是 Beta2 ? 迷周星弛的请来签名啊! 如何操纵RichTextEdit控件??? 我得到GIF图像的这一点的值,怎样得到它的正确的RGB值? 我想请问在CHTML(compact html)中如何对页面进行刷新。 各位老大,你们是如何找到工作的? 在VB.net中,如何实现VB6中的 set A=createobject("XXXX.XXXX") 诸位大虾救命,如何在EDIT控件中判断DBCS字符 !!求救!!对时!!! 在VC中使用Crystal report 8的问题 如何编写c程序自动对GIF图片设置大小 请教:鼠标在windows桌面上按键是否会引发某个事件? 查看DLL的输出函数 已知5a的2x-3次方与7a的5次方b的4y+5次方是同类项,则x+5y的绝对值等于() 已知单项式 -5x的2m-n次方y的n次方与3x的五次方y的m-2n次方是同类项,求m的倒数与n的相反数的和, 方程x五次方-3x-1=0在区间(1,2)内至少有一实根. 若-30a的2x次方b的三次方与16a的四次方b的y次方是同类项,求3-4x的绝对值加上5y-2的绝对值的值 若单项式3x的m减2n次方乘y的9次方 与负x的6次方乘y的m加n次方是同类项,求m、n的值要清楚的式子 证明方程x的三次方加x减三等于零至少有一个正根 已知M.X.Y满足(1)2/3(x-5)平方+5|m|=0;(2)-2a平方b(y+1)次方与7b立方a平方是同类项求代数式:2x平方-6y抱歉,我前面的问题少了 求代数式:2x平方-6y平方+m(xy-9y平方)-3x平方-3xy+7y平方)的值 已知-3x的m-2n次方×y的n-2次方和1/5x^5乘y的4-n是同类项,求(m-2n)的2次方-5(m+n)-2(m-2n)^2+m+n的值 证明 方程 X的3次方 减5X的平方加2等于0在(0,1)内至少有一个实跟 已知15m的x次方n和-9分之2m的2次方n是同类项,则2-4x的绝对值+4x-1的绝对值的值为 已知-2x的3m+1次方乘以y的2n次方与7x的n-6乘以y的-3-m次方的积与x的四次方*y是同类项,求m+n的值 2的a次方等于三,2的b次方等于5,2c次方等于30,试用a.b表示c 如果3分之1x的2m次方y与3x的4次方y的2n-3次方是同类项,则m+n= 若-3X的2M次方Y的3次方与2X的4YN次方是同类项,求m-n的绝对值 已知:-2x的3m+1次方y的2n次方与7x的n-6次方y的-3-m次方的积与x的4次方y是同类项,求m²+n的值. 若4x的3m-1次方乘y的三次方与﹣3x的5次方乘y的2n+1是同类项,求m+n 已知A的平方*(-3x的平方y的三次方)=-12x的6次方y的5次方,求单项式A 已知,-2x的3m+1次方y的2n次方与7x的n-6次方y的积与x的四次方y是同类项,求m,n的值 若0.5x的|a|次方与-2/3x²y的|b-1|是同类项,且a大于b,求a²-ab-2a²+1/2ab+2/3b²的值 已知A的2次方乘(-3x的2次方y的3次方)=-12x的6次方y的5次方,求单项式A. 若-2x的3m+1次方y的2n次方与7x的n-6y次方y的-3-m次方的积与x的4次方是同类项,求m n的值 能力提升:若0.5x的|a|次方与-2/3x²y的|b-1|次方是同类项,且a>b,求a²-ab+2a²+1/2ab+2/3b²的值. 若3x的m+5次方y的2次方与x的3次方y的n次方的和仍是单项式,则n的m次方是多少? -2x的3m+1次方y的2n次方与7x的n-6次方y的-3-m次方的积与x的四次方y是同类项,求m,n的值 若(-7x的m+2次方)y²与-3x³(y的n次方)是同类项,则m-n=______. 若3x的m+5次方乘y的2次方与x的3次方成y的n次方的和是单项式,则m的n次方=多少 已知3x的平方+4x-7=0,则多项式6x的四次+11x的三次-7x的平方-3x-4的值是 若单项式3x的2m7次方y的3n次方与5x的m-5次方y的4n-7是同类项,则n²-m²的值为 若3x的m+6次方y的平方与x的3次方y的n次方的和是单项式,则n的m次方=什麼? (3x的平方)的3次方-7x的3次方(x的3次方-x(4x的平方+1))=(((-1)的4次方)的m次方)的n次方= 若-三分之一X²Y的三次方Z的M次方与3X²Y三次方Z的四次方是同类项则M= 若3x的m+5次方×y的2次方与x的三次y的n次方的和是单项式,则m的n次方=? (3x的2次方)的3次方—7x的3次方[x的3次方—x(4x的2次方+1)]+(—x的2次方)的2次方. 若3乘x的平方乘y的a次方 与4x的a次方乘yd 3次方是同类项,则a-b= 2/3x的m次方-2x的平方y-3是五次单项式,求m的值急需,越快越好,要详细的过程.拜托了 因式分解:(x^2+3x+2)(4x^2+8x+3)-90用换元法 已知单项式9a的m-1的次方*b的n+1的次方与-2a的2m-1的次方*b的2n-1的次方的积与5a的3次方b的6次方是同类项,求m,n的值 若3x的m+5次方×y的平方与x的三次方×y的n次方是同类项,则mn的2次方-(n-1)= (3x+2)的三次方+1=-61/64解不等式组3(x-2)+4=3x+1上面还有一道呢 已知9a的m+1次方×b的n+1次方与-2a的2m-1次方×b的2n-1之积与5a的3次方×b的6次方是同类项,求m,n的值(ˇˍˇ) 若单项式3x的平方y的n次方与-2x的m次方y的3次方是同类项,则m+n等于多少 若a的x次方=2,则a的3x次方等于多少? 若-3x的a-2b次方y的7次方与2x的8次方y的5a+b次方是同类项 求a+b的值 若单项式3X的2次方Y的N次方与-2X的M次方Y的3次方是同类项,求M+N的2次方的值 若A的X次方=2,a的Y次方=3,则A的3X-2Y的次方等于? 若5a的四次方b与2a的平方X(即2x)b的y平方是同类项 则x等于多少y等于多少 若3x的n-1次方y的3次方与5x的平方y的1+m次方是同类项,则m+n= -3x的三次方)的二次方-【(2x)的二次方】的三次方 1 题若—2x+1=7,则x=().2题 已知单项式-2分之1x五次方y平方n—1与单项式3x五次方y平方的同类项,则n=别忘了下面还有!3 题当x()时,代数式3分之4x-5的值是—1.4 题若x=2是方程ax+7=5+a的解,则a=() 已知单项式M、N满足3x·(M-5x)=6x的二次方y+N,则M= N= 请问数轴穿根法解(2x-1)的平方(x+2)(4-3x)(x-7)的三次方小于等于0 若单项式2/5x的a-3次方与-3x的平方y的b-1次方是同类项,则a+b 若单项式M,N满足等式3x(M-5x)=6x的二次方y的三次方+N则M-N为___(注:6x的二次方y的三次方是6乘X的二次方,再乘y的三次方的意思) 1、(x+2)的三次方+1=8分之7等于多少?2、如果2x+19的立方根是3,求3x+4的平方根急!1、(x+2)的三次方+1=8分之7等于多少?2、如果2x+19的立方根是3,求3x+4的平方根急! 已知关于-2x的b+1次方y的2a-5次方与3x的a+2次方y的b-2次方是同类项,则a-b= 已知单项式M,N满足等式3x(M-5x)=6x平方y3次方+n,求MN 一个代数式减去3x的四次方-x三次方+2x-1等于一个代数式减去3x的四次方-x三次方+2x-1得-5x+3x二次方-7x+2求这个代数式 如果3x的8次方y的n-3次方与-7/2x的m+n+8的绝对值次方是同类项,求m、n的值 已知单项式M,N满足3x(M-5x)=6x的二次方y的二次方+N,则MN=?急 证明方程x的5次方-3x+1=0在1与2之间至少存在一个小于1的实根
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn