说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

网易王健宗:革命Hadoop,Spark带来百亿市场价值!

HTML文档下载 WORD文档下载 PDF文档下载
王健宗认为,对比经过5年以上发展的Hadoop,Spark这个Apache顶级项目还有很长的路要走,然而当你看到一些教授放弃了公职,一些博士中断了学业,你就会相信百亿市场价值并非虚言。毋庸置疑,Hadoop的代替者已然出现!

2014年4月19日“中国Spark技术峰会”(Spark Summit China 2014)将在北京召开,国内外Apache Spark社区成员和企业用户将首次齐聚北京。AMPLab、Databricks、Intel、淘宝、网易等公司的Spark贡献者及一线开发者将分享他们在生产环境中的Spark项目经验和最佳实践方案。


Spark作为一个通用的并行计算框架,已经成为继Hadoop之后又一大热门开源项目,逐渐获得很多企业的支持。在Spark技术峰会召开前夕,记者采访到了本次峰会的演讲者——网易高级研究员、中国计算机学会大数据专委会委员王健宗博士。他曾任惠普云计算高级解决方案专家和美国莱斯大学电子与计算工程系研究员,现负责网易游戏大数据框架的研究和部署工作,在其推广下成功将Spark稳定应用在生产环境中。


网易高级研究员、中国计算机学会大数据专委会委员王健宗博士

CSDN的专访整理如下:

 - 什么原因吸引你钻研Spark技术?   

主要是Berkeley AMPLab出的东西吸引了我,我很信奉一句:“AMP出品,必属精品”,基本上每周我都会关注他们LAB的主页,阅读他们的技术报告和论文,紧跟他们的研究前沿,建议大家有兴趣多关注一下 https://amplab.cs.berkeley.edu/projects/  ,目前他们所孵化的一些生物计算、多核、机器学习等项目可能未来也会影响整个计算机领域。

记得五六年前,在云计算风生水起的时候,AMPLab所发表的“ABOVE THE CLOUDS: A BERKELEY VIEW OF CLOUD COMPUTING”,是目前云计算引用最高的文章,你现在回头看这篇文章会发现目前云计算的发展方向和战略依然逃不出这篇文章当时所定义和规划的内容。

我再说个例子,我以前最早是从事存储研究工作的,而AMPLab所出的RISC 、RAID、NOW可以说改变了并深远影响了整个计算机工业,记得我在美国留学的时候,和AMPLab的创始人DAVID PATTERSON有过当面的交流,对于这个杰出科学家依然保持对技术的热情,每天依然和学生MEETING到深夜的敬业精神所深深感动,有这样的一群人,你说他们所出的东西还用怀疑吗?

Spark最早出现的时候,我就很关注,这是Berkeley AMPLab在大数据时代的杀手锏,也是将来能一统大数据领域的利器,套用大约三十年前他们发明RAID时候的话,我觉得“ Spark会带来百亿的市场价值”。

- 对于解决哪些问题Spark独具优势?

Spark的优势得天独厚,其是一个完整的大数据处理生态系统,除了底层存储HDFS还需要使用Hadoop的生态系统外,其他方面完全可以替代Hadoop,Hadoop自己在可用性、可靠性、实时性方面的一些劣势我这里就不重复叙述了,而Spark正是可以革命Hadoop的目前唯一替代者。

- 目前企业应用Spark最大的困难是什么?

目前最大的困难还是人的因素,了解Spark的人还是太少,我现在去和一些企业有大数据需求的CEO聊天的时候,一些单位使用Hadoop的人都很少,何谈Spark?

目前Spark处于企业应用的起步阶段,主要是一些大公司在应用,的确各方面还是不成熟,所以培养一批Spark技术专家来推动企业的应用迫不及待,也是目前企业应用的最大困难。

- 根据您的了解,目前Spark发展的情况如何?

目前SPARK整个大数据处理生态系统,如流处理、图技术、机器学习、NoSQL查询等方面都有自己的技术,并且也刚刚成为Apache顶级Project,在Hadoop 2.0中也完美整合,此外AMPLab一批人成立了公司来全力推动,有一些教授放弃了公职,一些博士中断了学业,相信以这种壮士断腕的霸气肯定可以把Spark发展好,Hadoop从推动到目前大规模应用也走了五年多时间,而Spark还有比较长的路要走。

- 请谈谈你在这次大会上即将分享的话题。

我主要介绍自己Spark的一些经验得失,因为Spark对于你我他都是新东西,都处于学习阶段,我只是走得前了一小步,所以我的一些经验总结期望能为大家应用落地Spark提供参考和帮助。

- 哪些听众最应该了解这些话题,这个话题可以帮助听众解决哪些问题?

我认为所有对大数据处理有兴趣,或者出现大数据处理实时性困难的公司或者个人都可以来参加这个峰会。相信经过这次峰会之后,可以坚定大家回去之后应用Spark来提到Hadoop的决心和信心,更多的内容我们可以峰会的时候交流。

写在最后:

采访的最后,王健宗表达了对中国Spark技术峰会的祝福,他预祝中国Spark技术峰会成功举办,以技术为社会创造更多价值!

更多精彩尽在2014年4月19日中国Spark技术峰会,3月31日前购票订票可享受最低票价优惠。

在VB中使用API函数 (之一) 在VB中用API实现多媒体 VB怎样用VB在应用程序中调用API VB怎样在DELPHI中使用API函数 指定文件夹-VB资料 VB5中注册控件三法 Bug:维护 Internet Transfer Control 之 Username 及 Pass VB对低层硬件访问控制 HitTest的妙用 -VB资料 ListBox项的控制-VB资料 VB 6.0中类聚集关系的实现 VB6编程中如何获取硬盘分区信息 VB的坐标系统综述 VB调用C程序动态链接库的方法 VB对低层硬件的访问控制 VB软件开发中的错误捕获及处理技术 VB中Combo的一种输入检查制约方法的实现 VB中Winsock控制的UDP协议的使用 VB中的时间处理问题 Windows操作平台下CGI的实现 -VB资料 按下某组键(HotKey)便执行某程式-VB资料 把所有的字体名称放到 ComboBox -VB资料 把文件置入到Text或RichText中-VB资料 捕捉 MouseExit 事件 -VB资料 操作过程动态显示 -VB资料 查找月份的最后一天-VB资料 程序启动时,如何自动判断 MDB文件是否损坏并自动修复?-VB资料 读取和修改Windows注册表 -VB资料 对VB的IDE环境的扩展 防止文本控件中的部分滚动-VB资料 关闭正在运行的程序 -VB资料 请教浙大1038题 关于 SSI SHTML 方面的问题 好久不来了,今儿高兴,散分。(前十位) ADO的数据库连接问题 谁做过dbf文件转文本文件的程序 哪有介绍delphix的文章下载啊,我的英语水平实在不怎么样,那个help看不懂啊! 偶得一SDK电子书,不敢私有,与大家共享,与想了解SDK的朋友共享。 安装Red hat linux 7.3时遇到以下问题,请指教... 如何向另一个进程发送键盘消息或者给进程发送菜单命令? 高分之下,必有勇夫! 关于包的问题(什么情况下才能访问同一目录下另一文件的类?) 字体的大小问题! (三层结构)我按照李维书上所说的,为什么客户端老是连不上应用程序服务器端? 初学Delphi,请各位大虾帮助!高分送上 关于定位打印的问题!!! 怎么写分组发新闻的jsp程序 关于界面设计的问题... 我想自己写个Mp3播放器,结果遇到不少问题。请大家帮忙 WIN2000关机巨慢,原因是什么? 关于字符串比较大小?下面代码有错么????????????? c++调试问题? #include <string> 后编译不过去。请帮忙看看 请教各位:关于TButton->ModalResult 在NS浏览器中如何对text等这样的对象进行事件的处理? sql2000里如何得到当前记录号??/ ----------- iis或win2000server中如何设置文件夹大小??? 大家有没有做过医疗社区管理软件的?最好有成熟的源代码。 介绍一款好的主板,搭配p41.7G。 我升级了我的VB6程序,有个问题解决不了,来看看 做一个Java程序。将光盘上的某个目录拷到C盘上 清教一个计算机系统结构的计算题,题目见内容 关于文件读入的问题!谢谢各位! 数据统计分析问题,请专家关注!好难 如何判断执行 INSERT INTO 语句插入记录成功或失败? 哪位大侠能给我详细的介绍一下CWnd::SendMessage()函数 Strange return value of CoInitializeEx [HELP]辞职问题:杭州的GGJJ们来帮帮我 谁有windows 95的下载地址? ADO与本地数据库问题,看来是高难问题啊,怎么没人接招呢? tell me why??有关jdbc for sqlserver 2维数组按某一列进行排序,内详,求救? 关于在Oracle数据库服务器如何提供下载一个excel文件型的大对象到本地?十万火急!三根鸡毛! 怎样得到数据库里某字段里没出现过、而且还是最小的数字呢? 请问大家这种数据表怎样设计最好??? 关于ID3V2?请大家帮帮忙 <<VC技术内幕(第四版)>>中应用程序框架示例的程序要怎样才能运行? Win2K的远程访问出现身份验证问题 关于TMediaPlayer缩放,请您赐教 如何显示一个库中所有的表以及显示一个表的结构 能不能使自己画的一个图形,响应鼠标事件? 如何取得数据库某字段中从未出现过的、而且还是最小的数字呢? 九月九日忆山东兄弟表达了作者怎样的思想感情 九月九日忆山东兄弟解释一个 把九月九日忆山东兄弟改写成200字左右的短文快啊~~~~~~~~~~ 《九月九日忆山东兄弟.》,内容? 九月九日忆山东兄弟 的意思(简练) 把九月九日忆山东兄弟改写成500字左右的短文 求新闻评论的范文5篇要200字 九月九日忆山东兄弟的佳节是什么意思 琥珀的主要内容 2011新闻评论范文 “我达达的马蹄是美丽的错误,我不是归人,是个过客.”含义是什么? 将九月九日忆山东兄弟改写成一篇文章大约500字可以联系写作背景 麋鹿这篇课文从哪三方面来描写的[写出来』 镜子和照片中的自己的样子哪个更接近别人眼里看到的你我以前头发是向左偏的 照镜子觉得很好看但是照相就很难看了后来才知道原来镜子照出来是左右相反的我就去把刘海向右偏结果视频 把 九月九日忆山东兄弟 改写成散文 我想做百度小学四年级数学测试卷上的题,怎么弄? 郑愁予的<<错误>>“我达达的马蹄是美丽的错误" 这错误为什么是美丽的呢错误 作者:郑愁予 我打江南走过 那等在季节里的容颜如莲花的开落 东风不来,三月的柳絮不飞 你底心如小小寂 为什么手机拍出的照片比镜子里看到的自己看起来要丑些呢,有谁有经验吗 镜子里看到的自己与手机拍出来的差很多哪个和别人看到的差不多? 在别人眼中自己是镜子里的样子还是照片里的样子 为什么镜子里看到的自己和照片里拍出来的不一样?镜子里看到的自己,就算不化妆,也挺好看的为什么照片拍出来的就不好看呢,丑的连我自己都无法接受,而且脸上的痘痘印很明显,看上去傻傻 四年级上册鸟的天堂第八段有什么近义词 你达达的马蹄是美丽的错误,我不是归人是个过客 《将相和》蔺相如为什么逼秦王击缶,秦王击缶后,为什么不敢拿赵王怎么样? 镜子和手机哪个才是眼中的自己 为什么用手机照出来的自己和镜子里的差那么多阿?感觉手机照出来的好丑.那别人看到的自己是什么样的呢?和镜子里的一样? 将相和 句子换个说法 蔺相如走到秦王面前,对他说:“请你为赵王击缶.” 《九月九日忆山东兄弟》的意思 我达达的马蹄是个美丽的错误以美丽修饰错误为什么有什么作用 没有暗礁,激不起美丽的浪花.用的是什么修辞手法?如题“没有暗礁,激不起美丽的浪花”,林肯不屈服命运的净胜,值得我们大家学习.2.“没有暗礁,激不起美丽的浪花”作者采用的是什么修辞手 初中阅读理解记叙文的标题有什么作用?请列出提纲 “我达达的马蹄是美丽的错误”是哪首诗中的句子?全诗是怎样的? 没有暗礁,激不起美丽的浪花 从这句话中可以看出什么?要的是从这句话中可以看出什么?老师要查的! 记叙文标题的作用是什么 小学生读书笔记范文!(要先摘抄一段范文,再写体会) 仿句 大海如果没有暗礁,就不会激起美丽的浪花仿两句 近视眼长期坐第一排看黑板会使度数增加吗?患者信息:女 16岁 摘录式读书笔记怎么写(要有范文加批注)内容好一点 加批注 西师版小学语文第四册全册教案 写新闻评论格式是什么样子的!?!?!谢谢各位了! 翠鸟捕鱼疾如什么 小学语文西师版二年级下册农具课件及教案 怎么写新闻评论? 三年级下册《翠鸟》一文中描写翠鸟耐心等候的语句、敏捷捕鱼的语句、我们喜爱翠鸟的语句 六年级下册琥珀用了什么写法 新闻评论怎么写啊? 新闻评论可以从哪些方面进行分析 2010,我的梦中国梦观后感, 怎么写新闻评论呢?真的很难 我怎样才能把握住一个新闻点 怎样才能有一个中心? 新闻评论稿怎么写 《只有一个地球》这篇课文,你有什么要对地球母亲说的? 一篇自拟作文500字【四年级水平】 社会新闻评论怎么写要快 美丽的错误写什么事例. 九月九日忆山东兄弟作者是谁 九月九日忆山东兄弟的山东是什么意思 怎样理解中"美丽的错误"? 九月九日忆山东兄弟表达了作者( )的思想感情 :九月九日忆山东兄弟中的山东是什么意思 席慕容把林海音爸爸的一记忆错误称为美丽的错误,对着一美丽的错误怎么理解
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘