说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

网易王健宗:革命Hadoop,Spark带来百亿市场价值!

HTML文档下载 WORD文档下载 PDF文档下载
王健宗认为,对比经过5年以上发展的Hadoop,Spark这个Apache顶级项目还有很长的路要走,然而当你看到一些教授放弃了公职,一些博士中断了学业,你就会相信百亿市场价值并非虚言。毋庸置疑,Hadoop的代替者已然出现!

2014年4月19日“中国Spark技术峰会”(Spark Summit China 2014)将在北京召开,国内外Apache Spark社区成员和企业用户将首次齐聚北京。AMPLab、Databricks、Intel、淘宝、网易等公司的Spark贡献者及一线开发者将分享他们在生产环境中的Spark项目经验和最佳实践方案。


Spark作为一个通用的并行计算框架,已经成为继Hadoop之后又一大热门开源项目,逐渐获得很多企业的支持。在Spark技术峰会召开前夕,记者采访到了本次峰会的演讲者——网易高级研究员、中国计算机学会大数据专委会委员王健宗博士。他曾任惠普云计算高级解决方案专家和美国莱斯大学电子与计算工程系研究员,现负责网易游戏大数据框架的研究和部署工作,在其推广下成功将Spark稳定应用在生产环境中。


网易高级研究员、中国计算机学会大数据专委会委员王健宗博士

CSDN的专访整理如下:

 - 什么原因吸引你钻研Spark技术?   

主要是Berkeley AMPLab出的东西吸引了我,我很信奉一句:“AMP出品,必属精品”,基本上每周我都会关注他们LAB的主页,阅读他们的技术报告和论文,紧跟他们的研究前沿,建议大家有兴趣多关注一下 https://amplab.cs.berkeley.edu/projects/  ,目前他们所孵化的一些生物计算、多核、机器学习等项目可能未来也会影响整个计算机领域。

记得五六年前,在云计算风生水起的时候,AMPLab所发表的“ABOVE THE CLOUDS: A BERKELEY VIEW OF CLOUD COMPUTING”,是目前云计算引用最高的文章,你现在回头看这篇文章会发现目前云计算的发展方向和战略依然逃不出这篇文章当时所定义和规划的内容。

我再说个例子,我以前最早是从事存储研究工作的,而AMPLab所出的RISC 、RAID、NOW可以说改变了并深远影响了整个计算机工业,记得我在美国留学的时候,和AMPLab的创始人DAVID PATTERSON有过当面的交流,对于这个杰出科学家依然保持对技术的热情,每天依然和学生MEETING到深夜的敬业精神所深深感动,有这样的一群人,你说他们所出的东西还用怀疑吗?

Spark最早出现的时候,我就很关注,这是Berkeley AMPLab在大数据时代的杀手锏,也是将来能一统大数据领域的利器,套用大约三十年前他们发明RAID时候的话,我觉得“ Spark会带来百亿的市场价值”。

- 对于解决哪些问题Spark独具优势?

Spark的优势得天独厚,其是一个完整的大数据处理生态系统,除了底层存储HDFS还需要使用Hadoop的生态系统外,其他方面完全可以替代Hadoop,Hadoop自己在可用性、可靠性、实时性方面的一些劣势我这里就不重复叙述了,而Spark正是可以革命Hadoop的目前唯一替代者。

- 目前企业应用Spark最大的困难是什么?

目前最大的困难还是人的因素,了解Spark的人还是太少,我现在去和一些企业有大数据需求的CEO聊天的时候,一些单位使用Hadoop的人都很少,何谈Spark?

目前Spark处于企业应用的起步阶段,主要是一些大公司在应用,的确各方面还是不成熟,所以培养一批Spark技术专家来推动企业的应用迫不及待,也是目前企业应用的最大困难。

- 根据您的了解,目前Spark发展的情况如何?

目前SPARK整个大数据处理生态系统,如流处理、图技术、机器学习、NoSQL查询等方面都有自己的技术,并且也刚刚成为Apache顶级Project,在Hadoop 2.0中也完美整合,此外AMPLab一批人成立了公司来全力推动,有一些教授放弃了公职,一些博士中断了学业,相信以这种壮士断腕的霸气肯定可以把Spark发展好,Hadoop从推动到目前大规模应用也走了五年多时间,而Spark还有比较长的路要走。

- 请谈谈你在这次大会上即将分享的话题。

我主要介绍自己Spark的一些经验得失,因为Spark对于你我他都是新东西,都处于学习阶段,我只是走得前了一小步,所以我的一些经验总结期望能为大家应用落地Spark提供参考和帮助。

- 哪些听众最应该了解这些话题,这个话题可以帮助听众解决哪些问题?

我认为所有对大数据处理有兴趣,或者出现大数据处理实时性困难的公司或者个人都可以来参加这个峰会。相信经过这次峰会之后,可以坚定大家回去之后应用Spark来提到Hadoop的决心和信心,更多的内容我们可以峰会的时候交流。

写在最后:

采访的最后,王健宗表达了对中国Spark技术峰会的祝福,他预祝中国Spark技术峰会成功举办,以技术为社会创造更多价值!

更多精彩尽在2014年4月19日中国Spark技术峰会,3月31日前购票订票可享受最低票价优惠。

CTO容易犯的三大错误 谷歌艺术计划:互联网能否取代真实的博物馆? Hadoop技术沙龙:Hortonworks技术研发总监展望Hadoop 2.0 Marissa Mayer:雅虎月活跃用户增长了20%达8亿 移动用户3.5亿 气死偷车贼:脑电波防盗技术,让偷车贼无计可施 TIOBE 2013年9月编程语言排行榜:Transact-SQL首次进入前十 前Oracle总裁Charles Phillips:商业软件领域的“乔布斯” 留住你的用户:8款第三方移动推送服务 人气最旺:主流移动应用创建工具大合集(一) 不要强迫用户注册,请让他们先试用产品 Eve:基于Python的REST API框架 想扩展你的数据库吗?那么先了解一下I/O 白帽黑客将现场爆料Android系统及框架漏洞 9月13日:程序员节,一起来过节吧! 欲与Siri、Google Now比高低:微软开始打造个人助理Cortana 【开源专访】禅道创始人王春生:覆盖项目全周期,回归管理的本质 携程无线创业者大赛成功落幕 梁建章为头名“快展”颁20万奖金 Bug报告:小角色,大用处! iOS开发者必备: 五大编程类工具 多核优化软件MCx释放EMC VNX闪存潜能 手把手教学:详解HTML5移动开发框架PhoneJS 快速学习新技术的几条建议 研发周报:Angular.js or Ember.js 谁将成为Web开发的新宠? 10款免费且开源的项目管理工具 Greg Pass:拯救Twitter的无名英雄 Cassandra杀回数据库排行Top 10,及需求Java 7的2.0版本 安全专家王清将揭秘“大数据时代的大安全” BrainSpace:跟传统搜索说再见 艾普网络的OpenStack实践 移动周报:无需编程,分秒钟DIY一个移动网站 抢占先机:豌豆荚发布视频搜索产品 根据一些来历不明的消息说,微软将在2008年停止对 VB.NET 进行技术支持。是真的吗??? 怎样实现倒退和快进,用mediaplay组件播放影片,想在影片结束时自动调用某个过程,这个影片结束的事件是什么? 怪:DataGrid中选择一行后此行不能编辑! 有谁用过工商银行的国际借记卡了吗? 如何将反馈表中的若干表单内容发送到指定的邮箱并同时抄送到另一信箱? 使用游标时出现 -1002 的错误如何解决? 数据的初始化问题。 [求助] 如何用DirectX显示YUV格式的图像 我在安装Red Hat8时说一个文件坏了,但我有源代码,怎样编译成成哪个文件。 桌面内容不见了! 怎么获得当前目录 快救命啊高手们、菜鸟兄弟们,偶遇到sql语句问题啦,怎么对数据库插入数据啊100分给你 一个很白痴的问题,不过我实在搞不定,关于dbGrid的 一个关于数组基本使用方法的问题 请问如何把数据写到用OleContainer控件建立的WordApplication文档里面和如何从里面读取数据? 重回pb论坛,庆祝一下! [初级]请问如何在WebServer连接DBServer的Access资料库? WIN2000的MSDOS下无法输汉字 win2000p的老问题了,关于虚拟内存,页面文件 如何删除sql的日志文件!! 快救命啊高手们、菜鸟兄弟们,偶遇到sql语句问题啦,怎么对数据库插入数据啊100分给你 datagrid的问题,请大家进去看看,帮帮忙!在线等待 各位高手 用什么方法可以拖慢我的机器 在delphi中如何动态建立oracle的存储过程和触发器? 刷新父窗体的问题 请问:float数据的转换(见文章) 高手,救命啊!!在線等! 急问:win2000 的sp3可以打在win2000高级服务器版上么? 急死人了!!!!! TMNHttp组件的post方法的使用问题? 快救命啊高手们、菜鸟兄弟们,偶遇到sql语句问题啦,怎么对数据库插入数据啊100分给你 怎么样在bcb5里做一个类似于资源管理器的浏览界面? 请教数据类型转换的完整答案 马上结帖! oracle8.1.7支持全文检索吗? CMap<int, int, CString, CString> m_cMap 如何方便地找到函数的定义和包 为什么IdPOP3一用Retrieve方法就出错???? 在程序中无何派断本地机是否装了OFFICE中的word,并且如何获得它的路径(.exe的完全路径,我要调用这个程序) 请教资源文件问题 insert 语句~总出错,从一个表中查出来的数据插入到另一个表中~大家看看 String的长度最大有多大啊? 急切盼望 一个小问题 急待解决 请问关于套接字发送文件的问题 请问哪里有JDBC 2.1 下载? 当我打开evc的添加控件时,没有如何控件供选择,怎么办? 关于Calendar的问题 能引起数据库超时已过期的原因是什么? 请大家帮我一把好吗 怎样得到浏览器的分辨率? in more recent times的汉语意思是什么 thewater may take the bridge away怎么翻译 Many owners feel their pets understand them,for animals are_____to sense anger and sorrow.我选的是easy,答案是quick什么叫迅速感知悲伤吗~ ★in more recent times的意思,用法.在线等啊!★主要是用法,不要百度知道上复制过来的,我都看过了。 好的会多给分的! 2.I think it~s impolite to _____others .I agree with you.A.shout on B.shout at C.shame at3.Jim,why do you look ____?Because i worked for a few hours last night ,it~s very_____.A.tired ,tired B.tiring,tiring C.tiring tired D.tired tiring4.Would you li you ought to spend more time on english改写 in more recent———(time)为什么,谢了 I think it silly of you not to forgive othersI think __silly __you not to forgive others for their mistakes. it's of 第一个空为什么不是it? 这个不可以符合主语+think it+adj.of/for sb. to do sth.吗? 英语试题,请给出解题详情.Sarah,hurry up.I am afraid you can't have time to _(change)before the party. in recent times?in recent times 为什么time要用复数?前面为什么用in? It is very____(think)____(介词)you____(think)of others first. 最近的亲属 THE NEXT OF KIN怎么样 有一首舒缓英文歌,其中有句歌词,“you are bad man” 但不是这首歌,歌词里有you are super man ,还有you are bad man是一个男歌手,有一期非诚勿扰一位男嘉宾的VCR里用那首歌做背景的应该是一首情歌吧. 填上适当的介词:I think it's impolite to shout _______ others . Never give up,said,is to insist on victory是什么意思 找一首英文老歌,歌词中有you are bad man!找一首英文老歌,歌词中有一句you are bad man! dear student my name is bob .live in toronto ,canada .and i want a pen pal in chain .i think chaindery student my name is bob .live in toronto ,canada .and i want a pen pal in chain .i think chain is very interesting country.i am 14 yerys old my birt Emergency Contact Person是什么意思 选择填空:--____I finish the work by tomorrow?--Yes,you____.--____I finish the work by tomorrow?--Yes,you____.A Must,must B Should,must C May,must D Must原因 Few remained of the house after the earthquake.这里的remained是什么词性 Dear students,My mane is Bob.I live in Toronto,Canada,and I want a ______ (1) pal in China. 为什么我下载了半条命2启动不了 显示only one instance of the game can be running at one time 请专业人士解答 一下大豆油在我国食用油中所占比例有多大? I live in Toronto Canada.的中文 _______quick,or you will be late.a)Be b) To be _____up!Tom.You will be late for school.(wake)I ______ alresdy ________(wake) up,mom.I just _________(pretend)_________(sleep).适当形式填空 My name is Jane.My home is in ( ) A. Toronto,Canada B. Canada,Toronto 背过新概念第三册的进,英语口语新概念第三册都背下来是不是跟外国人对话就没有问题了? the food was wrapped in newspaper and eaten with your fingers I live in Toronto Canada.这句话里为什么把Toronto放在Canada前面?请说明大小地名的用法 The work is so difficult that he can't finish it in under a week.同义句?The work is so difficult that he can't finish it in ______ ______one week.一个横线一个词 知道的填下.同义句 Thr boy asked them,"Do you take some food and drink with you?"改为宾语从句的复合句 The tall building ____ when the earthquake happened.用shake,shook,is shaking来填空 为什么军团要塞2出现only on instance of the game can be running at one time,玩不了 Tom,you should go___(quick).It is late for school. The houses,building last year were destroyed by the earthquake 改错 四个元素.黑桃.英语字母soon.球.海浪.猜成语 food是用take it away还是take them away? ----May I take it away?----___________.A.All right B.That's all right C.That's right D.You are welcome Don't leave your pet dog at home alone for too time.-____.I usually take it out for a walk in theafternoon.A.Yes,I do B.Yes,I'll C.No I won't D.I don't 请做出回答并解释 The homework is too much.I need ten more minutes to do it 改为同义句The homework is too much.I need (两道横线) minutes to do it L want a pen pal in China >(改为同义句) There--- an important meeting the day after tomorrow.是 is 是 are 是 will have 是 is going to beis going to be 那如果我用is,理由是现在进行时表将来呢?可不可以 They need____actors for the talent show.A.much more B.many more哪个正确?为什么? I want a Chinese pen pal改为一般疑问句 My father _ for London tomorrow ,there is _ an important meetingA is leaving to be B is goning to leave having 有there is dong 的结构吗 还有表示将来时的有什么 他们有什么区别 1I do not think it will snowy tomorrow(单句改错) 2.You will not be late for school next time(改为祈使句) what,pen,a,pal,China,in,I There _________ (not be) an important meeting tomorrow afternoon 连词成句yourself,go,teacher,new,please,tell,about,your,and we think it our duty to help others为什么不加IS啊we think it is our duty to help others there is going to be an important meeting tomorrow please try___latea not to be b not be 翻译:we are hanging out in here there's a bridge [ ] the river.A;aboveB;nearC;acroosD;through必须有理由 中国有几个石油公司中国石油和中国海油是同一个么?有啥区别?还有哪些石油公司? the tiger _____ (keep )in a tiny cage and can't move 首字母填空 In many situations,a tiny thing can be c______ to an important event.指千里之堤溃于蚁穴 请问下中国四大石油公司用石油运输车运送油运到加油站都是同一个地方开采的油吗 此句中,keep 要改成被动语态吗temperature________( keep )between 2 and 10.此句子中,keep 要改成被动语态吗?是 keeps,还是is kept? the bridge is a_______the river(首字母答问题)
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘