说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

网易王健宗:革命Hadoop,Spark带来百亿市场价值!

HTML文档下载 WORD文档下载 PDF文档下载
王健宗认为,对比经过5年以上发展的Hadoop,Spark这个Apache顶级项目还有很长的路要走,然而当你看到一些教授放弃了公职,一些博士中断了学业,你就会相信百亿市场价值并非虚言。毋庸置疑,Hadoop的代替者已然出现!

2014年4月19日“中国Spark技术峰会”(Spark Summit China 2014)将在北京召开,国内外Apache Spark社区成员和企业用户将首次齐聚北京。AMPLab、Databricks、Intel、淘宝、网易等公司的Spark贡献者及一线开发者将分享他们在生产环境中的Spark项目经验和最佳实践方案。


Spark作为一个通用的并行计算框架,已经成为继Hadoop之后又一大热门开源项目,逐渐获得很多企业的支持。在Spark技术峰会召开前夕,记者采访到了本次峰会的演讲者——网易高级研究员、中国计算机学会大数据专委会委员王健宗博士。他曾任惠普云计算高级解决方案专家和美国莱斯大学电子与计算工程系研究员,现负责网易游戏大数据框架的研究和部署工作,在其推广下成功将Spark稳定应用在生产环境中。


网易高级研究员、中国计算机学会大数据专委会委员王健宗博士

CSDN的专访整理如下:

 - 什么原因吸引你钻研Spark技术?   

主要是Berkeley AMPLab出的东西吸引了我,我很信奉一句:“AMP出品,必属精品”,基本上每周我都会关注他们LAB的主页,阅读他们的技术报告和论文,紧跟他们的研究前沿,建议大家有兴趣多关注一下 https://amplab.cs.berkeley.edu/projects/  ,目前他们所孵化的一些生物计算、多核、机器学习等项目可能未来也会影响整个计算机领域。

记得五六年前,在云计算风生水起的时候,AMPLab所发表的“ABOVE THE CLOUDS: A BERKELEY VIEW OF CLOUD COMPUTING”,是目前云计算引用最高的文章,你现在回头看这篇文章会发现目前云计算的发展方向和战略依然逃不出这篇文章当时所定义和规划的内容。

我再说个例子,我以前最早是从事存储研究工作的,而AMPLab所出的RISC 、RAID、NOW可以说改变了并深远影响了整个计算机工业,记得我在美国留学的时候,和AMPLab的创始人DAVID PATTERSON有过当面的交流,对于这个杰出科学家依然保持对技术的热情,每天依然和学生MEETING到深夜的敬业精神所深深感动,有这样的一群人,你说他们所出的东西还用怀疑吗?

Spark最早出现的时候,我就很关注,这是Berkeley AMPLab在大数据时代的杀手锏,也是将来能一统大数据领域的利器,套用大约三十年前他们发明RAID时候的话,我觉得“ Spark会带来百亿的市场价值”。

- 对于解决哪些问题Spark独具优势?

Spark的优势得天独厚,其是一个完整的大数据处理生态系统,除了底层存储HDFS还需要使用Hadoop的生态系统外,其他方面完全可以替代Hadoop,Hadoop自己在可用性、可靠性、实时性方面的一些劣势我这里就不重复叙述了,而Spark正是可以革命Hadoop的目前唯一替代者。

- 目前企业应用Spark最大的困难是什么?

目前最大的困难还是人的因素,了解Spark的人还是太少,我现在去和一些企业有大数据需求的CEO聊天的时候,一些单位使用Hadoop的人都很少,何谈Spark?

目前Spark处于企业应用的起步阶段,主要是一些大公司在应用,的确各方面还是不成熟,所以培养一批Spark技术专家来推动企业的应用迫不及待,也是目前企业应用的最大困难。

- 根据您的了解,目前Spark发展的情况如何?

目前SPARK整个大数据处理生态系统,如流处理、图技术、机器学习、NoSQL查询等方面都有自己的技术,并且也刚刚成为Apache顶级Project,在Hadoop 2.0中也完美整合,此外AMPLab一批人成立了公司来全力推动,有一些教授放弃了公职,一些博士中断了学业,相信以这种壮士断腕的霸气肯定可以把Spark发展好,Hadoop从推动到目前大规模应用也走了五年多时间,而Spark还有比较长的路要走。

- 请谈谈你在这次大会上即将分享的话题。

我主要介绍自己Spark的一些经验得失,因为Spark对于你我他都是新东西,都处于学习阶段,我只是走得前了一小步,所以我的一些经验总结期望能为大家应用落地Spark提供参考和帮助。

- 哪些听众最应该了解这些话题,这个话题可以帮助听众解决哪些问题?

我认为所有对大数据处理有兴趣,或者出现大数据处理实时性困难的公司或者个人都可以来参加这个峰会。相信经过这次峰会之后,可以坚定大家回去之后应用Spark来提到Hadoop的决心和信心,更多的内容我们可以峰会的时候交流。

写在最后:

采访的最后,王健宗表达了对中国Spark技术峰会的祝福,他预祝中国Spark技术峰会成功举办,以技术为社会创造更多价值!

更多精彩尽在2014年4月19日中国Spark技术峰会,3月31日前购票订票可享受最低票价优惠。

好用的在线编辑器百度UEditor ASP.NET如何从URL或route数据中得到controller类型和action信息 Discuz X论坛数据表结构:论坛主题数据表pre_forum_thread Discuz X论坛数据表结构:论坛帖子数据表pre_forum_post jQuery UI 消息框(message box)的使用 kmp算法中的求Next()函数的算法 ASP.NET MVC3 如何将DataTable绑定到Html.DropDownList PHP调用COM组件 农行网上银行支付接口:无法读取商户端配置文件 农行网上银行支付接口:商户代理卖方挂单成交功能测试 Windows Phone 7 实现简单的GPS定位器 C#如何删除string中的Html标记 ImageStone图像处理C++类库 jQuery Mobile 开发入门手册--概述 jQuery Mobile 开发入门手册--技术理论 jQuery Mobile 开发入门手册--组件 SMTP/POP3收发邮件的C#类库SmtPop.Net 用C#编写的Telnet开源类库 Visual Studio C#创建Windows服务(Windows Service) C#取得Windows服务列表 C#编程自动安装Windows服务 C#安装/删除 .NET Windows服务 C#启动、停止、重启Windows服务 jQuery实现Ajax提交form表单的简单方法 字符串String与枚举Enum之间的转换[C#] Javascript统计DOM元素里文字的行数 C#从Web网站下载文件 C#得到区域名称列表 C#合并多个PrintDocument WpWidgetLibrary - Windows Phone的HTML部件库(Widgets) 让你不再害怕C语言指针 SOS!! vb-excel 合并单元格时运行第二次出错,是什么原因??? 关于报表和原始数据的处理 谁对RTTTL格式的文件很了解的?怎么把它转换成可以发送的二进制格式? 北京百联美达美数码科技有限公司是不是骗子公司? 一个虚拟函数的问题? “程序未定义入口点”是指什么错误?谢谢! 关于自动累加的问题 如何设置Win2000Server让98机器可以上网。(注:不使用代理软件) 车站接人十大方式 谁知道哪里有bmp到jpg转换的源代码?帮帮忙! 提示怎么为空?有代码? Application是什么意思? 模范中国百姓 寻找一个类似于object inspector的控件 如何返回在sql server中自己设定的错误提示..... ocp是什么? 當手機 被盜 後的措施 好象没什么人啊 祝斑竹zxyufan(宇凡)考试顺利 :) 高手请进!!!!!!! 怎么从一个字符串中截取字符串 关于软件的序列号的问题? 哪位高手给解释一下啊??? 各位DX:怎样在填完一个文本框后光标自动跳到下一个框里?很急的,解决一定给分! treeview问题,我只能给这么多分了,拜托大家,急死我了!!!! 连接数据库的一个参数:Initial Catalog=Music 是什么东西,在那里设置? 在DELPHI中能用ADO连接远程有固定IP的数据库服务器上的数据库吗?怎么连接? 各位兄弟姐妹,快来看呀! 请教各位大虾:我在上网的时候为什么老是死机,鼠标键盘一动不动了!!! pb中访问数据库必须通过datawindow么? 为什么就差这么一点了~???快帮帮忙啊~! OO里面的"is a"和"has a"应该如何理解啊?举个例子看看 请问在哪可以找到可以做简历封面的图片呀?后天就是招聘会啦,快快帮忙呀~~~ javaServlet的一个问题。急! DELPHI高手!-----300分 ASP开发问题,如何在用户提交注册信息时自动分配给它一个用户ID号? 我想在 Excel 中给文件字加双下划线,可是编译时提示变量没有定义 有谁能给我一份简单的COM代码? 有关interface??? 昨晚,初恋情人不经意的出现在梦中,你到底离你的初恋情人有多远,撒分了 一个昨天没搞明白的问题! redhat 7.2中如何设置代理服务器 求教高手一个Java中一直困扰我的问题,急!急!急! 谁能够给我个例子实现 Dll向应用程序单向通信 Dll->EXE?50分? 请问.......... 在数据窗口拖动垂直滚动条死机。只能ctrl+alt+del结束任务。倾听你的声音。 请教各位大虾两个Sql语句 哪里有visual studio.net下载? 那里有sql server 2000企业版下载的 xml的学习??????双儿 Does your mother like fish? No,she doesn't. My mother---like fish---.She likes chicken very much.A.doesn't,a little B.don't,at all C.doesn't,at all 一木块放入盛满水的容器中,溢出的水的质量是10克.若将它放入盛满酒精的容器中,溢出酒精的质量是多少? ( )she like her father no she ( )like her mother which subject does she like best?另一种句意不变(每格一词)改成:—her —subject?句意不变(每格一词) 用某种物质制成的空心球,其体积为500立方厘米,放入水中后有2/5的体积浸入水中,若将密度为0.8×10的三次方的酒精注入球内空心部分,并使注入的酒精体积为球内空心部分的5/16,再将球放入水中 把一块石头放入盛酒精的杯子里溢出酒精24G把一块石头放入盛酒精的杯子里溢出酒精24g,把这块石头放入盛满水的杯子里溢出水的质量是? 要详细过程哦 Which subect does she like best?的一种表达方法是什么 She doesn't like meat very much.改同义句She( )meat( )( ).还有啊都改同义句 He often gets to school early.改He( )often get to school( ).Kate usually helps her mother wash clothes.改Kate usually helps her mother ( )( )( ).When does her mot 一个修路队要修一条水泥路,如果每天修2.4千米,25天可以修完,如果每天多修0.6千米,几天可以完成? 滴定EDTA~近似浓度均为mol/L的Zn2+和Al3+的混合溶液,现用近似浓度也为0.02mol/L的EDTA标准溶液,如何将它们分别测定出来 填单词My mother doesn't like watching TV at home because she th inks it is very b__ 1.She looks like her mother.(改为同义句) She __ _ ___ her mother. 是Is she like apple?还是Does she like apple? She doesn't like meat very much的同义句 She looks like her mother.中“looks”“like”各做什么成分? 一个正方形的盒子中恰好能放一个体积为628立方厘米的圆柱,请你求出这个盒子的容器是多少立方厘米? 一个远新喷水池的周长62.8米,在水池外有一条有1米的水泥路.路的面积是多少平方米 She is kind to us like a mother TB10102-2010{铁路工程土工试验规程}中水泥或石灰的剂量测定(EDTA滴定法)混合料300g包含水质量不?我计算出来水泥分别为0%2%4%6%8%,用水质量是一样的,是否正确? 将一块石头放入装满水的溢水杯中,溢出水体积100立方厘米,求1、溢出的水的重力 2、石块受到水的浮力我怎么算都算到负的.不说也行~ She is like my mother_____me,为什么空格填to, edta测水泥的具体步骤 为什么水泥路面毎隔一小段就有一个小小的缝隙 I'm not going to lie to them. If your mother is anything like you, which I know she is...I'm not going to lie to them. If your mother is anything like you, which I know she is, she can call my bluff. 有一铁球质量为32克,体积为8立方厘米,问该球是否实心?(铁的密度为7.8克每立方厘米 密度与社会生活:一般的水泥路面都会保留一些缝隙,原因是什么 200立方白灰粉等于多少吨 What does she look like?what is she like? 把一个底面半径是4厘米,高是9厘米的铁制圆锥放入盛满水的桶里,将有多少立方厘米的水溢出 短文填空. Mrs.Green doesn't like sports.She has much w_____to do at home.Her mother is c_____ thisafternoon and she goes to m_____.Near the school she looks at her w_____.She has some time .So she goes into th what is she like.和what does she like 的区别还有就是有第三人称的动词like不是要加s吗.为什么以上两个句子都不用? 把一个底面半径是6厘米,高是9厘米的铁制圆锥放入盛满水的桶里,将有多少立方厘米的水溢出? 同一块铁,先后放入盐水、水或煤油中,它所受的浮力大小为() 为什么?A、投入盐水时浮力大B、投入水中时浮力大C、投入煤油时浮力大D、都一样大 [英语问题]有没有how does she look like?与what does she look like 请有把握的人(高手)告诉我,可以用较深的语法theasura:what does she look like 应该不是看起来像什么吧,我觉得应该就是看起来怎么样 把一个底面半径是4厘米,高是12厘米的铁制圆锥放入盛满水的桶里,将有多少立方厘米的水溢出?结果用(π (pai) 表示) 一吨白灰大约多少立方? 一个圆形喷水池周长62、8米,绕着这个水池修一条宽2米的水泥路.求路面的面积. 把一个底面半径4厘米,高是9厘米的铁质圆锥放入盛满水的桶里,将有多少立方厘米的水溢出? 白灰一吨多少立方 在一个圆形喷水池周长是20米,绕着这个水池修一条宽2米的水泥路.求路面的面积 she dosen't look like her mother ,i think还可以怎么说 英语词汇填空1.She is a -(beauty) girl and she looks like her mother.2.There are a lot of--(cloud) in the sky.It's---(cloud).3.Children's pa;ace is a good p;ace ---(have) fun. 一个图形喷水池的周长是62.8米,绕着这个水池修一条宽2米的水泥路.求水泥路的面积. 急急急 帮忙要正确的答案 She doesn't look like her mother,l thing.(同义句) l______think she______like her mother. the girl ___ her mother and her mother ___her (like) 把体积为50立方厘米的铁球全部进入盛满水的容器中,溢出的水重()牛顿 新建水泥路面的切缝深度一般要求是多少 The girl ____ her mother and her mom ___ beautiful.(用look like 和look 适当形式填空) ) 有一个圆形喷水池的周长是62.8米,绕着这个水池修一条宽2米的水泥路,求路面的面积. 仿古砖为什么要留缝 The girl is sky.She is () her mother nowa.underb.on c.behind d.in 一个圆形喷水池的周长是62.8米,在水池外边有一条0.5米宽的水泥路.路的面积是多少平方米? She chopsticks for buys her mother 连词成句 The little girl is like her mother.改为同义句The little girl _______ ________her mother. what does she look like 同意句转换what is she like 应该是问她喜欢什么吧..而How应该是问身体状况之类的吧.. 连词成句:look mother like your you do? 重为100g的物体放入装满水的容器有90g水溢出,物体会怎样 A漂浮 B悬浮 C沉底 D不能判断说明理由 体积是50立方厘米,质量是45克的物体放入水中,溢出多少克 将实心铁块放入盛满酒精的容器中,溢出酒精27克,若把质量相等的实心铝块放入盛满酒p酒=0.8克每立方厘米,p铝=2.7克每立方厘米 一吨白灰等于多少方
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn