说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

网易王健宗:革命Hadoop,Spark带来百亿市场价值!

HTML文档下载 WORD文档下载 PDF文档下载
王健宗认为,对比经过5年以上发展的Hadoop,Spark这个Apache顶级项目还有很长的路要走,然而当你看到一些教授放弃了公职,一些博士中断了学业,你就会相信百亿市场价值并非虚言。毋庸置疑,Hadoop的代替者已然出现!

2014年4月19日“中国Spark技术峰会”(Spark Summit China 2014)将在北京召开,国内外Apache Spark社区成员和企业用户将首次齐聚北京。AMPLab、Databricks、Intel、淘宝、网易等公司的Spark贡献者及一线开发者将分享他们在生产环境中的Spark项目经验和最佳实践方案。


Spark作为一个通用的并行计算框架,已经成为继Hadoop之后又一大热门开源项目,逐渐获得很多企业的支持。在Spark技术峰会召开前夕,记者采访到了本次峰会的演讲者——网易高级研究员、中国计算机学会大数据专委会委员王健宗博士。他曾任惠普云计算高级解决方案专家和美国莱斯大学电子与计算工程系研究员,现负责网易游戏大数据框架的研究和部署工作,在其推广下成功将Spark稳定应用在生产环境中。


网易高级研究员、中国计算机学会大数据专委会委员王健宗博士

CSDN的专访整理如下:

 - 什么原因吸引你钻研Spark技术?   

主要是Berkeley AMPLab出的东西吸引了我,我很信奉一句:“AMP出品,必属精品”,基本上每周我都会关注他们LAB的主页,阅读他们的技术报告和论文,紧跟他们的研究前沿,建议大家有兴趣多关注一下 https://amplab.cs.berkeley.edu/projects/  ,目前他们所孵化的一些生物计算、多核、机器学习等项目可能未来也会影响整个计算机领域。

记得五六年前,在云计算风生水起的时候,AMPLab所发表的“ABOVE THE CLOUDS: A BERKELEY VIEW OF CLOUD COMPUTING”,是目前云计算引用最高的文章,你现在回头看这篇文章会发现目前云计算的发展方向和战略依然逃不出这篇文章当时所定义和规划的内容。

我再说个例子,我以前最早是从事存储研究工作的,而AMPLab所出的RISC 、RAID、NOW可以说改变了并深远影响了整个计算机工业,记得我在美国留学的时候,和AMPLab的创始人DAVID PATTERSON有过当面的交流,对于这个杰出科学家依然保持对技术的热情,每天依然和学生MEETING到深夜的敬业精神所深深感动,有这样的一群人,你说他们所出的东西还用怀疑吗?

Spark最早出现的时候,我就很关注,这是Berkeley AMPLab在大数据时代的杀手锏,也是将来能一统大数据领域的利器,套用大约三十年前他们发明RAID时候的话,我觉得“ Spark会带来百亿的市场价值”。

- 对于解决哪些问题Spark独具优势?

Spark的优势得天独厚,其是一个完整的大数据处理生态系统,除了底层存储HDFS还需要使用Hadoop的生态系统外,其他方面完全可以替代Hadoop,Hadoop自己在可用性、可靠性、实时性方面的一些劣势我这里就不重复叙述了,而Spark正是可以革命Hadoop的目前唯一替代者。

- 目前企业应用Spark最大的困难是什么?

目前最大的困难还是人的因素,了解Spark的人还是太少,我现在去和一些企业有大数据需求的CEO聊天的时候,一些单位使用Hadoop的人都很少,何谈Spark?

目前Spark处于企业应用的起步阶段,主要是一些大公司在应用,的确各方面还是不成熟,所以培养一批Spark技术专家来推动企业的应用迫不及待,也是目前企业应用的最大困难。

- 根据您的了解,目前Spark发展的情况如何?

目前SPARK整个大数据处理生态系统,如流处理、图技术、机器学习、NoSQL查询等方面都有自己的技术,并且也刚刚成为Apache顶级Project,在Hadoop 2.0中也完美整合,此外AMPLab一批人成立了公司来全力推动,有一些教授放弃了公职,一些博士中断了学业,相信以这种壮士断腕的霸气肯定可以把Spark发展好,Hadoop从推动到目前大规模应用也走了五年多时间,而Spark还有比较长的路要走。

- 请谈谈你在这次大会上即将分享的话题。

我主要介绍自己Spark的一些经验得失,因为Spark对于你我他都是新东西,都处于学习阶段,我只是走得前了一小步,所以我的一些经验总结期望能为大家应用落地Spark提供参考和帮助。

- 哪些听众最应该了解这些话题,这个话题可以帮助听众解决哪些问题?

我认为所有对大数据处理有兴趣,或者出现大数据处理实时性困难的公司或者个人都可以来参加这个峰会。相信经过这次峰会之后,可以坚定大家回去之后应用Spark来提到Hadoop的决心和信心,更多的内容我们可以峰会的时候交流。

写在最后:

采访的最后,王健宗表达了对中国Spark技术峰会的祝福,他预祝中国Spark技术峰会成功举办,以技术为社会创造更多价值!

更多精彩尽在2014年4月19日中国Spark技术峰会,3月31日前购票订票可享受最低票价优惠。

谷歌推出PNaCl,帮助开发者在任何硬件和网站上运行代码 阿里云:双十一350亿交易额的幕后英雄 索尼移动智能设备全球技术总监Goran Andersson:索尼移动可穿戴设备解决方案 腾讯社交网络事业部副总裁陈磊:腾讯移动开发者服务体系 基调网络副总裁陈靖华:全面掌握移动应用性能 蓝港在线创始人王峰:手游新时代下的机会与挑战! Couchbase CEO Bob Wiederhold:数据库云端同步,移动应用开发的未来 三星电子大中华区副总裁黄伽卫:构建移动互联生态,解读内容服务新方向 MDCC 2013移动开发者大会:新浪潮,新硬件! 网站建设,如何平衡产品特性和利益需求? 开发者是如何提升技能水平的 Databricks核心成员专访:大数据时代“智能手机”Spark 数据密集、快速启动、核心应用,IBM存储重兵布阵 企业移动应用与BYOD:移动互联大势所趋 “首届智能硬件峰会”上午会议亮点汇总 代价究竟高不高,苹果为什么要在Android专利诉讼上花费2亿美元? 产品与设计专题论坛(下):App之美 产品与设计专题论坛(上):扁平还是拟物?产品说了算! 首届移动娱乐游戏峰会:中外手游的交锋与对抗(下) 研发人员超过500,基金会金牌会员,华为豪赌OpenStack New way of thinking:索尼SmartWatch 2应用开发马拉松大赛圆满结束 离了你地球照样转,谷歌地图并非苹果的必需品 面试必备的9大成功秘诀 Chuck Goldman:乔布斯从来不会说苹果不是企业应用的公司 全球最大的图片社交分享网站Pinterest发布首个API UX设计程序的五个谬论 研发周报:2013年美国开发者薪资调查报告 【开源推荐】PredictionIO:构建预测功能的机器学习服务器 只需4步 百度SiteApp助力京华网移动版落地 Windows Azure开放公测5个月的收获 RDS添加PostgreSQL支持 几家欢喜几家忧 简单的入门问题:如何让菜单变灰? how add icon to one popup menu ? 怎么判断一个form对象变量为空呢? 发送和接收数据包问题? ActiveX问题,微软专家请进.<------------- 急 *.idc不能运行了,请问这是为什么? dbcontrols(泰山__抛砖引玉) 怎样才能够把ado记录集写到EXECL并进行打印呢? 如何判断字符串中,有几个指定的字符? xml数据文件倒入数据库,有什么好方法。 检查数据的有效性,最好是在哪一个事件中检查?怎样写,可否给点例子。 如何在DELPHI中调用FLASH图片。谢谢!有帮助的给分! 一个有关串列的question!HELP.. 怎样让对话框总在最前? 今天一个女孩脸红的对我说声谢谢 为什么dll调试跟踪不进去 菜鸟提问:请解释一下.vbs好吗?里面可以放那些东西,怎么引用.......等等 Delphi 2 BCB的问题:BCB中的"::", ".","->"有什么区别? *.idc不能运行了,请问这是为什么?谢谢 简单的数据库问题 CFileDialog()函数的参数问题????? php ed3.0 为什么不好使 大散分,快来答,答者有分! access 表中的datetime型字段在delphi中如何使用? 有谁看过《Visual C#.NET开发实践》?? 怎样改变按钮标题的颜色? 请大家帮忙测试一下这段winsocket代码,为什么接受不到字符串 数据库问题 如何理解COM中的自动化?跟贴有分!!! 怎么样才能实现对音量的控制,最好能达到有下脚喇叭的功能 phpmyadmin之前的密码认真是怎么回事呀(配置问题) 谁能帮忙介绍工作? 请介绍几个现在还提供免费个人主页的地方 IIS运行起来后,不能访问http://localhost是什么原因? 谁能帮忙介绍工作? 关于控件数组 急需收发文系统的完整代码,谢谢! 我想用VB写一个com分页读出tif中的多幅图像,请高手指点! 请教sql查询 情介绍一个数据库编程的好书! 请教:JBuilder中要调用MapXtreme 的bean,怎么搞,定给分 为什么TOP不能限制数据集的数目???见者有分!!! 找高手解决问题!! sql 2000的一个存储过程,有些问题, 谁能帮忙介绍工作? golive6,如何解决中文问题???在源码中无法显示中文,如何解决??? 请看看这两条代码是否一样? 寻---陈建春之<visual C++高级编程技术---开发实例剖析> 想学学UML…… 现在工作好烦!!!!!! 关于combobox很简单的问题 各位大夏,我用JBUILDER做EJB时已经编译了,可是为什么那个TOOL菜单里面的EJB DEPLOYMENT子菜单是灰的啊?也就是我怎么生成部署描述设置 未来的住宅作文400字 妈妈买了6.5千克豆角,付出20元,找回1.8元,每千克豆角多少元? 作文〈自我反思〉怎么写请给一篇作文〈自我反思〉 以“那一幕,我难以忘怀”为题的作文的精彩开头和结尾怎么写? 曲一线高中知识清单怎么样?和中学地理图文详解指导地图册相比呢?我已经有了一本中学地理图文详解指导地图册,我已经有了一本中学地理图文详解指导地图册.再买会不会重叠? 6年级下册数学的圆柱的表面积 感人的一幕作文开头结尾是说一个人和动物的感人故事的开头和结尾不要发故事 只是开头结尾有意者来 高中曲一线知识清单和解题题典哪本书好?基础一般 想找一本理化生的练习册 可以增加基础知识并且还有一些例题什么的练习册 求推荐 作文 坚强的我原题是:( )的我 写鱼的作文500字 关于曲一线高中习题化知识清单. 坚强的作文的作文 关爱为主题的作文精彩开头和结尾如果可以帮我介绍一些事例 学校办公室买来20套桌椅,共用云4300元,已知椅子每把50元,桌子每张多少钱?列方程 高中习题化知识清单历史的答案?当初买回来的时候以为答案在后面...可是买回来一看没有...那怎么办啊? 放一百元,答对加上悬赏分随你说我加了15,快回答再加10 求小学四年级寒假新天地答案(科学技术文献出版社) 求话题为“自我反省”作文! 一个圆形水池,周长是157米.这个水池占地多少平方米?0.19625吗? 一套桌椅的价钱是528元,其中椅子的价钱是桌子的5/7.椅子的价钱是多少?(用方程解) 关于自我反省 自我批评的作文 剁椒鱼头的剁椒怎么做看好了是 剁椒 我曾经在饭店时吃米饭的时候加了点剁椒很好吃 有一盆红的有一盆绿的 味道也不一样 要完整的答案 该书是由科学技术文献出版社出版的发答案的请尽量发详细些如果可以的话就发 这2个发出来也可以 自我反省的作文? 剁椒鱼头的家常做法剁椒鱼头有没有简单家常的做法?为什么我做的有点腥? 学校有一笔钱,全买桌子可以买40张,若买椅子可以买60把,可以买桌椅多少套方程解答 曲一线习题化知识清单可以高中通用的吗?比如我刚上高一,就可以使用吗? 房屋的路算建筑面积吗 谁会写关于剁椒鱼头的作文,要求600字! 寒假新天地小学六级的答案 科学技术文献出版社的. 道路面积怎么算 剁椒鱼头的做法 八年级寒假新天地答案(科学.英语.数学)我很急啊 寓言故事给我的启示 做剁椒鱼头的鱼头用什么鱼的鱼头 寒假新天地高一上 政治 历史 物理 英语 语文答案 科学技术文献出版社1205933882@qq.com 这篇寓言的启示很久以前,蝴蝶非常难看,身体又粗又胖,两只灰乎乎的大翅膀在空中摆动着,动物王国的居民们都看不起她. 蝴蝶看见蜻蜓在空中翩翩起舞,友好地说:“蜻蜓姐姐,我和你一起 桌子的单价是椅子的4倍,3套桌椅360元,每张桌子的单价是多少元? 现在上的职高,自学高中知识,可以吗 游向高原的鱼水从高原由西向东流着,渤海口的一条鱼逆流而行.它的游技很精湛,因此游得很精彩,一会儿冲过浅滩,一会儿划过激流,它穿过湖泊中的层层渔网,也躲过了无数水鸟的追逐,它逆行 桌子的单价是椅子的3倍,3套桌椅360元,每张桌子多少元? 自我反思作文(期末考式没考好300字) 过年放鞭炮 400字 桌子的单价是椅子的3倍,3套桌椅360元,每张桌子多少元?用方程解 反思为什么没考好作文 过年的作文 400字 鱼肉香菇饺子怎么做 pass,绿卡,掌中宝和知识大全哪个好,还有知识大全和五三区别,高中滴 人为鱼肉 我为刀什么 小学四年级的心理健康课的教案怎么写啊~~~~ 有关于自我反省的作文!老师今天很生气啊,要我们班写一篇关于反省的作文.(最近几天我们班的纪律差到极点,上课很多人睡觉,又没什么人动手做东西.) 春联初一假日乐园说几副你喜欢的春联及原因,还有几幅你不喜欢的春联和原因. 数学六年级下册北师大版圆柱的表面积第2课时的答案 PASS绿卡高中知识大全各本的不同PASS绿卡高中知识大全的物理、生物、化学、数学和数理化生这一本有什么不同?是单科的好还是数理化生集合的好? 一道初一假期数学题有图如图所示,潜望镜中的镜子是平行的,光线经过镜子反射后,∠1=∠2,∠3=∠4,请你解释为什么进入的光线和最后离开的光线是平行的?越啰嗦越好!我办报用的!这个图是我 一个周长是280m的池塘边栽树,每隔4m栽一棵,沿池塘一周共栽多少棵?急 有关自我反省的作文写上课表现和以后怎么做 1.若b的绝对值=—b,ab的绝对值=—ab,则a-b+3的绝对值-b-a-2的绝对值等于().2.下列说法中,错误的是()A.零除以任何数,商是零.B.任何数与零的积仍为零.C.零的相反数还是零.D.两个相反数的和为 开学初学校购进一批桌椅,桌子的价格是474元,比椅子的3倍少12元,椅子花了多少钱? 绿卡图书的图解速记高中数理化生和高中数理化知识点大全那个好用?RT排版、内容各个方面哪个更好?
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘