说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

网易王健宗:革命Hadoop,Spark带来百亿市场价值!

HTML文档下载 WORD文档下载 PDF文档下载
王健宗认为,对比经过5年以上发展的Hadoop,Spark这个Apache顶级项目还有很长的路要走,然而当你看到一些教授放弃了公职,一些博士中断了学业,你就会相信百亿市场价值并非虚言。毋庸置疑,Hadoop的代替者已然出现!

2014年4月19日“中国Spark技术峰会”(Spark Summit China 2014)将在北京召开,国内外Apache Spark社区成员和企业用户将首次齐聚北京。AMPLab、Databricks、Intel、淘宝、网易等公司的Spark贡献者及一线开发者将分享他们在生产环境中的Spark项目经验和最佳实践方案。


Spark作为一个通用的并行计算框架,已经成为继Hadoop之后又一大热门开源项目,逐渐获得很多企业的支持。在Spark技术峰会召开前夕,记者采访到了本次峰会的演讲者——网易高级研究员、中国计算机学会大数据专委会委员王健宗博士。他曾任惠普云计算高级解决方案专家和美国莱斯大学电子与计算工程系研究员,现负责网易游戏大数据框架的研究和部署工作,在其推广下成功将Spark稳定应用在生产环境中。


网易高级研究员、中国计算机学会大数据专委会委员王健宗博士

CSDN的专访整理如下:

 - 什么原因吸引你钻研Spark技术?   

主要是Berkeley AMPLab出的东西吸引了我,我很信奉一句:“AMP出品,必属精品”,基本上每周我都会关注他们LAB的主页,阅读他们的技术报告和论文,紧跟他们的研究前沿,建议大家有兴趣多关注一下 https://amplab.cs.berkeley.edu/projects/  ,目前他们所孵化的一些生物计算、多核、机器学习等项目可能未来也会影响整个计算机领域。

记得五六年前,在云计算风生水起的时候,AMPLab所发表的“ABOVE THE CLOUDS: A BERKELEY VIEW OF CLOUD COMPUTING”,是目前云计算引用最高的文章,你现在回头看这篇文章会发现目前云计算的发展方向和战略依然逃不出这篇文章当时所定义和规划的内容。

我再说个例子,我以前最早是从事存储研究工作的,而AMPLab所出的RISC 、RAID、NOW可以说改变了并深远影响了整个计算机工业,记得我在美国留学的时候,和AMPLab的创始人DAVID PATTERSON有过当面的交流,对于这个杰出科学家依然保持对技术的热情,每天依然和学生MEETING到深夜的敬业精神所深深感动,有这样的一群人,你说他们所出的东西还用怀疑吗?

Spark最早出现的时候,我就很关注,这是Berkeley AMPLab在大数据时代的杀手锏,也是将来能一统大数据领域的利器,套用大约三十年前他们发明RAID时候的话,我觉得“ Spark会带来百亿的市场价值”。

- 对于解决哪些问题Spark独具优势?

Spark的优势得天独厚,其是一个完整的大数据处理生态系统,除了底层存储HDFS还需要使用Hadoop的生态系统外,其他方面完全可以替代Hadoop,Hadoop自己在可用性、可靠性、实时性方面的一些劣势我这里就不重复叙述了,而Spark正是可以革命Hadoop的目前唯一替代者。

- 目前企业应用Spark最大的困难是什么?

目前最大的困难还是人的因素,了解Spark的人还是太少,我现在去和一些企业有大数据需求的CEO聊天的时候,一些单位使用Hadoop的人都很少,何谈Spark?

目前Spark处于企业应用的起步阶段,主要是一些大公司在应用,的确各方面还是不成熟,所以培养一批Spark技术专家来推动企业的应用迫不及待,也是目前企业应用的最大困难。

- 根据您的了解,目前Spark发展的情况如何?

目前SPARK整个大数据处理生态系统,如流处理、图技术、机器学习、NoSQL查询等方面都有自己的技术,并且也刚刚成为Apache顶级Project,在Hadoop 2.0中也完美整合,此外AMPLab一批人成立了公司来全力推动,有一些教授放弃了公职,一些博士中断了学业,相信以这种壮士断腕的霸气肯定可以把Spark发展好,Hadoop从推动到目前大规模应用也走了五年多时间,而Spark还有比较长的路要走。

- 请谈谈你在这次大会上即将分享的话题。

我主要介绍自己Spark的一些经验得失,因为Spark对于你我他都是新东西,都处于学习阶段,我只是走得前了一小步,所以我的一些经验总结期望能为大家应用落地Spark提供参考和帮助。

- 哪些听众最应该了解这些话题,这个话题可以帮助听众解决哪些问题?

我认为所有对大数据处理有兴趣,或者出现大数据处理实时性困难的公司或者个人都可以来参加这个峰会。相信经过这次峰会之后,可以坚定大家回去之后应用Spark来提到Hadoop的决心和信心,更多的内容我们可以峰会的时候交流。

写在最后:

采访的最后,王健宗表达了对中国Spark技术峰会的祝福,他预祝中国Spark技术峰会成功举办,以技术为社会创造更多价值!

更多精彩尽在2014年4月19日中国Spark技术峰会,3月31日前购票订票可享受最低票价优惠。

浏览器的改进应来自用户诉求而非商业诉求 《近匠》Moxtra:可内嵌的一站式移动协同解决方案 互联网时代的无栈开发 SDCC 2015参会感——无法计算的价值 英特尔中国研究院开放日 多个研究项目齐亮相 阿里王晶昱谈淘宝双11分布式数据库实战 为什么移动化对企业级应用如此重要? 移动App图标设计的最佳实践 在Node应用中实施Web认证的四大方法 如何在Swift中使用LLVM API? 七麦科技王东:搜索优化与数据支撑打破App推广困局 Android国外学习资源汇总 【CTO讲堂】揭秘高效协作工具背后的技术架构 TIOBE 2015年12月编程语言排行榜:Java正处巅峰 “Atlassian—敏捷就这么简单“沙龙在京落幕,百度、京东专家秘技公开 《近匠》奇点机智创始人邬霄云:用DeepShare打通App间的信息孤岛 如何使用HBase构建NewSQL? 《近匠》极验验证:基于“行为沙盒”主动框架的安全验证 C语言实现拉格朗日插值 C语言实现快速傅立叶变换 新手学Android开发经常出现的问题 Windows环境下SVN项目迁移的方法 C# Winfrom控件绘制边框 ASP.NET FormsAuthentication.SignOut()无法退出登录的解决方法 百度UEditor编辑器提示错误:后端配置项没有正常加载,上传插件不能正常使用! Font Awesome字体图标的使用方法 Bootstrap响应式导航菜单栏的实现方法 C#调用百度翻译API接口实现英汉互译 VisualSVN Server免费版和企业版的区别? svn中限制上传文件大小的hooks 如何将bluehost注册的域名转出到其它服务商 我下载了mysql-3.23.57-win.zip 安装在win2k server下为何不能用? 妹妹求救:用什么软件可以编辑.dll文件! 帮帮忙 高分求VS.NET2003正版中文版下载 XML数据导入到SQL Sever数据库 IIS运行不了ASP.NET文件,怎样做呢? oracle8i安装问-在线等待-急 怎么开启dbms_output的功能。 如何批量运行插入语句??? 数据库输出的问题 关于DELPHI 与 .NET 怎么样可以使CStatic类定义的对象变成灰白的,即disabled掉,不准在资源中改。 请教一个关于文件的问题~~ 如何将UTF-8的编码变成gb2312的编码 为什么用ADOQUERy进行查询,时间超过40秒时便出现超时连接 说说 中秋你们那是怎么过的? 两天都没摆平的问题,各位帮忙看一下。我给大家唱小曲儿啦:) 向大力请教! 一点小问题 车票精确打印 深夜,你会为谁开着手机? 新手提问:日期时间无法完全显示:? 如何把位图,字体,图标资源保存在Dll动态库中,以便让不同的Windows应用程序共享 散分了300分~高兴,朋友的网站访问者有分~不够在加!!!!!!!!!!一定给分! 寻找网站后权限的解决方案---在线等待 有没有达人可以讲解下加密解密 请教高手:类的构造函数!谢谢 求一个从*.properties文件读取数据的javabean c/s部署问题 GTK2.0安装的问题??? 中国最好的免费影院--good 我的电脑打开,菜单栏没有在标题题下面,是怎么回事啊,在线等啊. windows 2000 server下能否安装oracle734 (急急-在线等)一个多条记录登记、保存问题 這樣的觸發器怎麽寫? 请问是考计算机等级考试好还是考中级程序员?以及相关书籍? 小数点后位数的问题 vb.NET文本框數據源綁定問題,各位幫忙了,小菜鳥領教了。希望你提出寶貴意見。 求助! SQLServer事务日志 这样的网友都该死!! oracle中sql*plus问题 求助:一个模板继承的问题。 能够处理音频的delphi控件 关于链接池的问题? 回答了“(新手)提问请勿见笑 float (*p)[4]的各位大哥近来拿分! 今天我去一家韩国人开的公司面试了!up有分 老兄我想换个手机号码,请问使用那个号码打长途比较省钱(131,135,136),我人在深圳. 高分求两个filter的CLSID。 (急急-在线等)一个多条记录登记、保存问题 我在VB6里调用水晶报表的printsetup方法时的问题 一片冰心在夜壶这话什么意思?一片冰心在玉壶的意思我知道~~~改了一个字,怎么解释它的意思啊? 梯形abcd中 ad平行bc,角b=40°,角c=50°,m,n分别为bc,ad的中点. 与 为友 要求:①把题目补充完整,例如:与树为友,与书为友,与老师为友……请你任选以下一个题目进行习作.与      为友  要求:①把题目补充完整,例如:与树为友,与书为友,与老 f(x)=cosx平方—2cosx/2平方一单调增区间? 求cosx平方-cosx-1单调增区间 有几题关于初二下学期的解方程应用题想请教下1.甲乙两人分别从距目的地6千米和10千米的两地同时出发,甲乙的速度比是3:4,结果甲比乙提前20分到达目的地.求甲乙的速度.2.张明4小时清点完 类似于棍棒底下出孝子的谚语俗语就是大意就是说做父母的要严加管教孩子才会学习成绩好的话 完颜阿骨打,拓跋宏,铁木真,这几个人是什么关系,我弄昏了是一个朝代的么 秦始皇VS铁木真秦始皇缔造了一个统一中央集权的中国,直到现在中国基本统一,铁木真建立并统一了蒙古,直到现在.秦始皇与铁木真相比,哪一个对世界历史的影响更深远? 尿壶里蒸饺子 打一歇后语如题 求函数f(x)=cos平方x+cosx+1的最值 澳大利亚一名17岁男生步行赴学校途中美国拟投资82亿美元治水 有望以此刺蒙古国成为“黄金国” 法德纷纷“带团法国征收75%富人税致LV老板移民 日本著名侦探解读最容易发生外遇的职业日本奈良县发现平安时代将棋的驹“醉象叙利亚工程师开发新软件 可发短信预警肯尼亚1998年恐袭受害者寻求帮助商合杭高铁拿到准生证 安吉将结束不通德清党群服务中心创新模式获得党员群众好莱坞大道变性人受攻击案第二名嫌犯落习近平作指示李克强赴现场队长停3场 恒大难上难西班牙:火山口建烧烤餐馆禅之旅 摄影俱乐部成立汉堡全勤继续留在德甲男子盗名车后视镜获刑广州建汽车充电站最高补贴300万元只给钱不管教 孩子贩毒被抓UIC首次提前批一本录取去哪儿首季净亏增加资金压力大或难单飞90后影帝董子健:我演的就是肖央回明之富二代传奇都市修真纵横录娱乐群侠传剑侠传奇树道天堂勿忘我都市神权剥夺者重生我就是传奇国域无双网游之雷霆毁灭者数码暴龙之组合世界妖气临人神木园旅游洱源旅游党家村旅游帕拉庄园旅游六奇阁旅游尸陀林旅游毕棚沟旅游野趣沟旅游金钟水库旅游岐江夜游旅游图们江旅游
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘