说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

网易王健宗:革命Hadoop,Spark带来百亿市场价值!

HTML文档下载 WORD文档下载 PDF文档下载
王健宗认为,对比经过5年以上发展的Hadoop,Spark这个Apache顶级项目还有很长的路要走,然而当你看到一些教授放弃了公职,一些博士中断了学业,你就会相信百亿市场价值并非虚言。毋庸置疑,Hadoop的代替者已然出现!

2014年4月19日“中国Spark技术峰会”(Spark Summit China 2014)将在北京召开,国内外Apache Spark社区成员和企业用户将首次齐聚北京。AMPLab、Databricks、Intel、淘宝、网易等公司的Spark贡献者及一线开发者将分享他们在生产环境中的Spark项目经验和最佳实践方案。


Spark作为一个通用的并行计算框架,已经成为继Hadoop之后又一大热门开源项目,逐渐获得很多企业的支持。在Spark技术峰会召开前夕,记者采访到了本次峰会的演讲者——网易高级研究员、中国计算机学会大数据专委会委员王健宗博士。他曾任惠普云计算高级解决方案专家和美国莱斯大学电子与计算工程系研究员,现负责网易游戏大数据框架的研究和部署工作,在其推广下成功将Spark稳定应用在生产环境中。


网易高级研究员、中国计算机学会大数据专委会委员王健宗博士

CSDN的专访整理如下:

 - 什么原因吸引你钻研Spark技术?   

主要是Berkeley AMPLab出的东西吸引了我,我很信奉一句:“AMP出品,必属精品”,基本上每周我都会关注他们LAB的主页,阅读他们的技术报告和论文,紧跟他们的研究前沿,建议大家有兴趣多关注一下 https://amplab.cs.berkeley.edu/projects/  ,目前他们所孵化的一些生物计算、多核、机器学习等项目可能未来也会影响整个计算机领域。

记得五六年前,在云计算风生水起的时候,AMPLab所发表的“ABOVE THE CLOUDS: A BERKELEY VIEW OF CLOUD COMPUTING”,是目前云计算引用最高的文章,你现在回头看这篇文章会发现目前云计算的发展方向和战略依然逃不出这篇文章当时所定义和规划的内容。

我再说个例子,我以前最早是从事存储研究工作的,而AMPLab所出的RISC 、RAID、NOW可以说改变了并深远影响了整个计算机工业,记得我在美国留学的时候,和AMPLab的创始人DAVID PATTERSON有过当面的交流,对于这个杰出科学家依然保持对技术的热情,每天依然和学生MEETING到深夜的敬业精神所深深感动,有这样的一群人,你说他们所出的东西还用怀疑吗?

Spark最早出现的时候,我就很关注,这是Berkeley AMPLab在大数据时代的杀手锏,也是将来能一统大数据领域的利器,套用大约三十年前他们发明RAID时候的话,我觉得“ Spark会带来百亿的市场价值”。

- 对于解决哪些问题Spark独具优势?

Spark的优势得天独厚,其是一个完整的大数据处理生态系统,除了底层存储HDFS还需要使用Hadoop的生态系统外,其他方面完全可以替代Hadoop,Hadoop自己在可用性、可靠性、实时性方面的一些劣势我这里就不重复叙述了,而Spark正是可以革命Hadoop的目前唯一替代者。

- 目前企业应用Spark最大的困难是什么?

目前最大的困难还是人的因素,了解Spark的人还是太少,我现在去和一些企业有大数据需求的CEO聊天的时候,一些单位使用Hadoop的人都很少,何谈Spark?

目前Spark处于企业应用的起步阶段,主要是一些大公司在应用,的确各方面还是不成熟,所以培养一批Spark技术专家来推动企业的应用迫不及待,也是目前企业应用的最大困难。

- 根据您的了解,目前Spark发展的情况如何?

目前SPARK整个大数据处理生态系统,如流处理、图技术、机器学习、NoSQL查询等方面都有自己的技术,并且也刚刚成为Apache顶级Project,在Hadoop 2.0中也完美整合,此外AMPLab一批人成立了公司来全力推动,有一些教授放弃了公职,一些博士中断了学业,相信以这种壮士断腕的霸气肯定可以把Spark发展好,Hadoop从推动到目前大规模应用也走了五年多时间,而Spark还有比较长的路要走。

- 请谈谈你在这次大会上即将分享的话题。

我主要介绍自己Spark的一些经验得失,因为Spark对于你我他都是新东西,都处于学习阶段,我只是走得前了一小步,所以我的一些经验总结期望能为大家应用落地Spark提供参考和帮助。

- 哪些听众最应该了解这些话题,这个话题可以帮助听众解决哪些问题?

我认为所有对大数据处理有兴趣,或者出现大数据处理实时性困难的公司或者个人都可以来参加这个峰会。相信经过这次峰会之后,可以坚定大家回去之后应用Spark来提到Hadoop的决心和信心,更多的内容我们可以峰会的时候交流。

写在最后:

采访的最后,王健宗表达了对中国Spark技术峰会的祝福,他预祝中国Spark技术峰会成功举办,以技术为社会创造更多价值!

更多精彩尽在2014年4月19日中国Spark技术峰会,3月31日前购票订票可享受最低票价优惠。

处理Select语句中的单引号 -VB资料 断开所有的数据连接 -VB资料 访问VB外来数据库 非access数据库在vb中的编程及应用 关闭程序中所有创建的数据库连接。 -VB资料 关闭所有的数据连接 -VB资料 关于数据报表的打印设置-VB资料 VB建立、改变及重构Access数据库-VB资料 结构化查询语言(SQL)详解之一-VB资料 利用VB使ACCESS数据库在网络使用中保持同步 返回 连接Data到多个表单-VB资料 列出 SQL Server 数据库中所有的存储过程-VB资料 列出MDB档当中所有table的名称-VB资料 您想知道有谁正在使用您的 Access 文件吗?(多人环境中)-VB资料 主题:浅谈Excel 的VB编程 巧用VB6的DataGrid实现通用电子表格 VB取得正确的 RecordCount 值 主題:如何动态新增、移除 ODBC DSN? -VB资料 VB如何将表中的数据导出到电子表格中 VB如何将文本文件转换为ACCESS数据库 VB如何將 Excel 的文件导入 Access文件? VB如何判断数据中是否存在某一表或查询 VB如何删除FoxPro数据库的数据? VB如何设置对VB数据库连接的动态路径 VB如何使用 ADO 來压缩或修复 Microsoft Access 文件 VB如何修改Foxpro数据库(不是用VB实现的,不过也可以看看) VB如何在 SQL 语句中使用日期? 返回 VB如何在表中保存单引号? VB如何抓出 Access 的 Table 欄位中的【敘述】部份呢? 实现Access数据库的Web查询-VB资料 使用Visual Basic访问数据库几个注意的问题 VS 2003哪里有下?VB的GRIDCTRL如何调整各列的宽度? 请问如何把datagrid中的数据到出到Excel中做报表 DLLHOST.EXE是什么东西?它占用了CPU的99%,服务器慢如蜗牛,ASP文件不能正常运行,救命啊!!!!!! 急用!谁能提供五子棋的算法和设计? 谁有无限制的activethread控件,通知一下, 很急! 谁能提供五子棋的算法和设计?急用! 请教一个WebLogic问题,请高手帮忙! 怎么知道DLL里函数以及它的参数 有关IE主页被恶意修改的问题请教。。__急! 急用!谁能提供五子棋的算法和设计? set mail=server.createobject("cdonts.newmail") 错误,高手指点一下!!! 谁能提供五子棋的算法和设计?急用! 如何解决??? UNIX中文录入的问题 菜鸟求一个语句 500分给前辈 大家都来看看这些女人(三分长相,七分打扮) 兄弟们,帮忙提供个参数~送100分了,承蒙关照了 调查:你现在用哪种开发工具,感觉如何? 防火墙经常出现类似记录信息 请问.pdg格式的电子图书如何浏览 新版net2003web Service 奇怪的FileNotFoundException错误 求救:支持汉字的OCR控件。给个制作思路也成。 在网络中运行in.readline 的时候会不会等待有流传来才读取的??很矛盾 ODBC的作用?=我的机器上没安任何数据库管理系统(如:access,foxpro等)但我可以用asp访问某个.mdb文件,是吗? 怎样用程序实现把FTP站点映射为一个驱动器? 虚拟光驱是怎样做的? //非常奇特的系统启动现象,进来看看// 有没有这样的涂鸦板的代码 //非常奇特的系统启动现象,进来看看// //非常奇特的系统启动现象,进来看看// //非常奇特的系统启动现象,进来看看// 请问各位大虾,JSP服务器使用j2ee的多不多??? 为何crystal report4.6打印出来的纸张长度大于预览时的长度 怎样实现? 听在迈普(maipu)的同学说,在这学期的毕业实习里,很多新人被开掉了,为自己的想象力惭愧 在datagrid模板中绑定的label控件怎么解决显示文本宽度的固定 有点困惑! add() mssql中如何将字段类型设为“布尔”类型? 麻烦高手给我说VC++和标准C中不一致的地方 我的明天何去何从! 如何在SQL中存储图片的路径 导入一幅图片到Form中,怎么才能实现图片的拖拽、旋转和放大缩小? 一个简单问题,会着不难!敬请帮忙! 急死了请高手帮帮忙 我发布的Release版本,在本机能使用,在别人的机子上就不能用啊! 帮帮忙嘛高手 传真的问题 求教!如何得到CDialogBar上某个CButton控件在该DialogBar上的坐标值? 关于openfile()应该怎样定义 2.3题, 台湾人为什么读和是han古时候是读han吗? 二.组词 斯( )( )( ) 稿( )( )( ) 催( )( )( ) 滨( )( )( ) 拐( )( )( )择( )( )( )踩( )( )( )窄( )( )( )三.攻克:微不足道:漫山遍野: 如果把数字7写到某一个一位数的后边这个数就增加了43一位数是多少怎么解答 台湾人为什么要把“和”读成“han”听起来很别扭,怪怪的!难道台湾人在电视剧里都用方言? 拐换偏旁组词能组成什么 在矩形ABCD中,AD=5,AB=3.点O为BC边上的中点,点E、F都是直线(!)AD、DC上的动点,且保持∠EOF=90°.若四边形EODF的面积为该矩形的一半,则AE= . 为什么台湾人把 和 读成han周杰伦却不是 面对新素质教育初中生物教师应如何适应 2 4 7后面的数字是什么? 为什麽台湾人习惯把和读作han 速求 素质教育的口号 适合初中用的要8个字的 如题 台湾人把"和"念成"han"?他们不是说国语吗? 新概念第一册8种时态单词变化 同样的电阻串并联,阻值会发生变化吗?两图阻值一样吗? 线代题:A乘以A的转置等于零,如何证明A等于零? 以“珍惜”为话题 不少于500字 最好是 珍惜时间 的 销魂黯然.销魂是红色的,黯然是灰色的是什么成语 已知△ABC的三边a、b、c满足a的平方+2ab-2bc=c的平方,请判断△ABC的形状. 新概念一册时态OOOOOVMMMMM, 如何可以快速打开白炽灯灯头?如何打开灯头让玻璃与灯头良好分离 我是中国人中的是是什么词 sin(x/2)怎么化成sinx和cosx的形式啊 汗毛读han四声,还是han二声 填上适当的敬谦词语:请对方指点说——,请别人保存某物为——,称对方的议论为—— sinx的图像怎么变成cosx 怎样去除白炽灯灯头就是剩下白炽灯主体,作艺术品那种 求达人做完所有成就的达人回答.我最想知道那个人类10胜电脑 独自一人选择人类获得10场势均力敌的多人自定义游戏.这个怎么进的?我是点的 单人游戏 在点的 自定义 然后选的人类 赢了结果 《庄子》中的寓言故事,至少3个,除涸辙之鲋、匠石运斤、不龟手之药 请问这是什么鸟?喂什么?能养活吗? 求证:b^(lga)/a^(lgb)=1RT 中学生应怎样看待素质教育? 平安鸟都吃什么?春天天暖和了,还能养活吗? 2lgx^2-4lgx+1=0,a b是两个实根,为什么推出lga lgb是2t^2-4t+1的两个根? 找分式方程的最简公分母的时候常数项的分母算在最简公分母里吗? 做毛蛋的蛋用的是活的还是死的?卖毛蛋是用的死蛋还是活的?如果是死蛋,去哪里找的这么多死蛋? “温暖向阳,幸福安康”英文翻译 分式方程怎样找最简分母?比如这题,给我举个例子:x/x-1=3/2x-2再减2把最简公分母找出来 .然后再把你写出来的第一步和第二步以及结果写的要非常详细 毛蛋和活珠有什么区别? 已知:4a^2+b^2-8a+2b+5=0,求(a-b)^4 分式方程1/(x-3)- 1/3+x=1/x^2-9去分母时,最简公分母是 如果把数字7写在某数右端,该数增加了7000,这个数是多少? 单线穿折弯又环!解数字是几? 被积函数R(sinx,cosx)=R(-sinx,-cosx) 为什么可以用t=tanx换元,能给我讲明白点吗?三角函数有理式的积分表达式特点是R(sinx,cosx)=R(-sinx,-cosx) 举个例子,为什么可以用t=tanx换元,能给我讲详细 通过凹透镜的光不一定是发散光、、这句话对吗 活珠和毛蛋有什么区别?好奇. 厨师在煎鸡蛋,要煎五个蛋,只有一个锅.问:每次能煎两个蛋,煎两面,每面两分钟,最少要几分钟? 雨和传能组成什么浪漫的成语 如果把数字7写在数的右端,该数增加了7000,这个数是多少? 关于新概念第二册第42课的时态As we had had a long walk through one of the markets of Old Delhi,we stopped at a square to have a rest.After a time,we noticed a snake-charmer with two large baskets at the other side of the square,so we went 数学,我要过程 毛蛋实蛋》毛蛋是小鸡 石蛋是鸡蛋 是么?```` 有假的用交做的那种吧?/``我自己不会做`` `谁知道告诉告诉我`!````我辽宁鞍山海城的`!```` 拐怎么组词 像前俯后仰一样写人的动作的成语 三个 如把数字7写在数的右端该数加7000该数是几 拐组词有哪些 电阻色环的阻值,各位请帮忙看看图中的电阻是多大的?忘了发图片了,红 什么鸟好养活? 拐能组什么词语 尼泊尔政客涉嫌谋杀同党候选人 两印度尼泊尔政客涉嫌谋杀同党候选人 两印度叙利亚问题联合特使卜拉希米抵达大马士浙江一盗销柴油团伙五分钟能使满箱柴油拆东墙补西墙 浙江一男子非法集资14李克强会见德国友人多国对美国监听表达不满要求解释 研究突尼斯政治纷争致市政荒废 街头成“垃俄官员说中国是俄旅游领域主要战略伙伴四川南充男子驾中巴强冲交警队和法院 俄官员说中国是俄旅游领域主要战略伙伴张高丽会见美国能源部长莫尼兹外交部:国际社会应尽早制定网络空间行赵洪祝会见尼泊尔客人范长龙会见巴基斯坦陆军参谋长华媒:揭秘核潜艇部队剑有所指 新海军中国核潜艇部队42年来首次揭秘 打击揭牌首月 上海自贸试验区登记企业同比21世纪理事会将就“读懂中国”展开讨浙台经贸合作平台发展规划发布 打造超外交部:日本领导人有关言论表明日本政西媒:齐达内曾拒沙特球队千万高薪这物超灵验:甩肉,降压,防癌,一个月投融家全新亮相 2016重新出发IFFHS世界联赛排名出炉:西甲榜首他与李连杰演父子被周星驰姜文选中 最3天补气排毒5天清除体内脂肪 皮肤白摄手记丨W1. 新年登高,欲看雪满太【北京商报】翼龙贷成交易额最大三农P蜂蜜柠檬饮油价跌破30美元 沙特真能熬到201这部影片很好的说明了男女对性和爱的理腰果可可酥保险投资基金,实体经济发展新能源混合面小馒头红酒番茄焖大虾波兰航空医疗救援服务机构接收四架H1午夜FM | 你绝不会选哪一类人当男唯品会唯心愿助学项目年捐赠超千万帮扶看这些巨头的跨界人工智能秀| CE丰田2015年在华新车销量超百万:日证监会紧急叫停指数熔断机制 仅施行一
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘