说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

网易王健宗:革命Hadoop,Spark带来百亿市场价值!

HTML文档下载 WORD文档下载 PDF文档下载
王健宗认为,对比经过5年以上发展的Hadoop,Spark这个Apache顶级项目还有很长的路要走,然而当你看到一些教授放弃了公职,一些博士中断了学业,你就会相信百亿市场价值并非虚言。毋庸置疑,Hadoop的代替者已然出现!

2014年4月19日“中国Spark技术峰会”(Spark Summit China 2014)将在北京召开,国内外Apache Spark社区成员和企业用户将首次齐聚北京。AMPLab、Databricks、Intel、淘宝、网易等公司的Spark贡献者及一线开发者将分享他们在生产环境中的Spark项目经验和最佳实践方案。


Spark作为一个通用的并行计算框架,已经成为继Hadoop之后又一大热门开源项目,逐渐获得很多企业的支持。在Spark技术峰会召开前夕,记者采访到了本次峰会的演讲者——网易高级研究员、中国计算机学会大数据专委会委员王健宗博士。他曾任惠普云计算高级解决方案专家和美国莱斯大学电子与计算工程系研究员,现负责网易游戏大数据框架的研究和部署工作,在其推广下成功将Spark稳定应用在生产环境中。


网易高级研究员、中国计算机学会大数据专委会委员王健宗博士

CSDN的专访整理如下:

 - 什么原因吸引你钻研Spark技术?   

主要是Berkeley AMPLab出的东西吸引了我,我很信奉一句:“AMP出品,必属精品”,基本上每周我都会关注他们LAB的主页,阅读他们的技术报告和论文,紧跟他们的研究前沿,建议大家有兴趣多关注一下 https://amplab.cs.berkeley.edu/projects/  ,目前他们所孵化的一些生物计算、多核、机器学习等项目可能未来也会影响整个计算机领域。

记得五六年前,在云计算风生水起的时候,AMPLab所发表的“ABOVE THE CLOUDS: A BERKELEY VIEW OF CLOUD COMPUTING”,是目前云计算引用最高的文章,你现在回头看这篇文章会发现目前云计算的发展方向和战略依然逃不出这篇文章当时所定义和规划的内容。

我再说个例子,我以前最早是从事存储研究工作的,而AMPLab所出的RISC 、RAID、NOW可以说改变了并深远影响了整个计算机工业,记得我在美国留学的时候,和AMPLab的创始人DAVID PATTERSON有过当面的交流,对于这个杰出科学家依然保持对技术的热情,每天依然和学生MEETING到深夜的敬业精神所深深感动,有这样的一群人,你说他们所出的东西还用怀疑吗?

Spark最早出现的时候,我就很关注,这是Berkeley AMPLab在大数据时代的杀手锏,也是将来能一统大数据领域的利器,套用大约三十年前他们发明RAID时候的话,我觉得“ Spark会带来百亿的市场价值”。

- 对于解决哪些问题Spark独具优势?

Spark的优势得天独厚,其是一个完整的大数据处理生态系统,除了底层存储HDFS还需要使用Hadoop的生态系统外,其他方面完全可以替代Hadoop,Hadoop自己在可用性、可靠性、实时性方面的一些劣势我这里就不重复叙述了,而Spark正是可以革命Hadoop的目前唯一替代者。

- 目前企业应用Spark最大的困难是什么?

目前最大的困难还是人的因素,了解Spark的人还是太少,我现在去和一些企业有大数据需求的CEO聊天的时候,一些单位使用Hadoop的人都很少,何谈Spark?

目前Spark处于企业应用的起步阶段,主要是一些大公司在应用,的确各方面还是不成熟,所以培养一批Spark技术专家来推动企业的应用迫不及待,也是目前企业应用的最大困难。

- 根据您的了解,目前Spark发展的情况如何?

目前SPARK整个大数据处理生态系统,如流处理、图技术、机器学习、NoSQL查询等方面都有自己的技术,并且也刚刚成为Apache顶级Project,在Hadoop 2.0中也完美整合,此外AMPLab一批人成立了公司来全力推动,有一些教授放弃了公职,一些博士中断了学业,相信以这种壮士断腕的霸气肯定可以把Spark发展好,Hadoop从推动到目前大规模应用也走了五年多时间,而Spark还有比较长的路要走。

- 请谈谈你在这次大会上即将分享的话题。

我主要介绍自己Spark的一些经验得失,因为Spark对于你我他都是新东西,都处于学习阶段,我只是走得前了一小步,所以我的一些经验总结期望能为大家应用落地Spark提供参考和帮助。

- 哪些听众最应该了解这些话题,这个话题可以帮助听众解决哪些问题?

我认为所有对大数据处理有兴趣,或者出现大数据处理实时性困难的公司或者个人都可以来参加这个峰会。相信经过这次峰会之后,可以坚定大家回去之后应用Spark来提到Hadoop的决心和信心,更多的内容我们可以峰会的时候交流。

写在最后:

采访的最后,王健宗表达了对中国Spark技术峰会的祝福,他预祝中国Spark技术峰会成功举办,以技术为社会创造更多价值!

更多精彩尽在2014年4月19日中国Spark技术峰会,3月31日前购票订票可享受最低票价优惠。

Java 与 .NET 的平台发展之争 英特尔正在开发3D深度感知摄像头 可读出人类的情绪等 从数据平台到运营平台:国产开源移动统计Cobub Razor发布0.6版本 八月网络事故频现,CN域名遭最大规模网络攻击 Google云平台或将成为Amazon最大竞争对手 Camera360宣布完成1800万美元B轮融资 利用ZK Ajax框架 高效扩展Web App Web开发者需养成的8个好习惯 GitHub工程师专访:奶昔+海象+游泳池=开源 Paymill发布移动SDK,实现应用内直接支付 免费到付费:全球第二开源Web Server Nginx“堕入”商业化 乐视发布新版智能电视操作系统LetvUI 2.3—Schnauzer 进步还是灾难的开始?科学家首次通过互联网实现“心灵感应” 叫板Apple TV 谷歌发布Chromecast的iOS应用 性能提升100倍的秘密武器:一行SQL代码的妙用 60个开发者不容错过的免费资源库 专门针对初学者的Node.js教程 初创公司Parse.ly:1年内捕获1.6亿独立访问用户,收入增5倍 融资新方式:用未来10年收入的6%融资10万美元 小米手机-HAXLR8on:创客32小时全纪实 图文:看苹果下一代iPhone细节 能吸引你购买吗? [开源推荐]Intention.js:通过HTML进行响应式开发 Android副总裁Hugo Barra将加盟小米 三星将召开首届开发者大会 推新SDK和S Pen 15个步骤创立技术公司,并收获千万用户(三) H3Cloud:为企业提供最优化IaaS方案 VMware、红帽对决云管理平台 大数据辅助决策,构建智慧城市 所见即所得:四款免编程移动游戏开发引擎推荐 PaaS乱局:Container的新机遇 IDC再度下调2013年全球PC销量预期 平板电脑中枪 男子身怀假炸弹 闯北京路透社被捕 请教高手关于intraweb的相关问题,在线等待 怎样用一条SQL语句更新两个表? 用UTL_SMTP包发送邮件时,如果邮件内容是中文,收到的内容就变成乱码,怎么办? 如何调用非托管DLL的函数。实现 200分紧急求助!!!!! 给Application的open事件添加脚本 在线等待 怎麼每次都會觸發自定義字段的change event? 求救高手!!!!!! 给Application的open事件添加脚本 VB学习资料?/ select語句怎麼寫? 关于构建工资管理系统的想法!请大家踊跃发言! 考,为什么?存储过程就这么麻烦吗? 请问各位高手怎样在toolbar的按钮上载入图片?谢谢 为什么介绍sql server的书都是跟ASP联系的,有没有跟delphi 联系的? session.timeout的设置问题 我是一个初学者,我有6个问题想请教大家!希望给一点帮助 请大家帮忙想一招,我是第一次做这样的问题,简直是不可思意,吓死我了 工资太低!工作难找?提议结成联盟 初学编程,请教个小问题 请问可不可以定义 vector<vector<mystruct>> 类型? 基于单片机的步进电动机的问题,在线给高分!!!!!!!!! 无法打开的文件 怎样判断某天所属的星期的星期一和星期天对应的日期分别是什么? 如何对DBEdit组件中输入的数进行类型检查??? 我的系统是2000 server,可是我在局域网的另一台机器上实现远程登陆 请大家谈谈.net java brew三种平台的优缺点。答者有分。 怎样判断某天所属的星期的星期一和星期天对应的日期分别是什么? 什么问题啊? 怎么样才能将开发手机游戏?? 调查:这里有没有程序员买有PDA的??比较高档的。比如康柏,sony等等 有2个程序有问题,请各位高手找出错误!先谢了! 奇怪,我的BLOWFISH加密算法每次使用同一个密钥加密同一个字符串的结果都不一样! 如何使PICTUREBOX中的底图能缩放,或者哪里有透明的容器控件?在线等。 如何判断鼠标离开了一个窗口的显示区 200分紧急求助! 明天(3月13日)是我一个朋友的生日,我们一起祝福他吧:) 请大家谈谈.net java brew三种平台的优缺点。答者有分。 急急急!!! 怎么配linux的dns服务阿? 有谁知道啊? 点击链接网页竟变成下载对话框,啥会事? title为什么显示不正常 哪里有VC.NET的电子书下载? 急!急!请解释一下 请高教~~建主页~~学校的 为什么我下载的j2ee.jar里没有EJBLocalHome和EJBLocalObject接口 如何让为windows 2000 sv 同时支持asp cgi php? 如何用QQ发送消息?高手帮忙! 關於算法的問題﹐ 大家來幫幫忙呀﹗ 用什么样的灯可以拼字拼图案呢情人节想给女朋友一个惊喜,打算用灯来拼字拼图案,串灯太乱拼起来不好看,霓虹灯带又不能实现按顺序发光的目的,本人想找一个既可以拼字又可以按按顺序从 电子跃迁到激发态后电子的轨道形状会改变吗 用手接触带电的验电器,验电器金属箔闭合的过种中,电荷是怎样移动的? 判断运输能力饱和的指标 水泥成品中CaO含量对水泥使用性能的影响? 曲线运动的轨迹夹在------和-----之间且总是朝着-----方向弯曲. 一个由N15标记的DNA分子,放在没有标记的环境中培养,复制3次后,N15标记的DNA分子占DNA分子总数的多少?复制时,不会把N15遗传给新的DNA吗? 关于西方经济学的思想,凯恩斯主张的是需求决定一切对吗?而新古典主义主张供给决定一切对吗?如题,不知道我说的对不对 为什么曲线运动的轨迹会夹在v与a之间?really? 衡量人才素质领先的指标是什么? 水泥厂旋窑生产中,近期我厂石灰石品位低,生料配料石灰石钙含量只有42-44,如何配料 什么是轨道的弯曲方向曲线运动中加速度的方向与轨道的运动方向相同 我想问 什么是轨道的运动方向 衡量空调参数的两个指标是什么? 凯恩斯学派的主要观点是什么? 为什么说硫化锌是较难焙烧的硫化物? 赤壁之战涉及哪些重要人物?还有哪些小说.诗词.戏曲涉及赤壁之战? 水泥中的Cao含量对水泥有什么影响 ,其含量随存放时间有和变化 sio2和NaOH的反应方程式 SO2和氨水的 醋酸和氨水的 Ca(HC03)+HCL=? 怎么反应啊 噬菌体浸染细菌实验 为什么要用P32和S35标记噬菌体?赫尔希 和 蔡司 的那个 凯恩斯学派、货币主义和理性预期学派以及菲利普斯曲线的问题如何解答? 酸性氧化物和碱反应时反应速率最慢的二氧化碳通入氨水 二氧化硫通入澄清石灰水 二氧化硅投入烧碱中原因? 深思电工的墙壁开关怎么样? 为什么用S35标记噬菌体与细菌混合后离心的结果在上层清液中放射性含量高 下列关于细胞分化的叙述中,正确的是A、所有子细胞都能分化 B、细胞分化后形成形态和功能不同的细胞 C、细胞分化与细胞生长是独立进行的 D、细胞分化时,细胞核中出现了染色体 expenses可数还是不可数?后面用are还是is?一定要确定有把握的答案啊! 在噬菌体浸染细菌实验中 如何获得含有 S35和P32标记的噬菌体 下列关于细胞分化的叙述,正确的是A 种子形成幼苗与细胞的分裂和分化直接相关B 红细胞的形成与基因表达有关而与细胞分化无关C 胡萝卜叶肉细胞脱分化形成愈伤组织后不具有全能性D 癌细 怎么区别costs与expenses ps拼长图跟朋友的聊天信息,我想截图下来,截了很多张,是手机截图,现在我想把它们拼成长图,去掉上下的东西只留下每张图片的中间文字,求指教 下列有关细胞分化的叙述,正确的是问 应选哪个?为什么?/> expenses due问一下这个的中文是什么 和account payable有什么区别他们俩确实是以不同的类别出现在了liabilities里.... 怎么把很多小照片拼在同一张图上像这样.是用什么软件做的. 下列关于细胞分化的叙述不正确的是A.细胞分化不使细胞数目增多B.分化的细胞会呈现出在形态,结构和功能上的差异C.细胞分化的结果是形成各种组织D.植物体形成的过程中,可以不进行细胞分 米是植物中的哪个部分? 什么p图软件可以拼12张照片 下列有关细胞分化的叙述中,不正确的是( ).A.细胞分化不使细胞数目增加B.分化的细胞所呈现出的形态、结构和生理功能的变化,源于细胞内化学物质的改变C.细胞分化的方向在胚胎发育的早 植物分为几部分? 火烧赤壁的好词好句 铝制品需要注意哪些? 这是什么植物?它的直径在2米左右. 有关赤壁之战的诗词都有哪些? Q点是啥意思呢,. 西藏海拔5000米以上还有植被吗 有关赤壁之战的诗词?急用.除了喔.快~急用咧~ 很Q是什么意义 一个由15N标记的DNA分子放在没有标记的环境中复制五次后,有标记的DNA分子占没有标记的DNA分子的多少? 噬菌体侵染细菌实验中上清液和沉淀物分别是什么?为什么上清液放射性高而沉淀物放射性低? 道康宁待遇如何?我是一名中专生,快到了实习期了,我想了解一下松江道康宁公司的待遇如何,有没有住宿.还有:道康宁是世界500强企业吗?越详细越好,谢谢! 是不是任何正电荷受电场力方向都与场强方向重合若一条电场线为曲线,正电荷在某点,其切线方向为该店的场强方向,那电场力方向是不是也沿切线方向呢? 喝了含有亚硫酸钠的水会有什么反应 道康宁7091胶白色和灰色的性能有什么不同?还有该胶在高温下和在室温下那种固化时间短? 噬菌体浸染细菌的试验说明什么?A 蛋白质是遗传物B DNA是遗传物C DNA是主要遗传物质D 蛋白质和DNA是遗传物 下列有关细胞的叙述,正确的是()A、病毒是一类具有细胞结构的生物B、蓝藻细胞具有细胞核且DNA分子呈环状C、人体所有细胞的细胞周期持续时间相同D、内质网膜和高尔基体膜都具有流动 新自由主义经济学主要的流派的代表人物及其观点? 在进行噬菌体浸染细菌的实验中,上清液和沉淀里会有什么比如说噬菌体的DNA,蛋白质等是不是沉在下面的都是DNA啊 化学问题 关于铝制品5、 铝制品不宜长期放酸性食品和碱性食品是因为铝表面属于()A金属铝B碱性氧化物C酸性氧化物D两性氧化物 恒星碰上中子星.黑洞碰上恒星,恒星会被撕碎,吸进去.恒星碰上中子星呢,恒星会被撕碎?被吸过去,撞上中子星? 为什么噬菌体浸染细菌实验中,离心后 细菌在下,噬菌体外壳在上密度? 鼠字开头的成语接龙鼠字开头,中间十个成语,年字结尾 质点是一个理想化的模型,实际并不存在这句话对吗 可是质点确实是一个实际存在的物体啊 求详解 谢拉 默克尔遭美国监听 德议员称斯诺登愿协美墨边境现毒品走私隧道 地下10米深新书披露奥巴马曾很怕应酬克林顿 不愿会议记录爆奥巴马医改网站开通首天仅6斯诺登与德议员会面三小时 向德联邦政俄方建议在莫斯科与叙利亚政府和反对派黑客因不满新加坡媒体局规定威胁将发动加拿大女子相亲网站“钓男人”吃免费餐新加坡两名少年不满被人抱怨挥棍打人被新加坡公共交通“有人味儿”国际新闻早报:美国总统与伊拉克总理谈韩国将重组国军网络司令部 以提高工作克里急赴中东安抚沙特 美沙关系因叙问土耳其4名女议员戴头巾出席会议 打破梅德韦杰夫谈监听丑闻:美国不能这样厚俄“彼得大帝”号核动力巡洋舰进入地中英国检方称《世界新闻报》曾窃听哈里王泰国机长驾照过期在南京被停飞 乘客机黄坤明辞去杭州市人大常委会主任职务 浪漫升级 新加坡7大蜜月旅行地39岁杨采妮今新加坡出嫁 明星闺蜜到宏碁研发虚拟现实技术,最快今年上半年【喜迎猴宝 最美孕妈】评选活动十位最网贷收益播报(2.18):拍拍贷平均珠海:男子交不出20万彩礼 女友被其双曲面金属机身 酷派或于MWC发布新周岁内宝宝拉肚子、长湿疹,协和医生告weixin.com事件:争议与警示创业者,你可以从周星驰身上学什么?体操奥运冠军不满交通管理员贴条 当街邦正科技2015年营收破亿元 净利同注意!投保香港保险需趁早,只因政策不赵薇弱爆了,娱乐圈最有钱的女股神,竟故宫乾清宫再丢“骑凤仙人” 回应称将王菲为何屡次拒绝谢霆锋求婚?奔走相告:2016法布芮大师班开课了说出你想要的项目,随机抽奖免费送!|快速减肥容易把胸减掉 如何正确的丰胸京车汇很负责任的告诉你加拿大开始“节能减排”,油企受限,投中国古代哪位皇帝是体育明星?马云分析预测2016中国经济:越来越
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘