说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Coursera工程师董飞:典型硅谷公司大数据实战分析

HTML文档下载 WORD文档下载 PDF文档下载
日前,CSDN CTO俱乐部邀请了来自美国硅谷的Coursera软件工程师董飞,与会员们分享了《硅谷公司的大数据实战分析》的演讲,董飞详细介绍了Coursera及其架构演变,探讨了硅谷大数据热点与相关技术。

加入CTO俱乐部,与14000名+实名制、中高级技术管理者做朋友。 【官网申请】 【上传名片快捷加入】

CTO俱乐部 会员权益:技术交流、餐叙、个人主页、CTO周刊、折扣优惠、大会门票、人才招聘、每月赠书等


【CTO俱乐部】日前,CSDN CTO俱乐部邀请了来自美国硅谷的Coursera软件工程师董飞,与会员们分享了 《硅谷公司的大数据实战分析》的演讲,董飞详细介绍了Coursera及其架构演变,探讨了硅谷大数据热点与相关技术。

董飞是硅谷华人工程师里的“热门人物”, 本科南开大学、硕士杜克大学计算机系毕业。在攻读硕士期间,即从事跟Hadoop大数据相关的研究项目。先后在创业公司酷迅,百度基础架构组,Amazon云计算部门,LinkedIn担任高级工程师,负责过垂直搜索引擎、百度云计算平台研发、广告系统和在线教育平台的架构的设计和研发。在大数据领域业界研究多年,涉及Hadoop调优、分布式框架、Data Pipeline、实时系统等技术。目前董飞在硅谷创业公司Coursera从事数据工程师工作,他对于硅谷公司的大数据应用方面有着丰富的实战经验。


Coursera工程师 董飞

董飞首先介绍了Coursera(官网), 由美国斯坦福大学计算机科学教授 Andrew Ng和Daphne Koller创办,旨在同世界顶尖大学合作,在线提供免费的网络公开课程,Coursera目前已经有117所大学提供的988门课程,已经有超过一千二百万学习者使用过。作为热门的在线教育项目,Coursera成功为学习者和课程提供方搭起了桥梁。


Coursera还与世界顶尖大学,例如斯坦福大学、密歇根大学、普林斯顿大学、宾夕法尼亚大学等都建立了深度合作关系,颁发证书认证。董飞表示,“大约30%的学者愿意付费购买证书,70%的VC用户则将这些证书发布到LinkedIn上,这为大家带来了双赢价值”。


Coursera推出的课程种类繁多,其中有一项叫“专项课程”,它也是Coursera最主要的收入之一。”专项课程“的成功之处在于

  • 60%的学习者表示他们学习“专项课程”的动机 是通过“毕业项目”和“专项课程签名认证证书”来展示 他们对知识的掌握程度。
  • 74%的学习者认为“毕业项目”比理论课程 更具价值,理由是他们希望利用“毕业项目”来解决实际 问题,同时获得行业实践经验。
  • 77%的学习者则认为由行业从业人员和授课教 师共同设计和实施“毕业项目”,比单单由授课教 师设计更有价值。

Coursera课程研究:靠数据来说话

Coursera针对课程类别、各个国家以及不同领域的用户情况进行了数据统计和统计。 如下图数据显示:其中选择人文类的用户数最多,计算机科学次之,排在最末的是临床科学,这也说明其较为冷门。【注()里代表的是这门课程的门数】


不同课程内容分类:横坐标表示的是注册人数,注册人数越多,说明它越有吸引力。

通过下图可以看出:红色代表是受欢迎度,颜色越深说明它关注度越强,比如美国、加拿大、中国香港等这些大学关注度比较高; 蓝色代表的是冷门,颜色越深说明它没有关注度,或者叫负相关度,比如法国。


各国大学关注度 

学习者主要分为四种类型:

  • 第一类:大学生,求知型,平均年龄15岁—20岁;
  • 第二类:终生学习者(Enrichment learners),年龄分布较为均匀;
  • 第三类:特定技能学习者(有点像极客),他们更喜欢接受新技术,尤其是20岁到30岁中间的人居多;
  • 第四类:商业发展或升职技能,比如有人想晋升或者想换个行业,这类用户会选择某个特定领域进行学习。


学者领域分布图

Coursera的技术架构

作为一家硅谷的在线教育项目创业公司,Coursera员工数约为180人,其中技术人员是80人左右,占比40%。Coursera拥有1000万名学习者(这个用户数还在不断增长),面对全球不同时区的用户,如何保证最佳的用户体验?


在数据库的选择上,Coursera最初采用的是MySQL,但遇到的问题是,在高并发访问量和宕机时候会造成用户体验的大幅下降,于是Coursera将数据库迁移至Cassandra,其稳定性和易用性还不错。

编程语言使用上,Coursera则选择了Scala。Scala面向对象,基于Scala可以调用所有JVM上面的东西, 虽然这听起来很酷,但很多公司还是不敢用。


Coursera技术架构图 

Coursera底层架构100%部署于AWS上,因为 Coursera的大多数用户访问来自于(PC)Web,但后来为了改进手机端的用户体验,工程师们利用 Swift来重写APP。

对于为何采用使用SOA?董飞认为,首先SOA架构能够做到弹性扩展,其次在于服务优先级,重用,简化,希望通过这种模式去推动整个技术的升级。” 硅谷有很多公司在使用SOA,包括 Tumblr、BOX、LinkIN、NETFLIX、Amazon、eBay等。”

“而采用Rest框架的好处在于:所有API可外部化,易于调试,零技术锁定。”。



Coursera架构中用到的软件

随后,董飞还和与会者交流了时下在硅谷的大数据应用浪潮和热门技术。



Gartner 公司每年发布技术趋势炒作图。今年和去年的图对比显示,物联网、自动驾驶汽车、消费级 3D 打印、自然语言问答等概念正在处于炒作的顶峰。而大数据已从顶峰滑落,NFC 和云计算接近谷底。


现场与会者聆听中


欢迎各位技术领军人加入CTO俱乐部,与14000名+实名制、中高级技术管理者做朋友。 【官网申请】【上传名片快捷加入】

CTO俱乐部是目前国内最有影响力、规模最大的技术管理者分享与交流平台,由全球最大中文IT社区CSDN创办。CTO俱乐部实行会员免费申请、实名认证的加入机制。自2009年创办以来,已有注册会员14000余名,覆盖国内数千家IT公司和各行业企业研发部门的CTO、技术副总裁、首席架构师、技术总监、工程总监等高级技术管理者。

讲师秀之10:武汉大学张焕国教授,可信计算是云计算之成败关键 【上海直播】Windows Azure+世纪互联:中国云计算“烈火烹油” 最新版Chrome浏览器推出全新语音搜索功能 惠普第二财季净利润同比下滑32% PC和服务器销售不佳 讲师秀之11:网易汪源的成长故事 PPT集萃(三):六位国内技术大牛分享巨型平台的打造与应用 聚焦全球移动市场:创新以色列 科技巨头的倾慕之地 Android版Chrome 27浏览器正式上架 机器人——数据中心的新“网管” George Chu:在雅虎打造真正的工程师文化 2013,303+家中国云计算企业的“生态系统”之梦! 高访问量Web应用跨云端迁移的原因:权限和易用性 Web应用开发者福音 Chrome 28新增丰富通知中心功能 帷千兰旭:推广渠道鱼龙混杂,开发者请小心 关于IE 10 你应该知道的6件事 Spring Framework 4.0M1发布,支持JDK 8、Java EE 7 “渣打科营编程马拉松赛”正式启动 官网同时上线 Android应该支持OpenCL的十大理由 传谷歌考虑和Facebook竞购众包地图Waze 谷歌工程师再次公布Windows漏洞 并称微软很难合作 Glassdoor评前景最令员工乐观的十大科技公司 华为上榜 下一代Android深度前瞻 第18级API功能揭秘 Web开发者不容错过的20段CSS代码 8大核心要点:我们能用HTML5 Canvas做什么? 移动周报:直接拿来用!最火的Android开源项目 前MySQL CEO:云将重新定义开发者的每一件事 CIO必知六件事,至少必须想到的! PPT集萃(四):来自五位中外专家分享的虚拟化和云存储实践 Jolla和Sailfish OS,那些你应该知道的事儿 不仅保值还能升值:过时的苹果电脑创下67.1万美元售价 三十天完成跨平台办公套件Joeffice的开发 kylix3下不了啊? (www.borland.com/products/downloads/download_kylix.html#) vc++中的expression cannot be evaluated是什么错啊,谢谢请看看! vc++.net对串口编程和多线程的支持的如何? 急!有关CListCtrl的滚动条拖动事件!(在线等待) 用delphi编写的应用程序如何随计算机的分辨率而变化 请教两个问题,短信和传真 哪位能帮忙提供一下使用CDO组件发送邮件的实例?最好详细点的 apache做的服务器,用外地用户用域名不能访问,而用ip可以,是怎么回事? [讨论]为什么用Servlet通过访问SessionBean来访问EntityBean, 会比用Servlet直接访问EntityBean要快呢? 请问opener和parent有什么区别? 大虾救命呀~page_load中执行两条sql语句??? 【转载】国内CCIE日增1例,总数近800 以前的我写的j2ee简单实例 jsp + servlet + ejb .需要者请进!!. 要求不高,只要会delphi。在福州。 web方式下的Gis用Mapx控件能否实现? 我想在new一个panel的时候给他装上一个canvas,不知道可不可以? 关于struts配置问题 struts问题(来者有分) exchange2k 邮件服务器只能收不能发,有防为墙,是什么问题?哪位大虾知道,多谢了. 有好的解决办法吗?望各位大虾给予指点!!! 以前的我写的j2ee简单实例 jsp + servlet + ejb .需要者留请进 !!. 有没有人做这种控件 收到一封Borland的信,很搞笑 在jsp页面里怎样在当前目录生成文件并往里写数据? 问一个有关installshield的问题? 导入导出问题,提示权限不够 vb6.0中的form1_resize()事件在.net中如何实现?? 求一个好算法!!!紧急~~~~ SAMETIME SERVER 的设置问题 各位版主:做为一个两星用户,对论坛规则的一些建议,如果有同感,请支持一下,谢谢! 在xp下能访问access数据库,在2000下访问不成,请高手指点!急! EXCHANGE 与 notes 的互通问题? 高手请进,我以前做的3D引擎是用OpenGL写的,我想改成DirectX的,请问有没有好的办法? 在weblogic7.0中jdk是1.3而要使用DataSource是JDK1.4这样不是就要不兼容了吗? 安装问题,急。在线等待! sql server 数据库转换成access数据库? 在线等待,有效马上给100分! ***如何用C#做一个自动增长的表(从另一个页面添加记录)??? 再问Form问题 oracle 能否导入的时候不覆盖原来的数据,插入数据? 求货郎担问题的算法--越快越好 Outlook Express 问题,解决问题100分相赠 请教大家怎样编程实现两个不同局域网内的单机通信? 超难问题:客户端的C++BUILDER程序怎么与服务器端Web Session交互? 求助?!!!为什么利用IIS的SMTP发邮件极少数能够收到?!!程序没有问题!! 先行谢过,asp文件的加密问题。 急!在线等待:关于TabelControl的问题。 请问各个版本的access数据库有些什么优缺点? 求助:键盘向下键的ASCⅡ吗是多少? 关于dbgrid字段中文名称与众不同的问题,困惑已久矣 我想充充电,到哪里去好? 如何判断是否有权限查看相关的页面. 我们的房间()宽敞,()明亮.填关联词,需要两组 英语翻译Charity accused of damaging the environment as it takes the axe to hundreds of acres of conifer woodland to restore traditional open heaths.Opponents say the scheme threatens UK's fight against global warming翻译这段话 对刷子李的评价你对刷子李有什么评价?快 已知正方形ABCD的边长为a,边AB上任意一点P到对角线AC,BD的距离之和为___________? 英语翻译But the Whites did't worry about who had done what.They picked up the pieces and moved on with their lives.The beauty of this was driven home to me the summer Jane died. 如何写关于书的作文? 用两个像造句急 我刚走上教师的岗位,还是个实习教室,我的师范专业是地理…请教下各位老师, 写关于书的作文 谁有往届电大英语三试卷代号为1844的题目及答案啊?!明天就要用了!听说可能电大2013年的英语三试卷有用,有这个的大侠麻烦也给我发一份,谢谢!我的q q839394131 教思想政治时家教该讲些什么? 求真实评分,满分100. 本人读电大要书!有的请和我联系管理学基础 ,统计学原理,统计学原理,基础会计,英语I(2),个人理财,在那可以买到! 要求久书1 指令的执行过程分为执行周期和() 这是我满分100真诚打分 两个 像造句快马上要像 像 指令周期,什么是指令周期 初一的那个什么入射角反射角是什么意思牛津上海版的初一第一学期练习册P52 负数是不是都是整数求大神帮助 笛卡尔的方法论违背了系统论的什么原则 高三数学最后一个题目 求解 已知菱形ABCD中,∠DAB=60°对角线AC=16cm,那么菱形对角线交点O到各边的距离是?cm. 用多愁善感、受益匪浅、险象迭生、心旷神怡、问心无愧、沉醉写一段话急用了真的是 皇帝想去看新衣服织得怎样,但又不敢亲自看,文中着重写他的心理活动,请将其一一找出来简单说说作用 1,4,7,11()()()37括号里怎么填 把3/4的分子扩大2倍,分母缩小到1/2,这个分数就( ) A.扩大2倍,B.缩小到1/2,C.扩大4倍,D.扩大16倍,选把3/4的分子扩大2倍,分母缩小到1/2,这个分数就( ) A.扩大2倍,B.缩小到1/2,C.扩大4倍,D.扩大16倍, “对,我已经穿好了.”皇帝说,“这衣服合我的身吗?”于是他又在镜子面前把身子转.用个成语形容皇帝心理状 求写数学题,标好 题号 3/4的分子扩大2倍,分母缩小到1/2,那么分数的值就A.扩大2倍,B.扩大4倍,C.扩大16倍,选择哪一个?把3/4的分子扩大2倍,分母缩小到1/2,这个分数就( ) A.扩大2倍,B.缩小到1/2,C.扩大4倍,D.扩大16倍,选择 评分,满分100! 描写走的成语 如何进行听评课 请你将下面的垃圾,按以上的类别分类填到下面括号中请你将下面的垃圾,按以上的类别分类填到下面的方框中.(只填序号)A.玻璃 B.餐巾纸 C.菜叶 D.废旧电池 E.果皮 F.塑料袋 G.冰淇淋 H.小木 描写留念.不忍离开的四字成语 用可望不可即,心旷神怡,举世无双,问心无愧,获益匪浅,兴致勃勃造句 给下列对联归类,把相应的选项填在括号里.1.东风吹出千山绿,春雨洒来万象新.()2.死者长已矣,死而能伸民志伸国权,死犹不死!生而为何乎?生而成为奴隶为牛马,生亦徒生!()3.远求海外珍藏 飞流直下三千尺,疑是银河落九天.出自( ),运用了( )的手法是填空 √5-2的倒数是 ,绝对值是 用 ‘’稀疏 沉甸甸 回味无穷 心旷神怡 突如其来 迷醉 问心无愧‘’选用任意三个词造句,围绕人生感悟,至少用一种修辞手法,写一段话,不超过100字. 工莱布尼茨缓中国儒学的原因历史试题 √5-2的绝对值是:√2的倒数是: 魏晋南北朝是不是相互攻击的? 关于莱布尼兹微积分的创造者,同时是个哲学家.同时从二进位制中,莱布尼兹发现了上帝创造世界的证据.这是怎么回事?可否介绍下?莱布尼兹是否留下过什么谜? 描写不忍离开的成语 魏晋南北朝是否是一个时期?魏晋南北朝讲是不是指一个时期,在同一时间? 写成语:他多年的恩怨____(葛蔓纠结,难于分解,比喻纠缠不清的事情)终于烟消云散了写成语:他多年的恩怨_______(葛蔓纠结,难于分解,比喻纠缠不清的事情)终于烟消云散了 对不同的事有同一看法是哪个成语 魏晋南北朝时代是否有一个兰陵王 用关联词.我们的房间( )宽敞,( )明亮. 已知菱形ABCD的两条对角线AC=8cmBD=6cm那么对角线ACBD的交点到任一边的距离等于多少 把一个分数的分子扩大4倍,分母缩小4倍,那么这个分数是?A.大小不变 B.缩小16倍 C.扩大16倍 D.扩大8倍 我们的房间( )宽敞,( )明亮,填关联词填上恰当的关联词 把对一件事物的感情转移到与那件事物相关的东西上.求一成语 一.把一个分数的分子扩大4倍,分母扩大2倍,他的值() A.扩大2倍 B.扩大8倍 C.缩小2倍二.一个数的分子,分母都乘以3,这个分数值()A.扩大3倍 B.缩小3倍 C.不变三.吧7分之6的分母扩大5倍, ( )按上吸热玻璃,房间( )凉爽多了.填关联词 英语翻译The consumer price index :fixed basket of goods and services 三个边长是6cm,E是AB中点,且DE⊥AB,则菱形ABCD的面积为______cm. 他听音乐.他收拾屋子.填关联词 英语翻译shall remain in the security of the banking system,and without exception shall not be delivered to any other party.不要翻译工具翻译的^ 23课刷子李的小练笔,参考即可是俗世气人的 是身边的人 格鲁吉亚称俄未被列入总统就职典礼受邀澳大利亚使馆被曝替美监听亚洲 澳总理斯诺登最新照:在莫斯科乘游览船 未戴以色列攻击叙利亚军事基地 目标是俄制默克尔遭美国监听 德议员称斯诺登愿协国际新闻早报:美国务卿将访沙特修补关美媒:日本大幅升级预警机应对中俄海南乐东退休局长房屋夜半遭强拆 警方初三女生因学习压力大 屡次到超市偷零宁波红光集团等6企业涉税违法被罚23浙江省省级28个部门三公经费(附表)海南乐东退休局长房屋夜半遭强拆 警方思鑫坊曾是杭城近代建筑代表 如今成无新消法引入\"举证倒置\" 经营者需前3季度国内渔业产值达5362亿元 上海自贸试验区营造“宽进严管”的营商谷歌雅虎数据遭美国国安局窃取 美媒称菲律宾议员“港人生命值钱说”激起香港俄罗斯核武部队大规模战略演习 抗衡北台湾花莲发生6.7级地震 杭州等多地医生举报官员公款出游 出门戴钢盔执擀岛内进口基因改造黄豆八成以上榨色拉油阿根廷与欧盟生物柴油贸易纠纷升级老人要转账17万元原是电话诈骗,幸被情感两性:揭秘11种男人注定让女人出妻子赌气吃老鼠药丈夫求助交警送医交易前闲逛半小时毒贩返回即落网金城武耗资千万办生日派对 宾客误会其阿根廷启动葡萄酒主题摄影比赛第三批市级非遗项目公布 新入选49项4个月偷了45辆摩托民警逮住摩托大盗轿车停片刻车窗被砸烂交通信息:受津秦施工影响多趟列车停运今年利用“微信”“陌陌”犯罪刑事案件《残疾军人证》明年1月1日起换发 旧积极服务中长期病人 新加坡华人父女获和平区“最潮”电子菜店:你发微信 我不跟团自己出游 “一价全包”自由行能福建宁夏对口协作十七载 创造扶贫攻坚已婚女人究竟为啥出轨? 女人出轨的九住建部专家:房价上涨不能简单归咎于调中国铺开周边外交新棋局 “问题”国家
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘