说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Coursera工程师董飞:典型硅谷公司大数据实战分析

HTML文档下载 WORD文档下载 PDF文档下载
日前,CSDN CTO俱乐部邀请了来自美国硅谷的Coursera软件工程师董飞,与会员们分享了《硅谷公司的大数据实战分析》的演讲,董飞详细介绍了Coursera及其架构演变,探讨了硅谷大数据热点与相关技术。

加入CTO俱乐部,与14000名+实名制、中高级技术管理者做朋友。 【官网申请】 【上传名片快捷加入】

CTO俱乐部 会员权益:技术交流、餐叙、个人主页、CTO周刊、折扣优惠、大会门票、人才招聘、每月赠书等


【CTO俱乐部】日前,CSDN CTO俱乐部邀请了来自美国硅谷的Coursera软件工程师董飞,与会员们分享了 《硅谷公司的大数据实战分析》的演讲,董飞详细介绍了Coursera及其架构演变,探讨了硅谷大数据热点与相关技术。

董飞是硅谷华人工程师里的“热门人物”, 本科南开大学、硕士杜克大学计算机系毕业。在攻读硕士期间,即从事跟Hadoop大数据相关的研究项目。先后在创业公司酷迅,百度基础架构组,Amazon云计算部门,LinkedIn担任高级工程师,负责过垂直搜索引擎、百度云计算平台研发、广告系统和在线教育平台的架构的设计和研发。在大数据领域业界研究多年,涉及Hadoop调优、分布式框架、Data Pipeline、实时系统等技术。目前董飞在硅谷创业公司Coursera从事数据工程师工作,他对于硅谷公司的大数据应用方面有着丰富的实战经验。


Coursera工程师 董飞

董飞首先介绍了Coursera(官网), 由美国斯坦福大学计算机科学教授 Andrew Ng和Daphne Koller创办,旨在同世界顶尖大学合作,在线提供免费的网络公开课程,Coursera目前已经有117所大学提供的988门课程,已经有超过一千二百万学习者使用过。作为热门的在线教育项目,Coursera成功为学习者和课程提供方搭起了桥梁。


Coursera还与世界顶尖大学,例如斯坦福大学、密歇根大学、普林斯顿大学、宾夕法尼亚大学等都建立了深度合作关系,颁发证书认证。董飞表示,“大约30%的学者愿意付费购买证书,70%的VC用户则将这些证书发布到LinkedIn上,这为大家带来了双赢价值”。


Coursera推出的课程种类繁多,其中有一项叫“专项课程”,它也是Coursera最主要的收入之一。”专项课程“的成功之处在于

  • 60%的学习者表示他们学习“专项课程”的动机 是通过“毕业项目”和“专项课程签名认证证书”来展示 他们对知识的掌握程度。
  • 74%的学习者认为“毕业项目”比理论课程 更具价值,理由是他们希望利用“毕业项目”来解决实际 问题,同时获得行业实践经验。
  • 77%的学习者则认为由行业从业人员和授课教 师共同设计和实施“毕业项目”,比单单由授课教 师设计更有价值。

Coursera课程研究:靠数据来说话

Coursera针对课程类别、各个国家以及不同领域的用户情况进行了数据统计和统计。 如下图数据显示:其中选择人文类的用户数最多,计算机科学次之,排在最末的是临床科学,这也说明其较为冷门。【注()里代表的是这门课程的门数】


不同课程内容分类:横坐标表示的是注册人数,注册人数越多,说明它越有吸引力。

通过下图可以看出:红色代表是受欢迎度,颜色越深说明它关注度越强,比如美国、加拿大、中国香港等这些大学关注度比较高; 蓝色代表的是冷门,颜色越深说明它没有关注度,或者叫负相关度,比如法国。


各国大学关注度 

学习者主要分为四种类型:

  • 第一类:大学生,求知型,平均年龄15岁—20岁;
  • 第二类:终生学习者(Enrichment learners),年龄分布较为均匀;
  • 第三类:特定技能学习者(有点像极客),他们更喜欢接受新技术,尤其是20岁到30岁中间的人居多;
  • 第四类:商业发展或升职技能,比如有人想晋升或者想换个行业,这类用户会选择某个特定领域进行学习。


学者领域分布图

Coursera的技术架构

作为一家硅谷的在线教育项目创业公司,Coursera员工数约为180人,其中技术人员是80人左右,占比40%。Coursera拥有1000万名学习者(这个用户数还在不断增长),面对全球不同时区的用户,如何保证最佳的用户体验?


在数据库的选择上,Coursera最初采用的是MySQL,但遇到的问题是,在高并发访问量和宕机时候会造成用户体验的大幅下降,于是Coursera将数据库迁移至Cassandra,其稳定性和易用性还不错。

编程语言使用上,Coursera则选择了Scala。Scala面向对象,基于Scala可以调用所有JVM上面的东西, 虽然这听起来很酷,但很多公司还是不敢用。


Coursera技术架构图 

Coursera底层架构100%部署于AWS上,因为 Coursera的大多数用户访问来自于(PC)Web,但后来为了改进手机端的用户体验,工程师们利用 Swift来重写APP。

对于为何采用使用SOA?董飞认为,首先SOA架构能够做到弹性扩展,其次在于服务优先级,重用,简化,希望通过这种模式去推动整个技术的升级。” 硅谷有很多公司在使用SOA,包括 Tumblr、BOX、LinkIN、NETFLIX、Amazon、eBay等。”

“而采用Rest框架的好处在于:所有API可外部化,易于调试,零技术锁定。”。



Coursera架构中用到的软件

随后,董飞还和与会者交流了时下在硅谷的大数据应用浪潮和热门技术。



Gartner 公司每年发布技术趋势炒作图。今年和去年的图对比显示,物联网、自动驾驶汽车、消费级 3D 打印、自然语言问答等概念正在处于炒作的顶峰。而大数据已从顶峰滑落,NFC 和云计算接近谷底。


现场与会者聆听中


欢迎各位技术领军人加入CTO俱乐部,与14000名+实名制、中高级技术管理者做朋友。 【官网申请】【上传名片快捷加入】

CTO俱乐部是目前国内最有影响力、规模最大的技术管理者分享与交流平台,由全球最大中文IT社区CSDN创办。CTO俱乐部实行会员免费申请、实名认证的加入机制。自2009年创办以来,已有注册会员14000余名,覆盖国内数千家IT公司和各行业企业研发部门的CTO、技术副总裁、首席架构师、技术总监、工程总监等高级技术管理者。

大数据计算:如何仅用1.5KB内存计算十亿个不同的对象 我们为什么爱EC2和S3却彻底抛弃EBS 不畏Surface:诺基亚明年或推Windows平板 Linus Torvalds:用户程序被破坏永远是Kernel的问题! Python高效编程技巧 苹果加速硬件迭代 iPad5原型机曝光 宏碁推99美金平板 价格创历史新低 黑莓10全键盘版代号N系列,谍照泄露! 那些年我们用过的互联网产品 QQ亿级业务演变:从文件、音视频说起 少年企鹅的成长之旅:QQ体验设计发展史 全球超算Top 500:Linux已占93.8%,Windows或将消失 AWS东部地区再次发生宕机 Netflix等网站受影响 2012年全球最美的十个数据中心 CodeCards:程序员电子贺卡DIY项目 微软首席战略官Craig Mundie将于2014年退休 LG明年CES展新款智能电视 增强自然语言识别 微软包嘉峰:企业用户向Windows 8迁移加速 2013年10个科技预测 三维打印技术将成主流 能省电99.96%:微软开发基于云的GPS技术 十个最有用的云数据库 开源产品系列:企业级Web框架web2py 让针对Webkit优化的网站兼容WP8 IE10 CMDN Club 24期:互联网产品的演进之路——从QQ谈互联网14年进化史 360安全浏览器发布“照妖镜”和“网站名片”功能 Windows Server 2012实用教程:添加Hyper-V管理器 为何Google弃置GCE和GAE选择AWS? 2012移动应用盘点:乱象丛生 最佳与奇葩共舞 从1976至2013大事记,看Android未来命运 c#经典入门视频001基础知识-苏坤老师主讲 c#经典入门视频002学习两句话-苏坤老师主讲 有问题的问题 安装visual studio.net 2003 的问题? 急件!请教了,如何在一个字符串中提取第n次出现的字符? weblogic及EJB属于中间层的吗? 到水园第一件事就是看看斑竹有没有换,嘻嘻,还有谁也是这样的? win2000装好后,设了本地连接的属性,和别的机器一样的设,可就是PING 不通网关 哪有“VB.NET高级编程”和“ADO.NET高级编程”下载?? 请各位帮忙找一个用asp.net写的日历,急用 小弟是菜鸟,请问一下svrmgrl是什么,9I中有吗? 文章分页,而且文章中有大小不等的图片,该如何去做 求《三国霸业2》简体版下载地址? 诸位高手,我碰到一个很棘手ASPNETMENU的问题!急需解决!!(100分)献上! vfw下的视频采集和图象截取的问题请教! 求 《家园-惊世浩劫》简体版 关于浏览器的问题 pb如何调用word文挡? 在使用mfc时选择不同语言,怎么最后编译执行时有??符号(在菜单中) 网络共享安全问题!!!!!!!!!!!!! 我是第一次尝试做网站,碰到了问题,能帮帮我吗? 电话号码的正确性问题? 求教c#中datagrid表格设置 高分求远程开机源代码 希望大家给出: 时间的各种单位(包括汉字名称和英文缩写)及它们的进率关系; 专家近来看一下,很有针对性! 对《c# Primer Plus中文版》书的批判!!!!! 谁能提供teechart在pb中的使用帮助 是否有记录传真机传真的资料(包括传真号码,传真时间,内容) 是否有记录传真机传真的资料(包括传真号码,传真时间,内容) 急救:如何回复fdisk删除的分区 请各位帮忙找一个用asp.net写的日历,急用 我想了解‘Bug 列表‘是怎么回事,最好有例子 各位大哥请帮帮我,如何将下面的vbs转换到c#,不胜感激! 如何控制DataList显示的记录数 请教做过基于snmp方式的入侵检测系统的哥们 !!!!!!! 架构模式知多少? 请教做过基于snmp方式的入侵检测系统的哥们 !!!!!!! 请教各位大侠一个问题?? 请教做过基于snmp方式的入侵检测系统的哥们 !!!!!!! 一个初学者的麻烦! 帮忙写个求时间的函数, 请教做过基于snmp方式的入侵检测系统的哥们 !!!!!!! 二叉查找树的问题(好难啊!求救) 怎么在网页中添加一个生成EXCEL按钮 请教做过基于snmp方式的入侵检测系统的哥们 !!!!!!! 堆的一个问题?? 关于对话框的处理问题!!!!!!!!! 笔记本电脑如何进CMOS设置?我按Del不行,我想设光区启动,机子是联想的。急 2000说有文件被替换为不可识别的格式。? 关于vs中的水晶报表版权的问题 子网掩码到底有什么用? ******** 纪念9.18,纪念为抗日而牺牲的人们!********** small gifts of money. 空气热涨冷缩的系数是多少? out look,adobe ,launch ,resume 辩论啃老族是个人问题还是社会问题我要详细的回答,辩论赛用. 啃老族是社会问题还是家庭问题辩论 啃老族是家庭问题还是社会问题我们正在准备辩论赛,我们是正方打家庭问题 He is ----- (confident) of victory 过故人庄的原文 可贵的生命倏忽即逝什么意思?有没有什么句子代表短命的意思? 生命诚可贵意思 children always appreciate small gifts of money这句话到底怎么翻译?small gifts of 原文翻译是:孩子们总喜欢得到一些零花钱.这翻译的是哪和哪呀. 新书曝奥巴马曾向幕僚吹嘘:我擅长杀人日空自航空展开幕 蓝色冲击波进行飞行印度北部村落遭武装分子袭击 造成7死菅义伟:处理福岛核电站事故应加强政府埃及前总统穆尔西到达受审地点 将接受新书称奥巴马曾向幕僚吹嘘:我擅长杀人普京签署《俄联邦行政违法法典》保护文突尼斯宣布将紧急状态再延长8个月 已印度将发射火星探测器 舆论对印度太空法小镇一家三个孩子同时遇害 母亲患有国际黑客袭击澳大利亚200多家网站 使用第三方支付集成到底有何风险?信用卡贷款与信用贷款的区别黑海是不是黑的(下) | 堂主手记崖柏,你千年不死,还来惹事?挑选小叶紫檀要注意这些?周一盘前精准预测,涨跌不会超过我预言散户必看!下周防恐概念股或冲涨停,满挑选小叶紫檀要注意这些?文玩收藏中的苦辣酸甜 您有同感么?马云遭遇危机:912亿元是泼向阿里巴佐丹奴、班尼路、真维斯……那些年,我黑客之城市猎人御魔成魔仙丹奇遇记明末南海一千户农家妇的重生绝世老师宇宙英雄在中国召唤兽本记仙朽妖尾之矢量操纵无限之魔女兑换大田旅游平海旅游三门塘旅游江永旅游琼山区旅游怀远旅游京山旅游恩阳旅游霍山旅游广昌旅游浪卡子旅游
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘