说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Netflix:使用大数据驱动商业决策

HTML文档下载 WORD文档下载 PDF文档下载
大数据时代改变了消费者的行为模式,企业应该解读来自市场和消费者的海量数据,探索和挖掘这些数据背后隐藏的商业机会,做出重要的商业决策。本文将以Netflix为例,介绍它的技术堆栈以及如何处理重要的商业决策。

Netflix大数据平台架构经理Jeff Magnusson,在2013年旧金山QCon 大会上就他们的数据平台即服务(Data Platform as a Service)做了演讲。跟随这个演讲的线索,我们试图进一步解释技术堆栈是如何存在的以及它是如何帮助Netflix处理重要的商业决策。

Netflix公司在全球拥有超过3000万用户。每个用户在访问Netflix网站时都会提供几个数据点。一系列事件如播放、对视频的搜索和评价都会被捕捉和分析。 此外,用户使用中涉及到的时间、日期、地理位置、设备和页面中的浏览或滚动行为,也将被Netflix用来提供操作事件发生的环境,并将用户划分到不同的类别中。公司使用这些数据来提高其网站的参与度并做出诸如接下来将如何分配资金。

来自第三方的或社交媒体的元数据,也有助于对平台吸引用户参与或新用户订阅。

Netflix公司自2009年以来就开始在云中运行并使用Hadoop平台,他们使用的主要基础设施大数据块有:

 Amazon S3:Amazon S3技术被用来捕获各种各样的使用Ursula设备上数十亿次的事件,Ursula是一个内部数据管道工具。S3被当作运行Hadoop任务的Elastic Map Reduce(EMR)集群的可信来源。

 Hadoop:Apache Hadoop被用作分布式计算基准库。Hadoop被部署在Elastic Map Reduce集群上,另外,每个节点提供的存储中并没有使用HDFS,而是利用S3桶存储。这有点奇怪因为它可能会导致数据从S3到EMR节点违反Hadoop利用的数据本地性原则,但从另一方面来说,这意味着S3可以作为单一的可信来源,而EMR集群被作为消耗品,而且几乎可以被实时调整为合适的大小。

Hive:Hive在Netflix中被用来特定的查询和轻量级的聚集。Pig则用于ETL和更复杂的数据流。其数据迁移方面的特长也被用来在复杂的操作之间进行连接。

Genie:Hadoop PaaS技术产物Genie被用来在EMR提交任务。Genie提供了一个REST-FUL API,在使用它时,开发者无需处理Hadoop集群固有的启动或维护工作。开发者可以从Genie的GitHub代码库中fork它。

Franklin:Franklin是一个元数据API,可以用来从RDS、Redshift、Cassandra、Teradata 或者 S3上提取信息。自从2011年,从基于Oracle数据中心解决方案成功迁移到AWS云后,Netflix就使用 Cassandra收集在线数据。Teradata主要用于数据中心,但这将随着Teradata宣布签约Netflix 来组建他们的Teradata Cloud而改变。

Forklift:Forklift可用于在不同的数据存储区之间传输分析数据。源和目标可以是Hive、RDBMS、S3、R等。

Sting:Sting用于将Genie任务结果用特定的方式进行视觉化处理。通过将数据集保留在内存中,Sting能够以亚秒级响应时间执行常用OLAP操作,例如交叉分析。

Lipstick:Lipstick是用来让用户在Pig工作中可视化数据流和整体工作进度。这种方式可以直观的发现已停顿的任务,错误输出的数据或失败的任务,并将这些问题快速修改以便正确执行。

除了这些工具,Netflix公司已经开发了几个辅助工具例如Curator。Curator是一组Java库,使Apache Zookeeper方便使用。构建健壮客户端对于Curator是一个轻而易举的事,你能成功避免一些不安全的客户端调用和错误的假设陷阱请求。

上述的技术堆栈的所有部分中的一个非常重要的应用程序是Netflix的Recommendation。Netflix全部视频流中,大约有75%是由Recommendation结果驱动的。其中一个系统的Recommendation建议是用Markov链把电影模型化为一个状态然后计算这些状态之间转换的可能性。在RDBMS中,这将作为一个存储过程运行,一个星期一次,不过作为一个昂贵的副本,它并不具有良好的可扩展性。而使用Hadoop,这个问题得到了本质的解决,能够进行扩展而无需复制任何数据,另外使用Pig或Java Map Reduce任务,将比作为存储的规程更易于维护。

马尔科夫链描绘了一种离散时间随机过程,它依据转移概率矩阵在一系列状态间变换。将每部电影作为一个节点建模,并使用双边Map Reduce任务,Netflix能够计算从某个节点转换到另一个的可能性,而这正是Recommendation值。未来的值仅仅依赖于当前值,这决定了它非常适合Map Reduce任务——因为无需在Hadoop节点中存储状态。

转移概率并不是Netflix的Recommendation引擎考虑的唯一参数。周围的环境也是考虑的一个有趣方面。如果他是在家里或者在休假,或是在工作环境,用户也许会根据不同的设备想访问不同内容。这是一个连Netflix公司到目前为止都没有成功地解决的问题,因为要想将使用环境与观看选项关联,还需要克服若干挑战。

无论是在其他行业,还是竞争对手,Netflix的大数据架构都不容易被轻易复制。然而一些行为模块是开源的,而且被放在其GitHub账户上供人们下载。对于任何一个愿意开发大数据架构的组织,这些可以作为起点。Netflix公司已经表明,大数据战略不是一个事后的规划,而是需要预先计划和多年的不折不扣执行的。

原文链接: Big Data at Netflix Drives Business Decisions (编译/魏伟 审校/仲浩)

CSDN推荐:欢迎免费订阅《Hadoop与大数据周刊》获取更多Hadoop技术文献、生态圈趋势。

iOS越狱大神Comex加盟Google 曾错过苹果Offer 维基百科正式从MySQL迁移到MariaDB数据库 JavaScript MVC框架PK:Angular、Backbone、CanJS与Ember 大数据推广引领精准推广浪潮 ThoughtWorks负责人曾学海:数字渠道细分带来的架构演进 你画我猜2 : Draw Something 2正式发布 云中游科技CEO张帆:畅谈“找你妹”的自营销 Oracle当心,MySQL原始团队已重整旗鼓! 优秀的Meteor学习资源 ThoughtWorks美女分析师:如何规划企业在线数字渠道战略? OpenStack将怎样影响软件行业? 知识产权日特稿:谁动了程序员的源代码版权? MIT技术评论评选2013十大突破性技术:深度学习居首 Chrome测试版添扩展程序 可直接浏览Office文档 Ubuntu 13.04携中文衍生版UbuntuKylin 13.04发布 Spark核心开发者:性能超Hadoop百倍,算法实现仅有其1/10或1/100 移动开发的碎片化时代,我们该怎么办? 谈应用分发控制力:还是渠道为王 Unity亚洲开发者大会:手游半衰期越短,开发者手中的机会越多 《割绳子》开发者:俄罗斯双胞胎的奋斗史 曾应聘Rovio未果 Win7系统上常见IE 10问题汇总 如果苹果推廉价手机,市场份额会不会超过安卓? 移动互联网下,如何做儿童新音乐? 第三届“中科杯”全国软件设计大赛正式启动 注重稳定性 Docker 0.2.0发布 何谓机器学习 机器学习能做些什么? 艰难的决定:EA裁员10%,殃及PopCap 或提前落地!Amazon和Facebook急聘SDN工程师(Python优先) 轻松完成网站提速:来自Google、淘宝等的Nginx PageSpeed模块 Touch-Pay发布 移动联通在手机游戏领域联合推融合计费SDK 如何组织大型JavaScript应用中的代码? 请问怎样得到表的列数?如何得到某个列的名称? 有做过门禁系统的近来谈谈 谈的热烈的话我还要加分的:) 想做一个负责连数据库的代码模块,但不知道C#中模块的格式、与怎么调用?请赐教! 关于ODBC API中USHORT方式绑定的问题 有办法保证我的asp程序只能在一台指定的服务器上运行吗? 怎样将该段VB的代码传为C#(有关调用winAPI)? 关于Remoting的配置问题,高手帮忙! 关于安装系统的问题? 各位见笑了,对office不熟,在powerpoint里更改了母版并保存过了以后,怎么再改为不用母版? 高分讨教:如何控制用户的行为 高难度问题!!!~~~~~ 打开首页时,弹出另一窗口! 请问这个问题该怎么处理!十万火急!谢谢! 急:一个.Net 写DLL及调DLL的问题,请大家帮忙!(在线等候......可以再加分msn:w.hua@ynmail.com,qq:25857100) 救命啊 查找某个目录下是否有某个文件 邮箱命名的问题??? 怎样在一个窗口控件中显示两条自由报表的记录? 紧急求助USB带宽 请问哪里能下到《inside the c++ object model》英文版啊,谢谢 新手提问,大侠莫抛弃我,谢谢,请往里看。 求教:我想拦截CreateProcess()的调用,并取出参数是否可行???? 这是什么病毒 如何指定发送端口 如何设置treeview的scrollbar? 请问各位,谁写过一个程序的整个文档,小弟很急,想参考一下。不知是否可以。谢谢了! 打算过年后跳槽,大家帮帮忙看看我这水平能拿多少?来者有分 天灾 +人祸100分求救 各位再请看看: ccur(922337203685477.30)=922337203685477.25 ??? 用JAVA做APPLET程序的朋友请进!!! 如何使应用程序(基于对话框)在状态栏里不可见 急,求救!在线等!请帮忙,谢谢 SQL Server 的客户端问题? 在线等; 好好的程序不能运行了 ,提示:不能创建宏 怎样打开一个数据库在单文档的视中显示数据??(我没有没结过的贴) 调用外部程序的问题 偶去吃饭了!大家去吗?我请客好了:) 大家能不能介绍一下四川的迈普 VB6到VB.NET升级问题?有的FORM可以升级,有的不行,错误如下:(急!!!搞定立即散分!在线等!) 男人的花样,女人的年华(淡月儿) 如何在VB中正确将调用的Excel进程关闭? 请问 void UpdateDialogControls()函数怎么用……(******) 求教:我想拦截CreateProcess()的调用,并取出参数是否可行???? 我想请问一下sql的认证问题 触发器:For ,Instead OF 和After有什么区别?? slq7.0是不是不支持Instead OF 和After 远程访问方案征求!!! 为什么在我的XP的文件夹里面有Thumbs.db???? 不难的问题,请帮忙!! 如何改变ASP.NET Web应用程序生成的项目的位置?? 如何在JBuilder7中连接远程MS SQL2k数据库? 怎样才能更快的背好英语单词?要具体一点哦.. 英语盲填The old man gets into mike's car,and they___off. the boy is (my brother) 对括号里的提问是什么? 英语作文 我的梦想 空姐在线等希望会的可以帮我写一篇 100多个词就好了 带翻译的 谢谢. jump into the same car 翻译成汉语 句式转换:1、I like my classroom (because it is big and clean).(对括号提问)2、Most students do homework every day .(改一般疑问句)___ most students ____ ____ every day?3、After lunch ,I’ll go to sleep.(改否定句 I went to play tennis yesterday.中“play"为什么不用过去式 翻译句子bill hit his car into a wall last night I'd like to buy a big and modern house.________,I hope it's a quite neighborhood.A.After all B.Above all C.As a result D.At the moment就这个题,我说是选B,但是英语老师就是说选D,我也看见网上有这个题,就是选B,我去,这个 如何用身份证查询2010年12月英语六级成绩 短文填词Yesterday,another student and I went to the airport to meet this yea It's __ that they will go there with me because they all like the place.A.necessaryB.certainC.impossibleD.wrong He left his hometown sadly ,_____never to come back again这个空的答案是determined,我想问一下用deciding行么?还有过去分词和现在分词做状语表示伴随状态有什么区别 Mom,Ann and I went to the airport to meet him. We like to live in tall buildings because we can be close to our fridens.Our new house is__(close)tWe like to live in tall buildings because we can be closeOur new house is__(close)to my school.1、第二句以适当形式填空2、为什么第一句 She left the place with a heavy heart,___never to come back again.(determine)答案是determined,这里determine的发出者是she,为什么还用过去分词做伴随状语? 有什么办法能快速提升英语成绩 Who will go there and when they will go there ___not known.用is 还是 are 填 I left him,determined never to come back again..上面这句话中determined never to come back again.是什么用法. 英语所有过去分词 原形和过去式 our love in the house什么意思? He left the place,( )never to come back again.括号中为什么用determined?我知道be determined to do 是固定句式,前面的He是后面句子的主语,那么主动关系不应该用determining吗? 有谁知道一些好听的英文歌曲不要说每个人都知道的歌曲,听腻了 Why does the third man get out of the waiting room的中文是什么? 直接引语转间接引语(怎么转) 1.She says,"I'd like to have a pair of shoes." 2."I really don't know 有谁知道 一些好听的英文歌曲啊? 下面是一首歌的歌词,你能找出描写天气的单词吗?Oh,the weather is hot.And the sky is clear.It's a beautiful spot.This time of year.Oh,the weather is hot and the sky is clear.Oh,I'm never going to leave this place again.Oh,the clouds I'm afraid I can’t catch to you leave me alone这句话有没有语法错误?要不要用延续性动词?怎么改 有谁知道好听的英文歌?可以提高英语口语的 用所给单词的适当形式填空 I__(see)the man __(go)out of the room and __(get)on a bus yesterday. 用talk,speak,tell与.say填空.Our English teacher she is an American. 有谁知道比较好听的英文歌 They often go there with their books.(对划线部分提问)划线部分:their 【用括号内所给动词的适当形式填空】Listen!Our English teacher -----(speak)at the meeting. 麻烦大家帮忙算下08年12月英语六级成绩,听力 17个 快速阅读 5个 词汇填空 2个 短文阅读 7个 完型填空 18个 作文和翻译先忽略不计 They are (burning rubbish there)( )中为划线部位划线部分提问 1.-Our English teacher asks us to speak _____ English ____.-Sounds great.A.every day;every day B.everyday;everyday C.every day;everyday D.everyday;every day 原形——过去式——过去分词 该如何变化?其中有什么规律?英语很烂,如:原形 hang 过去式 hung/hanged 过去分词 hung/hanged 阅读判断对错:John doesn't like his house because it is very small and he hasn't hisown room.He is very happy to live in his uncle's home for the summer holiday.His uncle is very friendly to him.He lets John to stay up at night and John ca ()he heard a girl crying for help outside,he rushed out of the room.( ) he heard a girl crying for help outside,he rushed out of the room.A.Before B.As soon as C.after I went to see____ film named the Trojan War with my friends yesterday.I went to see__A__ film named the Trojan War with my friends yesterday.A.)a B.)an C.)the D.)/ ___A__ are you allowed to play on the computer in a week?A.)How long B.)How soon C.)Ho The house is worth--- because it dosen't cost much.A.being bought B.buying 为啥选B? He rushed out of the room after he heard of the news.=He rushed out of the room after__ __the news 划分英语成分句子 yesterday my good friends and my family went to have picnic outside in the forest 英语一个根据首字母天单词PLEASE TAKE CARE OF EVERYTHING HERE,AND DON'T D( ) ANYTHING HE HEARD THE NEWS . HE RUSHED OUT OF THE ROOM.(分词作状语)______________________________________ Because of his careless,Jack hit his car into a big tree by the roadside的意思? Loook at the house ____ the tree .It is made ____ wood.The sound____ drill is so noisy.介词 The boys rushed out of the classroom at the sad news,___ sadly.A cried B to cry C crying D cry The car knocked into the post because of the driver's __.(care) there are always a lot of s___ in the shopping mall on the weekend She is teach us English (1)改为过去式 (2)改为过去式一She is teach us English (1)改为过去式 (2)改为过去式一般疑问句 (3)改为过去式否定句 Nobody noticed the thief slip into the house because the light happened to ---. 【The tall boy in the room】 is my brother 对话括号地方提问 she______ her mother doing housework.(过去式) 英语填空 字母组词 urlnfodwe 关于天气的词 (The tallest boy) is my brother.对括号内部分提问.— — is_brother? 怎样更快更好地背英语单词怎样才能更快更好地背英语单词,并且记住后不易忘记? He got into his car and drove down the road.翻译下 the boy is (tall)对括号中的单词发问并解答
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘