说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Netflix:使用大数据驱动商业决策

HTML文档下载 WORD文档下载 PDF文档下载
大数据时代改变了消费者的行为模式,企业应该解读来自市场和消费者的海量数据,探索和挖掘这些数据背后隐藏的商业机会,做出重要的商业决策。本文将以Netflix为例,介绍它的技术堆栈以及如何处理重要的商业决策。

Netflix大数据平台架构经理Jeff Magnusson,在2013年旧金山QCon 大会上就他们的数据平台即服务(Data Platform as a Service)做了演讲。跟随这个演讲的线索,我们试图进一步解释技术堆栈是如何存在的以及它是如何帮助Netflix处理重要的商业决策。

Netflix公司在全球拥有超过3000万用户。每个用户在访问Netflix网站时都会提供几个数据点。一系列事件如播放、对视频的搜索和评价都会被捕捉和分析。 此外,用户使用中涉及到的时间、日期、地理位置、设备和页面中的浏览或滚动行为,也将被Netflix用来提供操作事件发生的环境,并将用户划分到不同的类别中。公司使用这些数据来提高其网站的参与度并做出诸如接下来将如何分配资金。

来自第三方的或社交媒体的元数据,也有助于对平台吸引用户参与或新用户订阅。

Netflix公司自2009年以来就开始在云中运行并使用Hadoop平台,他们使用的主要基础设施大数据块有:

 Amazon S3:Amazon S3技术被用来捕获各种各样的使用Ursula设备上数十亿次的事件,Ursula是一个内部数据管道工具。S3被当作运行Hadoop任务的Elastic Map Reduce(EMR)集群的可信来源。

 Hadoop:Apache Hadoop被用作分布式计算基准库。Hadoop被部署在Elastic Map Reduce集群上,另外,每个节点提供的存储中并没有使用HDFS,而是利用S3桶存储。这有点奇怪因为它可能会导致数据从S3到EMR节点违反Hadoop利用的数据本地性原则,但从另一方面来说,这意味着S3可以作为单一的可信来源,而EMR集群被作为消耗品,而且几乎可以被实时调整为合适的大小。

Hive:Hive在Netflix中被用来特定的查询和轻量级的聚集。Pig则用于ETL和更复杂的数据流。其数据迁移方面的特长也被用来在复杂的操作之间进行连接。

Genie:Hadoop PaaS技术产物Genie被用来在EMR提交任务。Genie提供了一个REST-FUL API,在使用它时,开发者无需处理Hadoop集群固有的启动或维护工作。开发者可以从Genie的GitHub代码库中fork它。

Franklin:Franklin是一个元数据API,可以用来从RDS、Redshift、Cassandra、Teradata 或者 S3上提取信息。自从2011年,从基于Oracle数据中心解决方案成功迁移到AWS云后,Netflix就使用 Cassandra收集在线数据。Teradata主要用于数据中心,但这将随着Teradata宣布签约Netflix 来组建他们的Teradata Cloud而改变。

Forklift:Forklift可用于在不同的数据存储区之间传输分析数据。源和目标可以是Hive、RDBMS、S3、R等。

Sting:Sting用于将Genie任务结果用特定的方式进行视觉化处理。通过将数据集保留在内存中,Sting能够以亚秒级响应时间执行常用OLAP操作,例如交叉分析。

Lipstick:Lipstick是用来让用户在Pig工作中可视化数据流和整体工作进度。这种方式可以直观的发现已停顿的任务,错误输出的数据或失败的任务,并将这些问题快速修改以便正确执行。

除了这些工具,Netflix公司已经开发了几个辅助工具例如Curator。Curator是一组Java库,使Apache Zookeeper方便使用。构建健壮客户端对于Curator是一个轻而易举的事,你能成功避免一些不安全的客户端调用和错误的假设陷阱请求。

上述的技术堆栈的所有部分中的一个非常重要的应用程序是Netflix的Recommendation。Netflix全部视频流中,大约有75%是由Recommendation结果驱动的。其中一个系统的Recommendation建议是用Markov链把电影模型化为一个状态然后计算这些状态之间转换的可能性。在RDBMS中,这将作为一个存储过程运行,一个星期一次,不过作为一个昂贵的副本,它并不具有良好的可扩展性。而使用Hadoop,这个问题得到了本质的解决,能够进行扩展而无需复制任何数据,另外使用Pig或Java Map Reduce任务,将比作为存储的规程更易于维护。

马尔科夫链描绘了一种离散时间随机过程,它依据转移概率矩阵在一系列状态间变换。将每部电影作为一个节点建模,并使用双边Map Reduce任务,Netflix能够计算从某个节点转换到另一个的可能性,而这正是Recommendation值。未来的值仅仅依赖于当前值,这决定了它非常适合Map Reduce任务——因为无需在Hadoop节点中存储状态。

转移概率并不是Netflix的Recommendation引擎考虑的唯一参数。周围的环境也是考虑的一个有趣方面。如果他是在家里或者在休假,或是在工作环境,用户也许会根据不同的设备想访问不同内容。这是一个连Netflix公司到目前为止都没有成功地解决的问题,因为要想将使用环境与观看选项关联,还需要克服若干挑战。

无论是在其他行业,还是竞争对手,Netflix的大数据架构都不容易被轻易复制。然而一些行为模块是开源的,而且被放在其GitHub账户上供人们下载。对于任何一个愿意开发大数据架构的组织,这些可以作为起点。Netflix公司已经表明,大数据战略不是一个事后的规划,而是需要预先计划和多年的不折不扣执行的。

原文链接: Big Data at Netflix Drives Business Decisions (编译/魏伟 审校/仲浩)

CSDN推荐:欢迎免费订阅《Hadoop与大数据周刊》获取更多Hadoop技术文献、生态圈趋势。

技术杂项PHP教程结束篇 -PHP初学入门教程13 .NET中DataSet和DataReader的区别与转换 CGI技术及其开发(二)-Delphi资料 CGI技术及其开发(一)-Delphi资料 COM/DCOM中如何传递数组-Delphi资料 COM与DCOM的区别与联系-Delphi资料 Cookie的建立使用-Delphi资料 Delphi 3中Cookie的建立使用 Delphi 中 串 行 通 信 的 实 现 Delphi4.0 开发WEBMAIL程序 Delphi4的Winsocket编程 Delphi4开发WEBMAIL程序 Delphi编写网络程序的安全措施 DELPHI 和 THE INTERNET Delphi开发Web Server程序如何返回图像 Delphi开发Web Server程序响应用户的输入 DELPHI与INTERNET(二) DELPHI与INTERNET(一) Delphi中串行通信的实现 Email 服务器的简单实现-Delphi资料 Internet编程技巧-Delphi资料 SMTP组件的使用方法-Delphi资料 Web Server程序开发环境的建立-Delphi资料 WEB数据库的开发-Delphi资料 Win32 行程通讯的观念与技术-Delphi资料 编程发送E-mail-Delphi资料 调用那个函数得到本机的IP-Delphi资料 动态改变/添加网络设置中的 TCP/IP 的 DNS 地址-Delphi资料 任何动态改变/添加网络设置中的 TCP/IP 的 DNS 地址-Delphi资料 如何在程序中动态取得Win98的网络邻居中的工作组及计算机名-Delphi资料 动态设置DNS地址-Delphi资料 怎么得分呀? dos下的Tcp/Ip协议应用 白痴,笨蛋,神经病之差异(转贴) 测试(大家都不许进来,只是测试,注意,只是测试) 请大家说一下哪个代理注册的网站收费比较底,而且服务又比较好的,谢谢! 在asp中如何实现记录集与编辑框、table表等的数据绑定,给个思路也行。着急呀 [-------大虾帮忙啊--------] bcb中缺少的帮助文件能否再添加? 在哪里可以找到关于sybase的资料 哪位仁兄知道如何打包delphi开发的sybase客户程序,最高78分奉送 一个关于OnDraw()的重绘问题,急急急急急急急! 新手的问题! dll调问题???VB调用VC++的DLL需要返回值时,DLL如何定义?VB调用函数如何定义??? 各位大虾 谁能提供视频采集卡的原代码,必须要CB的,300分 在堆(heap)上与在栈(stack)上建立的对象有什么区别? 一个问题,在做元件时怎样建立TdateTimePicker 给大家看看我弟弟给我的信 求助,标题栏为“The police are investigating the robbery-"的是什么程序? 谁能将.CPP文件的代码翻译成DELPHI语言?? 有关于FLASH5.0的问题!!!请各位大吓指点! 一个问题,怎样在PC:PageControl上增加TabSheet1,TabSheet1,TabSheet1…. 标题栏为“The police are investigating the robbery-"的是什么程序? 一个弱弱的问题 一个问题,建立的 FB: TBevel没显示,好象根本没建立一样。 如何在 MDI CLIENT 中添加快捷方式??谢谢!! 55分,如何映射控件中子控件的消息? 如何选择书 关于文献数据库的一个问题-如何把一个字段和一个文件关联起来? 所有喜欢到水园来逛逛,但是从不回帖子或很少回帖子的人进来签到~~~~ 谁来救救我呀,我好惨呀。。。。 如何通过VC编程,随时关闭网络端口 诚寻对嵌入式linux感兴趣的网友 今天临走前,再灌一桶酒! 急!!!哪里可以下载到制作工具栏时用到的位图呀? 太原的在哪能买到程序员杂志 我的qq:10120129 谁找我??? xml 高手帮帮我,为什么我下面的文件,在IE5.0中什么也没有?? 请问高手:在uml类图中如何用关系表示一个实体类和一个接口间的关系。 Cathy进来~~ 请问高手们一个Delphi的一个应该是比较底层的东西。 mimi大酒店正式開業﹗先進來的有分啊﹗ 哪个高手完整地讲讲OpenWith菜单项的调用方法和函数等 关于非模态对话框中使用UpdateData(FALSE)函数的问题,朋友,帮个忙好吗? “记事本”小问题,大逻辑.大虾们,照顾照顾小弟呗. Linux下配置ISDN--期待所有的Linux高手到来?? 我是女生,哈哈 急,怎么样在打印表格时使较长的字段分两行显示,并字体变小。 在VB里做的用户控件为什么在VC不能调用啊! 不服不行(真没辙了)[不够可在加200分] 我的代理怎么了? 45分等于多少时?大神们帮帮忙 所有自然数相乘等于几? 如何测智力? 有一组数:2,-3,2,-3,2,-3,2,-3,...,根据这个规律,那么第2013个数是?初中数学问题 26小时等于多少分钟大神们帮帮忙 所有自然数相乘等于几?3Q所有自然数相乘等于几?(注:这是一个准确的数!不是什么X/N/Y 之类的!) 找规律:1,-1/2,1/3,-1/4,1/5,-1/6,.,猜想第2 010个数是 多少,如果这一列数无限排列下去,与什么 分别等于多少 一个自然数它本身的各个数位上的数字之和与17相乘等于这个数,这个自然数是多少?我希望你们能给我一个解答的过程,应该怎样去说,才是有理有条的.因为那个结果是不难知道 有一列数为:—1,1/2,—1/3,1/4,1/5,1/6,…,找规律得到第2013个数是______. 4个分别等于多少 哪两个自然数相乘等于13? 7、31、37、82、( )、49 是什么 中国的面积相当于几个韩国?相当于几个英国?相当于几个日本?. 求数学大神来算下这个的面积.. 求左边的面积(包括三角) 和右边的面积 -.- 1.2.4.7.11( )( )( 韩国有中国好吗?大神们帮帮忙 这个时间还有数学大神吗 找规律填数的第2题 1、1、2、3、5_、_、_ 中国的一元相当于韩国的几元 1.已知x为整数,且2/(x+3)+2/(3-x)+2x+18/x²-9为整数,求所有符合条件的x的值2.解方程2(x²+1/x²)-3(x+1/x)-1=03.试证:对任意的正整数n,有1/1*2*3 + 1/2*3*4 + ...+1/n(n+1)(n+2) 找规律填数.求解答! 日本韩国跟中国的关系怎么样? 第9题选什么求数学大神 找规律填数, 韩国和中国现在哪个更发达些谢谢了,大神帮忙啊 第9题,数学大神来,快 找规律,填数字,求解答 10LB多少公斤啊?那就是不到5公斤喽? 第二题,求数学大神解答 1,1,2,3,5,8,( ),21,( ),55. 在三角形ABC中,角A,B,C的对边为a,b,c,点(a,b)在直线x(sinA-sinB)+ysinB=csinC上若a^2+b^2=6(a+b)-18,求三角形ABC的面积 求数学大神,第9题,只要正确,定当采纳. 找规律:15,20,12,25,9,30,( ),35,3,( ).怎么做? 一道关于数学三角函数的题,哪位数学好的朋友帮哈忙,谢 证明sin(x+y)-sinx=2cos((2x+y)\2)sin(y\2)有点急,喜欢数学的朋友来帮哈忙哈,对不起,我再查查 第十题. 1,4,9,20,35找规律能讲下为什么吗?有没有简单一点的方法呀? 关于三角函数的数学 如图在三角形abc中角bac等于70度,点d,e分别在ab ac上,且de平行bc,点f在de上,且bd=df ce=ef 则角baf等于 找规律 4 2 2 3 6求下一位 有关三角函数的题,求数学大神解答!具体如图:能详细解答吗? 高二数学有关求导的解答,数学大神进!谢谢 找规律:1,2,4,4(),8,64 A 16 B 8 C 12 D 6A 16 B 8 C 12 D 6 选一个填空 数学三角函数.算的好难过啊. 24题怎么求导?求大神帮忙解答下!谢谢! 400斤等于多少升油 关于爱因斯坦的数学游戏,随便做运算可以知道起始数字的那个,请问一下怎么解的大科学家爱因斯坦小时候就特别聪明,有一次同学们在一起玩,他说:“我们做一个数学游戏怎么样?”同学们 求大神解用变限积分求导解此题 2吨400克等于多少克 求爱因斯坦数学题.有一条长阶,若每步跨2阶,则最后剩1阶;若每步跨阶,则最后剩2阶;若每步跨5阶,则最后剩4阶;若每步跨7阶,则最后正好一阶不剩.答;#include int main(void){int steps = 29,i = 1;while ( steps 数学的二次求导到底干嘛用的,求什么的?高中多用二次求导来证数列不等式,到底二次求导怎么用,用在哪的? 400克等于多少千克? "爱因斯坦的数学游戏"大科学家爱因斯坦小时候就特别聪明,有一次同学们在一起玩,他说:“我们做一个数学游戏怎么样?”同学们说:爱因斯坦说:“你们随便想一个数,然后做一些运算,我就 哪能测智力,我测过一个33道问题的那个,但分太低,我不可能就有比弱智聪明一点!谁有再给我一个 400千克等于多少吨 解上来你就号称第二爱因斯坦5乘5的方格从1开始依次排列到24.1旁边的X不用写~就还剩下24个格子!两数之间不能不能跳跃!必须是两数紧靠着!也不能倾斜着写. 我测过一个33道问题的那个,但分太低,我不可能就有比弱智聪明一点!谁有再给我一个 2400g等于多少斤 爱因斯坦 数学只有1分.据说德国的大学1分是满分.那到底爱因斯坦的1分是最高分还是最低分?从前,看故事,说爱因斯坦小时候数学不好,考试只有1分,但是努力学习后成为了最伟大的物理学家,当 怎样测智力?智力
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn