说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Netflix:使用大数据驱动商业决策

HTML文档下载 WORD文档下载 PDF文档下载
大数据时代改变了消费者的行为模式,企业应该解读来自市场和消费者的海量数据,探索和挖掘这些数据背后隐藏的商业机会,做出重要的商业决策。本文将以Netflix为例,介绍它的技术堆栈以及如何处理重要的商业决策。

Netflix大数据平台架构经理Jeff Magnusson,在2013年旧金山QCon 大会上就他们的数据平台即服务(Data Platform as a Service)做了演讲。跟随这个演讲的线索,我们试图进一步解释技术堆栈是如何存在的以及它是如何帮助Netflix处理重要的商业决策。

Netflix公司在全球拥有超过3000万用户。每个用户在访问Netflix网站时都会提供几个数据点。一系列事件如播放、对视频的搜索和评价都会被捕捉和分析。 此外,用户使用中涉及到的时间、日期、地理位置、设备和页面中的浏览或滚动行为,也将被Netflix用来提供操作事件发生的环境,并将用户划分到不同的类别中。公司使用这些数据来提高其网站的参与度并做出诸如接下来将如何分配资金。

来自第三方的或社交媒体的元数据,也有助于对平台吸引用户参与或新用户订阅。

Netflix公司自2009年以来就开始在云中运行并使用Hadoop平台,他们使用的主要基础设施大数据块有:

 Amazon S3:Amazon S3技术被用来捕获各种各样的使用Ursula设备上数十亿次的事件,Ursula是一个内部数据管道工具。S3被当作运行Hadoop任务的Elastic Map Reduce(EMR)集群的可信来源。

 Hadoop:Apache Hadoop被用作分布式计算基准库。Hadoop被部署在Elastic Map Reduce集群上,另外,每个节点提供的存储中并没有使用HDFS,而是利用S3桶存储。这有点奇怪因为它可能会导致数据从S3到EMR节点违反Hadoop利用的数据本地性原则,但从另一方面来说,这意味着S3可以作为单一的可信来源,而EMR集群被作为消耗品,而且几乎可以被实时调整为合适的大小。

Hive:Hive在Netflix中被用来特定的查询和轻量级的聚集。Pig则用于ETL和更复杂的数据流。其数据迁移方面的特长也被用来在复杂的操作之间进行连接。

Genie:Hadoop PaaS技术产物Genie被用来在EMR提交任务。Genie提供了一个REST-FUL API,在使用它时,开发者无需处理Hadoop集群固有的启动或维护工作。开发者可以从Genie的GitHub代码库中fork它。

Franklin:Franklin是一个元数据API,可以用来从RDS、Redshift、Cassandra、Teradata 或者 S3上提取信息。自从2011年,从基于Oracle数据中心解决方案成功迁移到AWS云后,Netflix就使用 Cassandra收集在线数据。Teradata主要用于数据中心,但这将随着Teradata宣布签约Netflix 来组建他们的Teradata Cloud而改变。

Forklift:Forklift可用于在不同的数据存储区之间传输分析数据。源和目标可以是Hive、RDBMS、S3、R等。

Sting:Sting用于将Genie任务结果用特定的方式进行视觉化处理。通过将数据集保留在内存中,Sting能够以亚秒级响应时间执行常用OLAP操作,例如交叉分析。

Lipstick:Lipstick是用来让用户在Pig工作中可视化数据流和整体工作进度。这种方式可以直观的发现已停顿的任务,错误输出的数据或失败的任务,并将这些问题快速修改以便正确执行。

除了这些工具,Netflix公司已经开发了几个辅助工具例如Curator。Curator是一组Java库,使Apache Zookeeper方便使用。构建健壮客户端对于Curator是一个轻而易举的事,你能成功避免一些不安全的客户端调用和错误的假设陷阱请求。

上述的技术堆栈的所有部分中的一个非常重要的应用程序是Netflix的Recommendation。Netflix全部视频流中,大约有75%是由Recommendation结果驱动的。其中一个系统的Recommendation建议是用Markov链把电影模型化为一个状态然后计算这些状态之间转换的可能性。在RDBMS中,这将作为一个存储过程运行,一个星期一次,不过作为一个昂贵的副本,它并不具有良好的可扩展性。而使用Hadoop,这个问题得到了本质的解决,能够进行扩展而无需复制任何数据,另外使用Pig或Java Map Reduce任务,将比作为存储的规程更易于维护。

马尔科夫链描绘了一种离散时间随机过程,它依据转移概率矩阵在一系列状态间变换。将每部电影作为一个节点建模,并使用双边Map Reduce任务,Netflix能够计算从某个节点转换到另一个的可能性,而这正是Recommendation值。未来的值仅仅依赖于当前值,这决定了它非常适合Map Reduce任务——因为无需在Hadoop节点中存储状态。

转移概率并不是Netflix的Recommendation引擎考虑的唯一参数。周围的环境也是考虑的一个有趣方面。如果他是在家里或者在休假,或是在工作环境,用户也许会根据不同的设备想访问不同内容。这是一个连Netflix公司到目前为止都没有成功地解决的问题,因为要想将使用环境与观看选项关联,还需要克服若干挑战。

无论是在其他行业,还是竞争对手,Netflix的大数据架构都不容易被轻易复制。然而一些行为模块是开源的,而且被放在其GitHub账户上供人们下载。对于任何一个愿意开发大数据架构的组织,这些可以作为起点。Netflix公司已经表明,大数据战略不是一个事后的规划,而是需要预先计划和多年的不折不扣执行的。

原文链接: Big Data at Netflix Drives Business Decisions (编译/魏伟 审校/仲浩)

CSDN推荐:欢迎免费订阅《Hadoop与大数据周刊》获取更多Hadoop技术文献、生态圈趋势。

极路由发布HiWiFi OS及应用开放平台 Loom SDK框架:命令行快速开发跨平台2D游戏 安全管家Q2移动安全数据报告:窃取隐私最多 Project Adam vs. Artificial Brain,微软与谷歌角力人工智能 “微信公众平台优秀开发商”征集评选活动正式启动 移动数据库新疆界:开源、Swift、可穿戴... Chromebook侵蚀微软商用PC市场,成绩喜人 2014微信开发者大会议程公布 8月1日前购票8折优惠并赠书 四火的唠叨:也谈谈全栈工程师 图形化与集成趋势 协同软件致远发新品V5.1 跨平台开发如何事半功倍 Xamarin推出免费培训 《近匠》上海庆科:海尔智能家居背后的云方案 轻松DIY智能硬件,开源电子原型平台Hippo-ADK 所见即所得!基于Polymer的设计工具Mobile UI Elements 好的产品经理是怎样炼成的? 统一架构、统一运维:UnitedStack发布UOS2.0 把轻应用带进汽车——宝马、百度编程马拉松大赛启动 “钢铁侠”Insteon的逆袭:声控智能家居新时代 游戏云纪元 第二届游戏运营技术论坛即将召开 Bitly:构建月处理60亿点击的分布式系统 重塑微软:Satya Nadella开启整合之路 推送工具个推完成B轮数千万美金融资 娱乐行业数据化 ABD爱梦娱乐发布大数据引擎产品 增强现实:10大AR应用窥探移动未来 LBS的硬件创新:高德LBS智能硬件编程马拉松圆满闭幕 2014优秀微信开发商评选上线 首批旅游汽车电商房产等行业应用出炉(表) 让梦想照进现实——宝马百度编程马拉松闭幕 IXDC大会:移动交互设计精髓——用户体验 想辨析“马航”等事件真伪,有很多技术和工具可以使用 两倍于IBM的基础设施投资,Google大力发展云服务 听云平台发布移动应用性能黑洞报告 如何用DAO调用MSSQLSERVER中的存储过程获得结果集? sybase的字符串连接符是哪个 如何取得上网ip?(不是本地IP),在局域网中,客户机通过主机代理上网,能否确定客户是否连在网上? 请问网络高手--怎样知道对方的物理地址(知道对方的IP)??? 图片存在数据库中,在asp页上如何让其显示出来!? 如何把文件或图片以Blob类型存入Oracle数据库,并在JSP中把数据库中的Blob数据以最初的文件格式读出来??? 如何把文件或图片以Blob类型存入Oracle数据库,并在JSP中把数据库中的Blob数据以最初的文件格式读出来??? 请问大伙《TCP/IP详解》1,2,3卷----机械械工业出版社,是否值得购买?翻译的怎么样? CRYSTAL REPORTS DEVELOPER EDITION VERSION 哪里有下? 如何控制excel中的图表? 我想在我彻底陷去之前再清醒的看看这个世界..... 十万火急!!!IIS报HTTP 500的错误。 select时间段问题 请推荐uml方面的好书!! CreateWindow和MFC的CFrameWnd::LoadFrame产生的窗口的区别?? 在pb中用SetPicture(lb_image)当lb_image为空时picture的图片不变 有一段代码破不理解?谢谢! 在pb中用SetPicture(lb_image)当lb_image为空时picture的图片不变 用JAVA开发企业MIS系统,需要注意那些? 怎么在没有资源的项目里加入菜单资源?(急) 有一段代码破不理解?谢谢! 如何动态设置一个字段的类型。例如:下拉型,EDIT型,EDITMAST型。急用!!! 试问DELPHI中的线程是一个什么样的概念? need acdsee for linux 汇编火焰源程序,谁要,请留下Email。。。。 我在98下安装完JRUN3。0后做完的JSP网页应放在哪个目录下。急急急!!! 一个我觉得不可能实现的任务。请大家探讨!!!谢谢 在SQL表中如何得到不带年月日时间信息? 为什么要换页? 再问一个关于Delphi中处理字符串的问题 请问unix下是否支持文件流操作 fstream <<,>> 哪位老大给讲讲AVI中音频使用MP3压缩的标准及解压标准啊 need winzip for linux? 请问如何在ASP中实现FTP传输?紧急! need winimg for linux? need ie for linux? 哪有PowerDesigner 9正式版下载的? 怎样移除控件的事件? 开发EJB,必须用WEBLOGIC做容器吗? SOS!!! 大家看看下面的XML文件如何用XSLT来转换啊? 如何从XML文件中提取相应的数据? 本人初学JAVA,请问JBuilder6为何光标显示不对啊? 有点难度的问题,各位老大走过路过不要错过,^-^ linux安装问题,急!!!!!!! help 这是不是SQL SERVER2000 查询分析器的BUG 在那里可以下载ssl的开发包? 我在网上下载了很多PB技术和技巧文章(都是html格式),请问用什么把他们作成一个帮助文件啊? 有关RPC的问题,当客户端出现异常(如死机)的时候,服务器端怎么知道?(高分感谢) 送分 再次送分 x^2+y^2+z^2+xy+xz+zy因式分解后是什么——在线等x^2+y^2+z^2+xy+xz+zy因式分解后是什么, 因式分解-16a^2-24ab-9b^2 I want _____ (be)in our school sports club用所给单词的适当形式填空 已知1/sinA,1/cosA是二次方程x^2-√2ax+a=0的两根,求tanA的值及A ps:已知1/sinA,1/cosA是二次方程x^2-√2ax+a=0的两根,求tanA的值及Aps:√2ax就是根号2乘以ax (3)9A2-24AB+4B2 (4)-A2+8A-16那个可以用完全平方公式因式分解 i want to be in a club in our school同义句英语i think ______________________翻译:but I do not think i can be a successful sports man because I an not ai it 和 who is nancy ,can you guess? 改为同义句Mr Smith works as our English teacher in the school.Mr Smith ( ) in the school. 因式分解:a^3 - 5a^2 b - 24ab^2 I want____ _____our school club.填两个单词,除了 to be Our English teacher‘s ( )studies in our school,too. 零点六四平方千米等于多少平方米 do you want to sing then you can _____in our school music club A.be B.are C.to be D.is 尽快回复 英语 Welcome to our school Look!It is the teacher'soffice. 已知F1、F2分别是椭圆C:x^2/a^2+y^2/b^2=1(a>b>0)的左、右两个焦点,右焦点F2(c,0)到上顶点的距离为2,a^2 I want to join our school Sports Cenrte的翻译 Do you want to in the school piay?Hi a teacher.He teaches our English.错在哪怎么改 在y=ax的平方+bx+c中,若a+b+c=0,且当x=2时,y=3;当x=3时,y=28.求a,b,c的值,并求出当x=-2时,y的值是多少 130.144的平方根=要正的 Our teacher asked us _______(remember)_______(bring)the English books to school.如题,应该填什么? 谁能给我有关节日习俗的作文 144怎么开方 Mrs Chen is our English teacher.She can speak several foreign languages ----English.(124.27)A.but B.besides C.except D.without There is going to be a music festival in our school next week.All the students are______ itA.looking for B.thanking for C.preparing for D.asking for 已知椭圆C1:x^2/a^2+y^2/b^2=1(a>b>0)的离心率为根号3/3,直线l:y=x+2与原点为圆心,以椭圆c1的短半径为半径的圆相切1)求椭圆c1的方程 2)设椭圆c1的左焦点为f1,右焦点f2,直线l1过点f1且垂直于椭圆长 Our,teacher,English,Rend,Mrs,is(.) 连词成句 the students in three____(年级)in our school will go on a trip next week 已知椭圆C1:x^2/a^2+y^2/b^2=1(a>b>0)的离心率为根号3/3,直线l:y=x+2与以原点为圆心,以椭圆C为短半轴长以椭圆C的短半轴长为半径的圆相切. (1)求椭圆C的方程. (2)若AC,BD为椭圆C的两条相互垂 Is Mrs Geen our English teacher?----No,she is t_ English teacher. The park is next to our school.同义句The park is___our school 已知椭圆C1:x^2/a^2+y^2/b^2=1(a>b>0)的离心率为根号3/3,直线l:y=x-2与以原点为...已知椭圆C1:x^2/a^2+y^2/b^2=1(a>b>0)的离心率为根号3/3,直线l:y=x-2与以原点为圆心,以椭圆C1为短半轴已知椭圆C1:x^2/a^2+y^2/b^ 在前100个自然数之和中,将不能被3和4除净的数相加,和是多少. Mrs.Green are/is our English teacher.are和is哪一个对 Two _______the students in our school will go to Beijing next week. A. hundreds of B. hundred of C.Two _______the students in our school will go to Beijing next week. A. hundreds of B. hundred of C. hundred D. hundreds该选哪一 已知sina,cosa是关于x的二次方程2x^2+4kx+3k=0的两个实根,求实数k的值 已知二次函数y=ax的平方+bx+c,当x=-1时有最小值-4,且图像在x轴上截得线段长为4,求函数解析式. 已知tana,tana分之一是关于x的方程x平方-kx+k平方-3=0的两个实根,且0 设sina,cosa是二次方程3x^2-2x+m=0(m属于一切实数)的2个实根,a是第二象限角,求m的值 已知二次函数y=ax^2+bx+c的图像与y轴的交点为(0,2)且函数的最小值为-1/4,且方程ax^2+bx+c=0的两根平方和为求二次函数解析式 已知0 设sina,cosa是二次方程3x^2-2x+m=0(m属于一切实数)的2个实根,a是第二象限角(1)求m的值(2)求sin(π/4-a)的值 已知二次函数f(x)=ax平方+bx+c的图像与x轴有两个交点他们之间的距离为6对称轴x=3为且最小值 英语翻译它们之间有什么区别?它们具体是怎么用的? 因式分解 xy-xz-y的平方+2yz-z的平方 在等式y =ax的平方+ bx+c中x=1时y=4当x=2时y=-3当x=-1时y=0求abc的值 We.didn't.talk.about.our.life.We.mainly.talked.about.our.work的翻译 289的算术平方根是多少 在等式y=ax的平方+bx+c中,当x=-1时,y=0;当x=2时,y=3;当x,1时,y=0,求abc的值 Talk about the interviewer 翻译成汉语 289的算术平方根是? sinA cosA是方程4x2-4mx+2m-1=0的两个根 A大于3/2派小于2派,求A 答案是5/3派 lets talk about a man翻译成中文是什么意思 Our English teacher worked late into the night,____the exam for the following wekks.A.to be prepared B.prepared C.preparing D.was preparing 怎么填为什么理由 已知sina,cosa是方程4x方-4mx+2m-1=0的2根,二分之3πi小于a小于2π, 已知一元二次方程ax+bx+c=0的一个根位1,且a,b满足等式b=[√(a-2)+√(2-a)]-3,求方程1/4y-c=0 out,the ,our ,plan,English,worked,fine,teacher,came up with组合成陈述句单词不的重复,标点已给出.是陈述句! 关于x的方程式ax²+bx+c=2与方程(x-1)(x-3)=0的解相同,则a+b+c= 零点六四平方千米等于多少平方米 选词填空.He ________ following our teacher in English class.have trouble impress break off 2x2+4=2(x2+2)是因式分解吗 下列因式分解错误的是(  ) A.x2-y2=(x+y)(x-y) B.x2+6x+9=(x+3)2 C.x2+xy=x(x+y)如题
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘