说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Netflix:使用大数据驱动商业决策

HTML文档下载 WORD文档下载 PDF文档下载
大数据时代改变了消费者的行为模式,企业应该解读来自市场和消费者的海量数据,探索和挖掘这些数据背后隐藏的商业机会,做出重要的商业决策。本文将以Netflix为例,介绍它的技术堆栈以及如何处理重要的商业决策。

Netflix大数据平台架构经理Jeff Magnusson,在2013年旧金山QCon 大会上就他们的数据平台即服务(Data Platform as a Service)做了演讲。跟随这个演讲的线索,我们试图进一步解释技术堆栈是如何存在的以及它是如何帮助Netflix处理重要的商业决策。

Netflix公司在全球拥有超过3000万用户。每个用户在访问Netflix网站时都会提供几个数据点。一系列事件如播放、对视频的搜索和评价都会被捕捉和分析。 此外,用户使用中涉及到的时间、日期、地理位置、设备和页面中的浏览或滚动行为,也将被Netflix用来提供操作事件发生的环境,并将用户划分到不同的类别中。公司使用这些数据来提高其网站的参与度并做出诸如接下来将如何分配资金。

来自第三方的或社交媒体的元数据,也有助于对平台吸引用户参与或新用户订阅。

Netflix公司自2009年以来就开始在云中运行并使用Hadoop平台,他们使用的主要基础设施大数据块有:

 Amazon S3:Amazon S3技术被用来捕获各种各样的使用Ursula设备上数十亿次的事件,Ursula是一个内部数据管道工具。S3被当作运行Hadoop任务的Elastic Map Reduce(EMR)集群的可信来源。

 Hadoop:Apache Hadoop被用作分布式计算基准库。Hadoop被部署在Elastic Map Reduce集群上,另外,每个节点提供的存储中并没有使用HDFS,而是利用S3桶存储。这有点奇怪因为它可能会导致数据从S3到EMR节点违反Hadoop利用的数据本地性原则,但从另一方面来说,这意味着S3可以作为单一的可信来源,而EMR集群被作为消耗品,而且几乎可以被实时调整为合适的大小。

Hive:Hive在Netflix中被用来特定的查询和轻量级的聚集。Pig则用于ETL和更复杂的数据流。其数据迁移方面的特长也被用来在复杂的操作之间进行连接。

Genie:Hadoop PaaS技术产物Genie被用来在EMR提交任务。Genie提供了一个REST-FUL API,在使用它时,开发者无需处理Hadoop集群固有的启动或维护工作。开发者可以从Genie的GitHub代码库中fork它。

Franklin:Franklin是一个元数据API,可以用来从RDS、Redshift、Cassandra、Teradata 或者 S3上提取信息。自从2011年,从基于Oracle数据中心解决方案成功迁移到AWS云后,Netflix就使用 Cassandra收集在线数据。Teradata主要用于数据中心,但这将随着Teradata宣布签约Netflix 来组建他们的Teradata Cloud而改变。

Forklift:Forklift可用于在不同的数据存储区之间传输分析数据。源和目标可以是Hive、RDBMS、S3、R等。

Sting:Sting用于将Genie任务结果用特定的方式进行视觉化处理。通过将数据集保留在内存中,Sting能够以亚秒级响应时间执行常用OLAP操作,例如交叉分析。

Lipstick:Lipstick是用来让用户在Pig工作中可视化数据流和整体工作进度。这种方式可以直观的发现已停顿的任务,错误输出的数据或失败的任务,并将这些问题快速修改以便正确执行。

除了这些工具,Netflix公司已经开发了几个辅助工具例如Curator。Curator是一组Java库,使Apache Zookeeper方便使用。构建健壮客户端对于Curator是一个轻而易举的事,你能成功避免一些不安全的客户端调用和错误的假设陷阱请求。

上述的技术堆栈的所有部分中的一个非常重要的应用程序是Netflix的Recommendation。Netflix全部视频流中,大约有75%是由Recommendation结果驱动的。其中一个系统的Recommendation建议是用Markov链把电影模型化为一个状态然后计算这些状态之间转换的可能性。在RDBMS中,这将作为一个存储过程运行,一个星期一次,不过作为一个昂贵的副本,它并不具有良好的可扩展性。而使用Hadoop,这个问题得到了本质的解决,能够进行扩展而无需复制任何数据,另外使用Pig或Java Map Reduce任务,将比作为存储的规程更易于维护。

马尔科夫链描绘了一种离散时间随机过程,它依据转移概率矩阵在一系列状态间变换。将每部电影作为一个节点建模,并使用双边Map Reduce任务,Netflix能够计算从某个节点转换到另一个的可能性,而这正是Recommendation值。未来的值仅仅依赖于当前值,这决定了它非常适合Map Reduce任务——因为无需在Hadoop节点中存储状态。

转移概率并不是Netflix的Recommendation引擎考虑的唯一参数。周围的环境也是考虑的一个有趣方面。如果他是在家里或者在休假,或是在工作环境,用户也许会根据不同的设备想访问不同内容。这是一个连Netflix公司到目前为止都没有成功地解决的问题,因为要想将使用环境与观看选项关联,还需要克服若干挑战。

无论是在其他行业,还是竞争对手,Netflix的大数据架构都不容易被轻易复制。然而一些行为模块是开源的,而且被放在其GitHub账户上供人们下载。对于任何一个愿意开发大数据架构的组织,这些可以作为起点。Netflix公司已经表明,大数据战略不是一个事后的规划,而是需要预先计划和多年的不折不扣执行的。

原文链接: Big Data at Netflix Drives Business Decisions (编译/魏伟 审校/仲浩)

CSDN推荐:欢迎免费订阅《Hadoop与大数据周刊》获取更多Hadoop技术文献、生态圈趋势。

漏洞预警:FTP曝严重远程执行漏洞 影响多个版本Unix 【简讯】W3C小组宣布HTML5标准制定完成 AMD发布GPUPerfAPI 2.14,GPU性能检测更Easy! 开放能力升级——微信公众号登陆授权开启公测! 百度最“智能”的新型推荐技术——智能因子分解机 消灭Bug!18款最佳的问题跟踪管理应用程序 Google Analytics为什么会这么快 【MDCC 2014】Xamarin深入体验营——开发实战大揭秘 【MDCC 2014】电信技术专场:运营商与开发者如何合作共赢 【MDCC 2014】高德LBS大赛闭幕式暨颁奖典礼:下一个50亿应用花落谁家? MDCC 2014移动开发者大会开幕:全生态系统齐聚 开发者成主角 蓝港互动有限公司董事长&首席执行官王峰:移动互联网泛娱乐化趋势 多盟联合创始人&总裁张鹤:多盟DSPAN助力开发者高效变现 创新工场联合创始人汪华:移动互联网时代的跃迁式增长 阿里巴巴集团UC移动事业群总裁俞永福:AMAP Inside——更专业、更开放 《程序员+》移动应用上线 启动“2014 MDCC十大人气应用/产品评选活动” 微软开发体验与平台合作事业部大中华区DX部门总经理Srikanth Raju:基于云的跨平台开发 Facebook平台工程合作部亚太区总经理张博:通过Facebook构建下一代移动应用 Vungle工程副总裁Wayne Chan:移动视频广告的未来 友盟副总裁焦岳:2014移动互联网行业趋势&大数据的行业价值与运营支持 联发科技创意实验室副总裁Marc Naddell:以小博大的可穿戴方案 用友软件股份有限公司高级副总裁谢志华:企业互联网移动化触手可及 【MDCC 2014】英雄会晚宴——厉兵秣马,再上征程 移动开发技术与平台峰会(上):流量优化、数据管理、IM、LBS与跨平台开发 【推广、盈利与投资论坛】探寻推广与盈利新趋势 【企业移动化论坛】翻山越岭,创新突围企业移动化 解读微信与开发者双赢的开放能力 2014年10月操作系统份额:Windows 8.1份额喜人,Linux跌惨了 智能硬件峰会(下):苹果、微信、小米带给移动医疗产品开发的启示 移动游戏峰会(下):从端游转型手游、如何做一款不一样的游戏 移动游戏峰会(上):小团队如何做出大制作、游戏防作弊攻防战 oracle 的SGA问题,性能优化 刚刚完成的改版公司主页。大家去支持一下小弟呀! ? 有谁知道上海的做J2EE薪水有多少(平均水平),谢谢大家! 几个算法问题,参与者都有分! .NET制作的安装程序安装好后如果删除了打包的一个文件,再次通过快截方式启动时会重新安装,怎么不让他安装? 哪位能给提供一套ISO文档的实例? 如果procedure中执行的是一条SQL语句,如何得到返回的数据集? 可不可以在单线乘里开2个SOCKET? 帮我看看这个c语言的程序! 怎样处理窗口标题? 高分求助 !!!怎样利用INTERNET实现异地多台机器互连? 很简单,如何得到当前的时间和日期?(在线等待) 请问哪里有用applet做的,能绘制数学曲线的动态演示系统?各位,请不吝赐教 今天大清早被人诅咒! Delete 多个表时一条语句怎样写?? 请教:如何获取文本框中SQL语句。50分 日期型的格式应该怎样写?? windows xp internet 浏览器的问题 大家帮我看看这段代码:它是如何得到name和phone的值,并写到文件中取得 100分求李维的delphi5.x分布式系统开发的源代码,电子书我已经有 奇怪。为何win2000的搜索选项中的日期控件是Delphi中的样式?欢迎来讨论,给分!!! 请教一个数据库查询的问题! 哥、姐帮帮小第,一生成并打印表格问题(有图片及字体适应),急急,十万火急。 怎样在ASP.NET的页面中,把DataGrid的表头改名??急急急!!! 在线求教:怎样在自己定义的函数里封装自己的MouseMove类??? (高手求救………100分)怎么样用socket(http)实现上载!请提供思路或source code! 怎样调用Dll中导出的变量??? 那位大哥有关于颜色渐变的算法的代码,给小弟一份 小弟万分感谢 颜色渐变的算法 颜色渐变的算法 问一个有关缓存的问题 更换基类的问题? 感谢上学期大家的帮助——散分 一个奇怪的问题,100在线送给你!!! 用rave生成的pdf格式报表,中文字符怎么是乱码? 请进来: windows 2000 能不能用API的方式将Imagelist中的图画在命令按钮(Commandbutton)上? 请各位指点怎么从SQL65升级到7,还有数据备份?请大侠指点迷津? 请问如何解决.exe文件在其他机器上的运行问题 允许DBGrid对记录进行编辑,在线等待,急急急~ 如何在vb.net定义失去焦点事件? 如何读出文章中的部分内容(在线等待) 怎么样在VB中实现象PING -A命令 有没有一个更好的论坛????????????????????有没有人来踢馆?????????????????????????????? 如何访问隐藏共享的硬盘 请大家评评,先谢了 一个有趣的问题: 慢的问题 我在windows下的FormInput里有多个sqlDataAdapter 数据几百条 DataSET.fill慢及了 如何返回当前程序目录的上一级目录? EA,你给我进来,你又欺负我MM啦? 请问PB的DATA window如何实现分页? 关于pb中我在sqlserver中定义的字段类型是varchar(1000),结果在做数据窗口时它总是自动截取为char(255),为什么?如何解决这个问题(除了 测电路中的波形是电源所产生的电磁波吗?波形对应电路中的哪些参数在变化? 十月革命前的俄罗斯法的特点 社会主义国家土地制度都是公有制吗?世界上采取土地公有制的国家都是有哪些? 想知道最主要的温室气体是设么 云脚的意思 酸雨作为全球性环境问题之一,请问主要由哪一种气体的排放引起 水平衡调节的效应器是下丘脑还是垂体 为什么H2SO4(aq)与KOH(aq)反应生成1mol水(l)晗大于57.3mol\L汗.......答案是H2SO4二级电离吸热我的错打错了,是晗小于57.3mol\L我想问强酸电离还吸热吗?那HCl与NaOH反应不也电离吗它的反应就 有关滑轮组的问题我们老师说,这个滑轮组的动滑轮受力方向是下面这样的,为什么?上面的不对吗? 地球的淡水资源,污染情况,浪费现象 什么是温室气体 滑轮组的题怎么做? 地球上最好看的花是什么?千万别提“如花”两字,否则我第二天直接撤消.楼1你的回答很有创意,我在这里向你颁发“智商合格证书”,望你再接再厉,不顾前贤,“勇创夺命岛”. share 这边怎么译share one's character and personality怎么翻译噢? 为知道金属丝电阻的大小,小明用铭牌为20欧1A滑动变阻器和金属丝,电流表串联接入电路,请写出测电阻的主要并金属丝电阻的表达式. 如图是一种测电阻的实验电路,R1是电阻箱,电源电压保持9V不变.(1)当开关掷向1时,电压表示数为3V,此时电阻箱的电阻为6Ω,求R2上电流在1min内产生的热量是多少?(2)当开关掷向2时,灯泡恰好 “春风一度”是什么意思啊? 如图所示(两根绳子系着动滑轮的),工人用滑轮组在5秒内把重80N的物体匀速提高2m,克服绳重及绳与滑轮间摩擦过程中做了10J的额外功,每个滑轮重15N,则A.拉力F的大小为47.5N B.滑轮组的机械效 写削苹果的过程!记住,100字到150字 什么叫做 春风一度 滑轮组的问题定滑轮动滑轮都懂 但是看不懂滑轮组比如这个怎么看拉力是物体重的几分之几求教判断方法以此为例 只有金属离子才带二个单位正电荷,为什么? 春风一度,胜却无数. 滑轮组第四题 电液伺服阀与对称缸的流量是不是相同 羌笛何须问杨柳,春风一度玉门关,这首是的含义 酸雨作为全球性环境问题之一,主要由哪一种气体的排放引起? 极目,毛毡,骠悍,驰骋,无垠,比喻什么? 英语翻译When we share laughter,There's twice the fun;When we share the success,We surpass what we've doneWhen we share problems,there's half the pain;When we share tears,A rainbow follows rain.When we share dreams,They become more real;When we sh 1.能引起温室效应的气体是 2.会引起酸雨的气体是氧气 氮气 二氧化碳 二氧化硫四个选项都要填入 妈妈拿起水果刀,挑选了一个又大又红的苹果熟练地削着,削好后,递给我,我的心里十分温暖.“削”字平淡无味,可以把“削”换成其他动词吗?可以找个好一点的吗? 一行军队伍长60m,匀速前进,一位通信员从排尾赶到排头,立即又赶回排尾,这时队伍前进了144m,设通信员走的速度大小不变,求通信员走过的路程. 世界反法西斯战争是胜利的原因概括性,精辟 妈妈给我削苹果,我内心的感受 使用托盘天平之前,要对它调节底板谁平,再需调节( )若发现指针偏指向标尺左侧,为了正确使用,应将横梁右端的螺母向( )移动,衡量左端的 螺母向( )移动 世界反法西斯战争取得胜利的根本原因是? 妈妈拿出水果刀,挑选了一个又大又红的苹果熟练地削着,削好后,递给我,我的心里十分感动.全面.45字以上 俄国十月革命成功之后建立的第一个社会主义国家是应该是苏俄1922年苏联成立,苏俄可以说改称苏联 世界反法西斯战争胜利是哪一年? 下面是王宁同学的作文片段,老师提出了修改意见,请你帮他改一改.【原文】 妈妈拿起水果刀,挑选了下面是王宁同学的作文片段,老师提出了修改意见,请你帮他改一改.【原文】妈妈拿起水果 英语翻译Sustained annual average grwoth of more than 3 per cent might sound quite good and for most advanced industrial economies already operating at full(ish) employment it would be.主要是and后面的这句,不太明白 世界反法西斯战争胜利的决定性因素 电液伺服阀使用问题QDY6电液伺服阀是如何使用的?工作原理是根据输入电流的正反相来控制流量正反向,以此来控制机床前后运动,但是我们在使用时是加电压进去,然后通过一个驱动系统来转 美好的反义词是什么呀 Fe和硝酸铁 电磁波防盗系统和射频防盗系统有什么区别?3Q电磁波防盗系统和射频防盗系统有什么区别?各自的优缺点是什么? 17.(3分)滑轮组即能省力又能改变力的方向,建筑工人用自制的滑轮组把600N的重物缓慢提升2m,如右图所示,绳自由端的拉力F=250N.拉力做的功是____J,该滑轮组的机械效率等于____,若不计一切摩擦和 滑轮组的试题 B离子带一个单位正电荷比氧原子多2个电子 问,B是什么? 日光灯有时能亮有时不能亮.打开开关的时候会闪一下.刚开开关的时候灯有时会闪一下,然后过几分钟可能就亮了,但是有时候根本就没反应. 人静止在地球表面上受不受摩擦力 问下带2个单位正电荷的镁离子和+2价的镁元素怎么分辨啊,为什么一个上面是+2,另外是2+我到底该怎么写啊!到底是不是+号在前面啊! 动滑轮上绕了三段绳子 有4个钩码 每个0.5N 将钩码匀速上升20CM 弹簧测力机移动60CM弹簧测力几 试数为1N 求有用功和总共 机械效率 滑轮组的题题不计滑轮自重,要想站在地面上用250N的力提升起600N的重物,至少需要用几个滑轮?怎样绕绳?二楼的,最后的力是向上的,题上说是站在地面力应该向下拉??是吧?那该怎么办? 莫斯科保卫战怎么样 滑轮组试题F与G的关系如何? 爬树时,人受到的摩擦力,与地球重力相反方向的摩擦力是说成地球的摩擦力还是与树产生的摩擦力? 求一无线电能传输系统中的直流射频电源设计的电路图无线电能传输是将电源的电能转变为可无线传播的能量,在接收端又将此能量转变回电能,从而到达对用电器的无线供电.本课题是利用电 关于十月革命前的俄国1.十月革命前夕的俄国是各种矛盾的集合体,对此理解准确的一组是( ) ①垄断资产阶级和无产阶级 ②沙皇专制与人民大众 ③大俄罗斯民族与少数民族 ④俄帝国主义 第一次世界大战卷入国? 第九届北京—东京论坛在北京开幕福岛近海发生7.1级地震 最大观察到德国高层代表团将赴美 跟进默克尔被窃浙江监测教育质量评价 5万余名学生“浙江“稻鳖模式”开启生态农业之门浙江民营经济隐现离制造业化 地产投资习近平:让命运共同体意识在周边国家落故宫员工杀2名同事后自杀未遂 警方未浙江民营经济企稳 出口增速重回金融危尼日利亚军方与极端组织极端组织交火打数土文夫:日中关系应回到邦交正常化的俄印蒙三国总理联袂访华 中国周边外交大湄公河次区域经济合作发展与我国经济哥伦比亚妇女售卖12个女儿“初夜权”白俄总统错坐普京座位 发现后起身让座李娜击败阿扎伦卡 首次跻身WTA总决拉美和加勒比能源部长会议关注能源安全世界经济论坛发布全球性别差异新报告美国财政僵局余波未了日媒:4中国军机同日飞越冲绳 日战斗叙“支持阵线”头目或被打死 政府军战火箭大胜魔术为魔兽庆生 霍华德:我只乌鲁木齐男子微信交友开房遭敲诈18位艺术家打造《后语境》巡展 四类连云港开发区警方破获一起特大“毒豆芽黎巴嫩外援安塔尔正式加盟江苏舜天 号张军利任甘肃省人民政府副秘书长IDC:德国IT市场2013年将出现河北医大二院率先在全省建立远程医疗会中华吟诵讲座吸引外国朋友 群视频同步广西6亿元支持公立医院建设女童走错门晚上熟睡楼道 母亲称失踪需中国抗霾:来自广东的希望梁振英:香港将继续从内地金融改革中获北京市5万报名考生参加公务员笔试 6陕西宝鸡一工地上演现实版《盲井》“丝绸之路经济带”甘肃段规划建设大景沈阳将开通直达长三角高铁 至上海大约“珍珠港事件”72周年纪念活动在夏威柏林街头发生外籍家族械斗 最小参与者东南亚运动会开幕式背后的中国团队(高日本防卫大臣慰问菲律宾灾区(图)
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘