说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Netflix:使用大数据驱动商业决策

HTML文档下载 WORD文档下载 PDF文档下载
大数据时代改变了消费者的行为模式,企业应该解读来自市场和消费者的海量数据,探索和挖掘这些数据背后隐藏的商业机会,做出重要的商业决策。本文将以Netflix为例,介绍它的技术堆栈以及如何处理重要的商业决策。

Netflix大数据平台架构经理Jeff Magnusson,在2013年旧金山QCon 大会上就他们的数据平台即服务(Data Platform as a Service)做了演讲。跟随这个演讲的线索,我们试图进一步解释技术堆栈是如何存在的以及它是如何帮助Netflix处理重要的商业决策。

Netflix公司在全球拥有超过3000万用户。每个用户在访问Netflix网站时都会提供几个数据点。一系列事件如播放、对视频的搜索和评价都会被捕捉和分析。 此外,用户使用中涉及到的时间、日期、地理位置、设备和页面中的浏览或滚动行为,也将被Netflix用来提供操作事件发生的环境,并将用户划分到不同的类别中。公司使用这些数据来提高其网站的参与度并做出诸如接下来将如何分配资金。

来自第三方的或社交媒体的元数据,也有助于对平台吸引用户参与或新用户订阅。

Netflix公司自2009年以来就开始在云中运行并使用Hadoop平台,他们使用的主要基础设施大数据块有:

 Amazon S3:Amazon S3技术被用来捕获各种各样的使用Ursula设备上数十亿次的事件,Ursula是一个内部数据管道工具。S3被当作运行Hadoop任务的Elastic Map Reduce(EMR)集群的可信来源。

 Hadoop:Apache Hadoop被用作分布式计算基准库。Hadoop被部署在Elastic Map Reduce集群上,另外,每个节点提供的存储中并没有使用HDFS,而是利用S3桶存储。这有点奇怪因为它可能会导致数据从S3到EMR节点违反Hadoop利用的数据本地性原则,但从另一方面来说,这意味着S3可以作为单一的可信来源,而EMR集群被作为消耗品,而且几乎可以被实时调整为合适的大小。

Hive:Hive在Netflix中被用来特定的查询和轻量级的聚集。Pig则用于ETL和更复杂的数据流。其数据迁移方面的特长也被用来在复杂的操作之间进行连接。

Genie:Hadoop PaaS技术产物Genie被用来在EMR提交任务。Genie提供了一个REST-FUL API,在使用它时,开发者无需处理Hadoop集群固有的启动或维护工作。开发者可以从Genie的GitHub代码库中fork它。

Franklin:Franklin是一个元数据API,可以用来从RDS、Redshift、Cassandra、Teradata 或者 S3上提取信息。自从2011年,从基于Oracle数据中心解决方案成功迁移到AWS云后,Netflix就使用 Cassandra收集在线数据。Teradata主要用于数据中心,但这将随着Teradata宣布签约Netflix 来组建他们的Teradata Cloud而改变。

Forklift:Forklift可用于在不同的数据存储区之间传输分析数据。源和目标可以是Hive、RDBMS、S3、R等。

Sting:Sting用于将Genie任务结果用特定的方式进行视觉化处理。通过将数据集保留在内存中,Sting能够以亚秒级响应时间执行常用OLAP操作,例如交叉分析。

Lipstick:Lipstick是用来让用户在Pig工作中可视化数据流和整体工作进度。这种方式可以直观的发现已停顿的任务,错误输出的数据或失败的任务,并将这些问题快速修改以便正确执行。

除了这些工具,Netflix公司已经开发了几个辅助工具例如Curator。Curator是一组Java库,使Apache Zookeeper方便使用。构建健壮客户端对于Curator是一个轻而易举的事,你能成功避免一些不安全的客户端调用和错误的假设陷阱请求。

上述的技术堆栈的所有部分中的一个非常重要的应用程序是Netflix的Recommendation。Netflix全部视频流中,大约有75%是由Recommendation结果驱动的。其中一个系统的Recommendation建议是用Markov链把电影模型化为一个状态然后计算这些状态之间转换的可能性。在RDBMS中,这将作为一个存储过程运行,一个星期一次,不过作为一个昂贵的副本,它并不具有良好的可扩展性。而使用Hadoop,这个问题得到了本质的解决,能够进行扩展而无需复制任何数据,另外使用Pig或Java Map Reduce任务,将比作为存储的规程更易于维护。

马尔科夫链描绘了一种离散时间随机过程,它依据转移概率矩阵在一系列状态间变换。将每部电影作为一个节点建模,并使用双边Map Reduce任务,Netflix能够计算从某个节点转换到另一个的可能性,而这正是Recommendation值。未来的值仅仅依赖于当前值,这决定了它非常适合Map Reduce任务——因为无需在Hadoop节点中存储状态。

转移概率并不是Netflix的Recommendation引擎考虑的唯一参数。周围的环境也是考虑的一个有趣方面。如果他是在家里或者在休假,或是在工作环境,用户也许会根据不同的设备想访问不同内容。这是一个连Netflix公司到目前为止都没有成功地解决的问题,因为要想将使用环境与观看选项关联,还需要克服若干挑战。

无论是在其他行业,还是竞争对手,Netflix的大数据架构都不容易被轻易复制。然而一些行为模块是开源的,而且被放在其GitHub账户上供人们下载。对于任何一个愿意开发大数据架构的组织,这些可以作为起点。Netflix公司已经表明,大数据战略不是一个事后的规划,而是需要预先计划和多年的不折不扣执行的。

原文链接: Big Data at Netflix Drives Business Decisions (编译/魏伟 审校/仲浩)

CSDN推荐:欢迎免费订阅《Hadoop与大数据周刊》获取更多Hadoop技术文献、生态圈趋势。

自定义富媒体广告:NativeX SDK 5.0发布! WunderBar:零硬件开发基础也能接入物联网! 深入解析:分布式系统的事务处理经典问题及模型 从世纪互联、华云数据和金石易服的发展服路径观察IDC产业发展 SA:2014移动运营商、终端和应用十大关键趋势 使用modern.IE来设计更现代化的网页 全国顶级域名根服务器21日下午疑遭黑客攻击 影响巨大 苹果下一代iPhone的十大预测 《近匠》第07期,专访《恶魔塔防》团队,看俄国复杂深奥的游戏文化 代码托管网站GitHub的总裁和CEO进行职位互换 使用Chromebook的五个指南 云中游终极声明:热酷侵权,有种正面回答少打太极 背后故事:英特尔Edison中国研发 内部评审中曾三次被拒 全栈工程师会是未来的发展趋势吗? 大数据整理:囊括分片、存储方法、扩展等多个方面 物联网 ,下一个云计算市场 一位数据挖掘工程师眼中的“大数据与企业的数据化运营” 揭开“iOS in the Car”的神秘面纱 与Apple对峙:法律途径,并非是我想要 Halfbrick新作市场表现低迷:前作辉煌难续 专访豌豆荚:融资,会给技术团队带来哪些影响? 前端开发必备 40款优秀CSS代码编写工具推荐 新环境下的新体验是互联网硬件火热的根本原因 信息安全救星 ——变形代码产品ShapeShifter AWS启动大规模降价,引领行业降价潮流 Windows 8.1 Update 1最新版的截图再遭曝光 2013年软件领域因缺陷导致的五大事件 专访AMD技术高管 详解Kaveri技术性能及新开发特性 网络的东西南北:从SDN到网络虚拟化 Bug让Chrome浏览器成了窃听器 联想23亿美元收购IBM X86服务器硬件及服务 怎么我用vc 的 odbc 做数据库时,工程名为try ,在工程工作区的“class view”面板里没有tryview类的? 不能使用xmldocfile() 文档对象的问题 关于键盘纪录,高手 如何使用IPAddress控件? 初学者问:怎么用UpdateAllViews()? 无法创建asp.net应用程序 大家帮帮我吧,我都快崩溃了 中文乱码的问题 !!谁在VMWare 3.2里装过RedHat 9.0和RedFlag 3.0,请看看这些问题(100分)!! 如何使在输入框选中的文字在提交后仍然显示在输入框中? 无法创建asp.net应用程序 高手在上,请问怎么样在win2k中实现关闭程序和绘图[内详] 初学者问:如何在listview中查找其中一行? 怎样在调试窗口中看到变量值? 郁闷中,狂散分。。。。。。 DCOM怎么使用? 想做一个地区门户一般要包含那些栏目?? 线程 怎么能让DELPHI编出来的程序最小化以后进入到系统托盘? C++问题,请进来帮忙! help me ~!!! 以下行为究竟是关闭端口还是使用端口 callzjy(【剑客西门吹雪原来是仁者帮帮主...】) 怎么翻了这么多老帖子出来了??? 求原代码下载 大家都在干什么? 有什么东东大家可以一起研究研究? 初学者问:如何在listview中查找其中一行? fortran语言的高手请进,分数不够再加 我是一个刚刚步入JAVA世界的小鸟 恳请得到大家的帮助 。。 ActiveForm发布问题。 怎么能让DELPHI编出的程序像QQ一样可以自动隐藏? 一个关于dll的例子,运行不了,请帮忙看一下。 程序打包 BCB产生调试符号的问题 为什么要4张1寸的,1张2寸的照片?要这么多干什么/ 请问怎么样用C#遍厉注册表? 请问大家如何做一个实时的屏幕抓取的程序啊,是实时 各位大哥大姐帮帮小弟,先谢谢了!!! 用Delphi开发的WebService能否在NT4的IIS上面运行? 键盘纪录问题 一个窗体有多个按钮,怎样让一个按钮成为默认按钮? 关于MYSQL_CONNECT(),有点疑问 ASP.net好像也不能替代JavaScript吧? 网络游戏外挂之我所见(7) 键盘纪录问题 键盘记录问题 我为谁哭泣.. sql小问题 大家快帮帮我吧,我快崩溃了 谁知道VisualAge for Java 3.5的help打不开该怎么办?(能解决问题必给分) 网络游戏外挂之我所见(7) 参加翻译成 英文 要所有的 英语翻译原句是 死亡如影相随 房间是4.8米乘以2.5米,该拿多少平方地毯我想要一些这样算实际拿地毯的公式.该怎么裁.求大侠们帮忙.地毯是4米宽度的。 我要参加【翻译成英文】 如影相随是不是成语?大师们帮帮忙! 在△ABC中,AB=AC,∠BAC=∠108°,当∠CAD=72°时,△ABD与△ACD是等腰三角形吗?为什么?只有ab=ac 不等于cd 把“正在参加”翻译成英文 在雨中 看图作文.一共有四副图.要求::①仔细观察下面的图画,并根据这三幅图的内容,想象第二幅图的内容.(不必画出来)②把看到的和想到的内容连起来,围绕中心,写一篇450字以上的记 Rt△ABC中角BAC=90°,AB=AC=2,以AC为一边,在△ABC外部做等腰三角形ACD,则BD=? 万一他不参加 你还参加么?怎么翻译成英文 图上画了些什么?小朋友正在干什么?他是什么表情 10a乘10a等于 Could you___the baby laugh?--Could you____the baby laugh?--Certainly.It's easy.A.ask B.am C.are D.were 一天吃几根香蕉最好? (5a方b方+10a方b的立方)除以多少等于a+2b 现在那种红外感应开关是只要感应范围里有人 就会一直亮 还是会延时亮十几秒灭了再亮啊? 一天吃几根香蕉最合适? 为什么要倒置培养 不延时的红外感应或者光电开关有吗?我需要一种不延时的红外感应开关或者光电开关,要求当手放入探测范围时,开关立即打开或者关闭,请问是否存在这种开关,价格约是多少? 一天最多吃几根香蕉? -5a的3次方+10a的2次方-20a 等于多少 Don't leave, i can't spare you the world has. 是什么意思 黄河最早固定下来的河道是 想去天空之镜—玻利维亚乌尤尼盐沼要会什么语言么 一天吃几根香蕉比较合适啊?吃两三根会不会太多啊? 为什么黄河的河道是呈几字型的啊?途中遇到了哪几座大山啊?水是顺着地势低的地方流的.那朋友你能不能帮我分析一下黄河途中所经的各大地型.希望越详细越好,别说中国西高东低.这太概括. 玻利维亚 乌尤尼盐沼 挺说玻利维亚 乌尤尼盐沼 下完雨之后的景色是最美的我想问问 那里常下雨吗如果去 什么季节去最合适 北京有去乌尤尼盐沼的旅行社吗? 香蕉可以提高记忆力吗?一天吃几根香蕉最好了? 黄河长江河道是天然还是人工的? 初二一次函数:根据图象回答问题1.A、B点分别代表什么?2.说一说这两个数量是怎样变化的? 一天吃几根香蕉为极限?香蕉促消化我是知道的,但吃了一根后,由于它特别新鲜我就又吃2根,但我不敢吃多,怕吃多了对身体有害.到现在还想再吃一根呢.听他们说吃多了会拉稀呀?一天吃几根是 谁知道黄河河道内的滩涂地属于哪里?,我们那儿建旅游区地都被占了,五六十岁的老人们找不到工作又闲不下来所以想在河道内开点荒种点菜,每亩地每年1000实在是不够开销啊,可是原本属于我 聚集蛋白是什么意思 艾滋病是由什么引起的 煤灰砖还是水泥砖用于建房好 √10a·√5a=5√2a这道题对吗还有 a√1/a=√(a²·1/a)=√a 这个对吗 2*0.3m 平方线材导体多少根 艾滋病是什么引起的 已知砖的密度为1.5*10^3kg/m^3,用长25cm,宽12cm,厚6cm的砖块砌房子的墙,若房子外墙的面积为720m^2,墙的厚度为25cm,则修建此房约需砖___块,如果汽车一次能装载4t,则最少要拉___次才能将 线材:导体截面积怎样计算 快要读二级了,孩子的看图写画很差,怎么样才能让她提高水平,请高手指教, 如影随心什么意思 导体材料的问题二氧化硅(玻璃)在纳米尺寸时能导电,如果把纳米二氧化硅连接制成导线后,还能不能保持导电性? 1.南方古猿、能人、直立人、智人这四个人类可进化的阶段中那一阶段人类最先开始直立行走?2.克隆羊多利具有生殖能力吗?骡子具有生殖能力吗? 是非难解虚如影 是什么意思? 英语翻译在纽约一座漂亮的房子里,凯瑟琳斯洛珀跟父亲和姨妈一起过着平静的生活.父亲去世后,她将会继承一大笔钱.一天,凯瑟琳遇到一位英俊的小伙子,名叫莫里斯汤森.不久,他便称自己爱 进化的阶段 特征 古猿 南方猿 能人 直立人 智人 古猿 特征:人类和类人猿祖先,开始向不同方向进化 我想问下我家的卧室地面长4.1米,宽是3.5米 没装潢 高是3.2米 请问下我房间的面积是多少,应该买多大P数的 什么材料能作为导体为什么?那个电线电缆采用的是铜?而非铝或是别的导体? 看图写画我是用吸管和废衣架做桥的弯曲的一段,用泡沫做他的平面,下面奠了纸板,同时牙签作为护栏,废弃的饰品中的小花小草做绿化,体现出一种环保的概念,用桥来显示出宁波是我们美好的 一直杆AB悬挂在天花板上放开后直杆做自由落体运动,已知直杆通过A点下方3.2米处一点C历时0.5秒求直杆长 翻译 Can the ostrich fly? 万丈盐桥怎么样 如图 在三角形ABC中,AB=AC,圆O是三角形的外接圆,D为弧AC的重点,E是BA延长线上的一点,若角DAE=114°求角CAD的度数 英语翻译这次考试对他来说太难了 你怎么样?英语振作起来,我确信我们能取得高分.(get good marks) 爱滋病的病原体是什么?它的结构由哪两部分组成?请详细说明原因.十万火急! 厅里,地毯占了地面的4分之1.已知房间地面面积是16平方米,小群家大厅地面面积是多少平方米 请问能不能电器通过红外感应开关接通电源之后通过其他系统将一种电器的上盖儿打开,延时一段时间之后再关闭,然后电器进行下一个工作程序呢?用电磁阀或是电磁开关等能解决这个问题吗 我去抽签了,签上说如影随天.我抽的是婚姻签, 碱基序列是怎样测定出来的?怎样?我想,碱基序列这么庞大,测定它序列的效率应该是怎样呢? 巴黎中国电影节开幕首条横跨欧亚海底隧道启用 伦敦坐火车范长龙会见马来西亚国防部长强风暴致荷兰人损失近亿欧元巴西拟立法强制跨国网络巨头建立本土数强风暴袭击荷兰致损近亿欧元“丝绸之路经济带——区域合作的愿景”《中国好声音》电影版海报曝光 吴莫愁南京前三季度交通通信人均支出2886国信办主任:“六个目标”让网络空间清国家林业局:严格限制占用生态脆弱地区江西一教师为讨960元代课费跑15年南京一动物园招聘引热议 饲养员要求研六旬老人数年独自将毛坯路修成石子路 银行综合理财能力排名发布 光大银行连南京空气质量污染持续 昨日成10月最江苏将建设师德监督机制 坚决实行“一美工程师为圆梦转行专演死尸【组图】监听外国领导人后果显现 德国拟抵制同韩国议员赴朝考察开城工业区 或将缓和沙特女性抗议者拟无视政府禁驾令“顶风“从政是个非常高尚的职业”骑士时隔六年重返东部决赛中超榜首大战和气收场可获10年期多次入境签证图文:聋人摄影作品展纪念抗战广东:今年前4月立案4356人 查处提高增长质量潜力巨大(专家视点)西藏:开展\"四风\"问题专项检查 【新闻早知道】波士顿马拉松爆炸案嫌疑老国企亮出新利器(身边的变化)中国援尼各类项目经受住强震考验伊朗副外长称对达成伊核全面协议“谨慎精神的符号大校场上演“胜利大逃亡”《邱振中: 起点与生成》简介我省出口微增0.4%展览精要:美通过伊核协议审查法案新疆伊犁河谷发现新蜂种心木之痕·陈超版画展暨苏州桃花坞当代70所高职院校 参加注册入学
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘