说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Netflix:使用大数据驱动商业决策

HTML文档下载 WORD文档下载 PDF文档下载
大数据时代改变了消费者的行为模式,企业应该解读来自市场和消费者的海量数据,探索和挖掘这些数据背后隐藏的商业机会,做出重要的商业决策。本文将以Netflix为例,介绍它的技术堆栈以及如何处理重要的商业决策。

Netflix大数据平台架构经理Jeff Magnusson,在2013年旧金山QCon 大会上就他们的数据平台即服务(Data Platform as a Service)做了演讲。跟随这个演讲的线索,我们试图进一步解释技术堆栈是如何存在的以及它是如何帮助Netflix处理重要的商业决策。

Netflix公司在全球拥有超过3000万用户。每个用户在访问Netflix网站时都会提供几个数据点。一系列事件如播放、对视频的搜索和评价都会被捕捉和分析。 此外,用户使用中涉及到的时间、日期、地理位置、设备和页面中的浏览或滚动行为,也将被Netflix用来提供操作事件发生的环境,并将用户划分到不同的类别中。公司使用这些数据来提高其网站的参与度并做出诸如接下来将如何分配资金。

来自第三方的或社交媒体的元数据,也有助于对平台吸引用户参与或新用户订阅。

Netflix公司自2009年以来就开始在云中运行并使用Hadoop平台,他们使用的主要基础设施大数据块有:

 Amazon S3:Amazon S3技术被用来捕获各种各样的使用Ursula设备上数十亿次的事件,Ursula是一个内部数据管道工具。S3被当作运行Hadoop任务的Elastic Map Reduce(EMR)集群的可信来源。

 Hadoop:Apache Hadoop被用作分布式计算基准库。Hadoop被部署在Elastic Map Reduce集群上,另外,每个节点提供的存储中并没有使用HDFS,而是利用S3桶存储。这有点奇怪因为它可能会导致数据从S3到EMR节点违反Hadoop利用的数据本地性原则,但从另一方面来说,这意味着S3可以作为单一的可信来源,而EMR集群被作为消耗品,而且几乎可以被实时调整为合适的大小。

Hive:Hive在Netflix中被用来特定的查询和轻量级的聚集。Pig则用于ETL和更复杂的数据流。其数据迁移方面的特长也被用来在复杂的操作之间进行连接。

Genie:Hadoop PaaS技术产物Genie被用来在EMR提交任务。Genie提供了一个REST-FUL API,在使用它时,开发者无需处理Hadoop集群固有的启动或维护工作。开发者可以从Genie的GitHub代码库中fork它。

Franklin:Franklin是一个元数据API,可以用来从RDS、Redshift、Cassandra、Teradata 或者 S3上提取信息。自从2011年,从基于Oracle数据中心解决方案成功迁移到AWS云后,Netflix就使用 Cassandra收集在线数据。Teradata主要用于数据中心,但这将随着Teradata宣布签约Netflix 来组建他们的Teradata Cloud而改变。

Forklift:Forklift可用于在不同的数据存储区之间传输分析数据。源和目标可以是Hive、RDBMS、S3、R等。

Sting:Sting用于将Genie任务结果用特定的方式进行视觉化处理。通过将数据集保留在内存中,Sting能够以亚秒级响应时间执行常用OLAP操作,例如交叉分析。

Lipstick:Lipstick是用来让用户在Pig工作中可视化数据流和整体工作进度。这种方式可以直观的发现已停顿的任务,错误输出的数据或失败的任务,并将这些问题快速修改以便正确执行。

除了这些工具,Netflix公司已经开发了几个辅助工具例如Curator。Curator是一组Java库,使Apache Zookeeper方便使用。构建健壮客户端对于Curator是一个轻而易举的事,你能成功避免一些不安全的客户端调用和错误的假设陷阱请求。

上述的技术堆栈的所有部分中的一个非常重要的应用程序是Netflix的Recommendation。Netflix全部视频流中,大约有75%是由Recommendation结果驱动的。其中一个系统的Recommendation建议是用Markov链把电影模型化为一个状态然后计算这些状态之间转换的可能性。在RDBMS中,这将作为一个存储过程运行,一个星期一次,不过作为一个昂贵的副本,它并不具有良好的可扩展性。而使用Hadoop,这个问题得到了本质的解决,能够进行扩展而无需复制任何数据,另外使用Pig或Java Map Reduce任务,将比作为存储的规程更易于维护。

马尔科夫链描绘了一种离散时间随机过程,它依据转移概率矩阵在一系列状态间变换。将每部电影作为一个节点建模,并使用双边Map Reduce任务,Netflix能够计算从某个节点转换到另一个的可能性,而这正是Recommendation值。未来的值仅仅依赖于当前值,这决定了它非常适合Map Reduce任务——因为无需在Hadoop节点中存储状态。

转移概率并不是Netflix的Recommendation引擎考虑的唯一参数。周围的环境也是考虑的一个有趣方面。如果他是在家里或者在休假,或是在工作环境,用户也许会根据不同的设备想访问不同内容。这是一个连Netflix公司到目前为止都没有成功地解决的问题,因为要想将使用环境与观看选项关联,还需要克服若干挑战。

无论是在其他行业,还是竞争对手,Netflix的大数据架构都不容易被轻易复制。然而一些行为模块是开源的,而且被放在其GitHub账户上供人们下载。对于任何一个愿意开发大数据架构的组织,这些可以作为起点。Netflix公司已经表明,大数据战略不是一个事后的规划,而是需要预先计划和多年的不折不扣执行的。

原文链接: Big Data at Netflix Drives Business Decisions (编译/魏伟 审校/仲浩)

CSDN推荐:欢迎免费订阅《Hadoop与大数据周刊》获取更多Hadoop技术文献、生态圈趋势。

用VB 创建自己的通信程序 用VB5.0开发通信软件的技巧 用VB5开发IE 用VB编写网络寻呼 用VB编写小型的网络系统 用VB创建自己的通信程序 用VB构建Internet的应用 用VB开发标准CGI程序 用VB实现客户——服务器(TCP/IP)编程实例 用VB实现聊天讨论室和点对点会话 用VB写一个定时PING某IP的程序 用VB制作浏览器 用Visual Basic 5.0设计E-mail程序(MAPI) 用Visual Basic6.0编写客户服务器程序 用Visual Basic创建FTP组件 用Visual Basic开发数据库浏览器 用Visual Basic轻松地设计Browser及Ftp程序 VB用Winsock控件发信Email VB用Winsock实现点对点通信 邮件检查程序(二) -VB资料 邮件检查程序(一) -VB资料 在VB程序中怎样挂断拨号网络 在VB中利用UDP协议编写聊天程序 在VB中模拟实现邮件传输 在VB中实现文件上传 在VB中使用UDP协议 在VB中用Outlook发电子邮件 在程序中打开 Internet 拨号连接窗口 -VB资料 在一个单位内部或通过广域协议(如X.25)互联的行业内部都有几十或上万台计算机互联,用Intrane 在应用中集成浏览器-VB资料 在桌面上建立一个 Internet 快捷键 -VB资料 const^:^ *********在dll文件中怎样打开一个窗口********* 自定义对话框 求解:怎样使用数据窗口能多页预览?有这项功能吗? 域的DNS有问题! 出现out of range 只是偶尔出现并不是经常出现?我的配置在里面 想问问大家关于微软认证的看法。 我有光驱上哪找 请问斑竹:c#中有类似exit(0)之类的函数吗, 请问谁有将可执行文件中的资源提取出来保存在新的rc文件中的源代码? PB数据库的连接分类解决问题? 数据窗口鼠标焦点为什么会遗失? 怎么用xp安装盘升级两千或酒吧下的wmp? 怎样得知ListBox中已经有多少项内容了? 看看大家关于微软认证的看法(只能给77,全给了) OFFICE XP以及金山词霸的漂亮菜单如何实现的??有源代码可以参考吗?? 谁能说一下"快手"的程序是怎么工作的啊 这个问题我都问了三遍了,还是没人帮忙回答一下? 这样怎么能不行了?怪了. ~散分哦~,哈~ 可怜的准初级程序员(水平的没过,竟然拿了个资历格的) 各位兄弟请了!一个远程接入问题邀请教各位~! 这个问题好象不难 如何在WIN NT4中安装、使用IIS4????? no pains,no gains. work for the beautiful girl here and for our beautiful life 各位大侠: 我是新手,有人能给我讲讲xmlspy吗?? win.ini与SYSTEM.INI的区别? Oracle 的产品真的很烂吗?参与者都有分! 现需开发一套对多个数据库(不是一个数据库中的多个表)进行操作的程序,使用BDE,请大家提建议 CPen的问题! 各位请教:我要通过电话线做多路远程接入但我不想用路由器 请问,使用ado控件的程序,考到其他机器上,除了数据库和应用程序之外,还需要拷贝什么文件? 部分技术超过OFFICE 国产软件挑战微软 关于子窗口 请教:uninstall onflow.exe和wcmdmgr.exe是什么软件? DataSet如何定位记录. lius_lzc(小刘)你好。请来这 高程成绩 不是高手不要进来!!!!!!!!!!!!! 那位大侠能说一下快手的原理啊,有源码最好???????????????? 各位有什么网站可在线看片或下载东西,网速要非常快,如果有请与大家分享,如果没有请勿进,免得大家试半天的网址,谢谢合作 实模式和保护模式的区别? 一个只问小湖的问题 ASP 中的 Response.End 在JSP中怎么写??? 有关多媒体数据库的问题 笨鱼笨鱼,好象你的故事大家都知道了,贴张相片出来给大家看看,大家说好不好啊?? 请教关于第三方控件的问题,谢谢 软件工程师们,你们开发软件的时候听什么音乐呀? 各位大侠,请帮助一下初学者 CPen的问题!!!!!!! 我在泡脚呢,给大家发分,打听一下你们泡脚的时候都干什么? 乳白色石头,半透明颗粒状,硬度比翡翠小,比玻璃硬,是个什么石头, 橡胶的硬度与温度的关系是怎样的,有没有曲线关系图 外观上人造石和石英石有什么不同?如果是说2者的成分、优缺点、工艺之类的就请免再复制粘贴了假如有2块同样大小的正方形样本,人造石和石英石有什么不同?肉眼能区分吗?怎么区分? 【高中】【物质结构】影响物质硬度的因素有哪些因素会影响物质硬度?请大家分别都说明一下,到底是化学键还是晶体结构啊? 材料的韧性能不能衡量断裂时所需的能量的大小? 钢材的伸长率是反映材料( )的性能指标?A、承载率B、弹性变形能力C、塑形变形能力D、韧性 比较物质硬度可以使用的方法是___ 阻燃剂的多少对橡胶性能有什么影响?硬度、耐高温性能等?硅橡胶的使用温度为—40℃﹋+220℃ ,但增加阻燃剂后,在高温烘烤32小时后橡胶变硬变脆,请问是什么原因?怎样获得阻燃等级为0级,绝 黄铜选用何种硬度试验法为宜 常用_____法来比较物质的硬度 什么复合材料在0.2MM的厚度下既有韧性又有强度 怎么区别石英石和人造石 布氏硬度实验时其压痕中心与试样边缘的距离应不小于压痕直径的多少倍A 10倍 B 2.5倍 C 4.5倍 D 5.5倍 选哪个 材料断裂韧性随板材厚度的增加怎么变化 如何自做一个硬度测试仪.方法.和工作原理 谁有布氏硬度计的压痕与硬度的换算表.最全的.我有的只有压痕2-2.99的换算. 在保持质量不变时加速度与物体受力间关系的实验中,小车质量M和砝码质量m分别选取下列四组值. A.M在保持质量不变时加速度与物体受力间关系的实验中,小车质量M和砝码质量m分别选取下 钢材随着含碳量的增加,其伸长率___,断面收缩率___,冲击韧性___,冷弯性能___,硬度___,可焊性___. .做布氏硬度试验,当试验条件相同时,压痕直径越小,则材料的硬度越低.这题是错的 高分求“加速度与力的关系”“加速度与质量的关系”实验数据!“加速度与力的关系”要有盘中砝码质量,F大小,相邻点间位移;“加速度与质量的关系”要有车中砝码质量,m大小,相邻点间位 冷弯性能属于钢材力学性能还是工艺性能怎么两种答案呐? 布氏硬度压痕直径怎么看读出来是480-678那对照表的时候看哪个压痕直径呢 在探究加速度与力 质量的关系实验中 为了探究加速度与力的关系 应保持什么不变? 怎样区分人造石和石英石? 什么称之为布氏硬度测试法? 在“探究加速度与物体质量、物体受力的关系”实验中的问题在“探究加速度与物体质量、物体受力的关系”实验中,为了减小系统误差,应使砝码盘和砝码的总质量远小于小车的质量.但为什 冲击韧性 金属材料的硬度试验实验总结? 在做“探究加速度与力、质量的关系”的实验时,计算出各纸带的加速度后,将测  得的反映加速度a和力F的关系的有关资料记录在表1中.将测得的反映加速度a和质  量M关系的资料记录在 301不锈钢带的软态,1/2硬度,3/4硬度, “嗖”可以表示那些事物发出的声音一定要准确. 测镁合金的硬度能用布氏硬度?我们是用维氏显微硬度测的镁合金的硬度,硬度值在80-150HV之间.是不是不能用布氏硬度测?为什么不能布氏硬度?有同学说,镁合金的硬度较低,用布氏硬度来测量的 (淡水情况下)用珊瑚沙调节鱼缸水硬度.为什么调不了太高硬度.如何能有效的提高水的硬度我养天空蓝虾.前一段连续前后大概死了7-8个.都是脱壳死的.(刚才侧了下.有点提高了硬度.) 在装修中用的滑石粉,石膏粉,白水泥和熟胶粉有什么作用我想知道的是他们在墙面处理中各起什么作用,怎么识别和搭配. 生铁和钢哪个韧性好到底是哪个呀!我要疯了!] 水硬度高怎么办 石膏粉:模具制作要想做一个鸡蛋的石膏模型.类似蛋状的.石膏粉掺水要多少才能凝固成形.要怎么样把它弄成形 硬度9h是什么意思 304不锈钢离子渗氮后如何测硬度我们的式样是圆柱体,要求从最外层的渗氮层逐渐向基体内部测量其硬度,并画出硬度变化的曲线图. 做工艺品模具用的石膏粉强度要求是多少,用脱磷石膏粉行吗?请问做工艺品模具的石膏粉强度要求是多少,用脱磷石膏粉行吗? 手机膜9h硬度影响灵敏度吗? 常用硬度试验方法分类 ABS 阻燃ABS 那个脆?那个韧性好如题 ABS和阻燃ABS的材质特征 哪个更脆? 邵氏硬度计|里氏硬度计|洛氏硬度计|布氏硬度计 这几种有什么区别? 硬度试验方法有哪几种 物质的硬度由什么决定 正确使用里氏硬度计测量零件的布氏或洛氏硬度 > 影响钢材冲击韧性因素有.. 物质的硬度和弹性由什么决定的? 世界硬度最强的物质比如拿两块不同物质做成的棍子或剑或刀 对砍 哪种物质是最不易断不易碎的 焊接时怎样提高钢的冲击韧性 物质硬度的大小,是由哪些物理性质决定的? 布氏硬度试验法适合于成品的硬度测量?这句话是对的还是错的 眼看怎么区别石英石和人造石 这是什么陨石?气印,熔壳,流线都有,内部类似玻璃,硬度大能划玻璃,比地球石头重, 有没有强度也高,韧度也高的材料?是什么? 石英石和人造石的区别 我有一块紫色透明石头而且硬度很高可以划玻璃请问是什么 为什么对于一般材料来说,其强度越高其韧性越差?对于金属材料和非金属材料都适用吗? 怎样区分人造石,岗石,石英石,大理石
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn