说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Netflix公布个性化和推荐系统架构,3种类型作业通实时

HTML文档下载 WORD文档下载 PDF文档下载
Netflix的推荐和个性化功能向来精准,3月27日他们公布了自己在这方面的系统架构。其公布的系统框架图中包含了多种机器学习算法,通过将作业分为离线、近在线和在线三种方式来对抗延时。
Netflix的推荐和个性化功能向来精准,前不久,他们公布了自己在这方面的系统架构。

3月27日,Netflix的工程师 Xavier Amatrain和 Justin Basilico在官方博客 发布文章,介绍了自己的个性化和推荐系统架构。文章开头,他们指出:

要开发出这样的一个软件架构,能够处理海量现有数据、响应用户交互,还要易于尝试新的推荐方法,这可不一点都不容易。

接下来,文章贴出了他们的系统框架图,其中的主要组件包括多种机器学习算法。

他们这样解释其中的组件和处理过程:

对于数据,最简单的方法是存下来,留作后续离线处理,这就是我们用来管理离线作业(Offline jobs)的部分架构。计算可以以离线、接近在线或是在线方式完成。在线计算(Online computation)能更快地响应最近的事件和用户交互,但必须实时完成。这会限制使用算法的复杂性和处理的数据量。离线计算(Offline computation)对于数据数量和算法复杂度限制更少,因为它以批量方式完成,没有很强的时间要求。不过,由于没有及时加入最新的数据,所以很容易过时。个性化架构的关键问题,就是如何以无缝方式结合、管理在线和离线计算过程。接近在线计算(Nearline computation)介于两种方法之间,可以执行类似于在线计算的方法,但又不必以实时方式完成。模型训练(Model training)是另一种计算,使用现有数据来产生模型,便于以后在对实际结果计算中使用。另一块架构是如何使用事件和数据分发系统(Event and Data Distribution)处理不同类型的数据和事件。与之相关的问题,是如何组合在离线、接近在线和在线之间跨越的不同的信号和模型(Signals and Models)。最后,需要找出如何组合推荐结果(Recommendation Results),让其对用户有意义。

接下来,文章分析了在线、接近在线和离线计算。

对于在线计算,相关组件需要满足SLA对可用性和响应时间的要求,而且纯粹的在线计算在某型情形下可能无法满足SLA,因此,快速的备用方案就很重要,比如返回预先计算好的结果等。在线计算还需要不同的数据源确保在线可用,这需要额外的基础设施。

离线计算在算法上可相对灵活,工程方面的需求也简单。客户端的SLA响应时间要求也不高。在部署新算法到生产环境时,对于性能调优的需求也不高。Netflix利用这种灵活性来完成快速实验:如果某个新的实验算法执行较慢,他们会部署更多Amazon EC2实例来达成吞吐处理目标,而不是花费宝贵的工程师时间去优化性能,因为业务价值可能不是很高。

接近在线计算与在线计算执行方式相同,但计算结果不是马上提供,而是暂时存储起来,使其具备异步性。接近在线计算的完成是为了响应用户事件,这样系统在请求之间响应速度更快。这样一来,针对每个事件就有可能完成更复杂的处理。增量学习算法很适合应用在接近在线计算中。

不管什么情况,选择在线、接近在线、还是离线处理,这都不是非此即彼的决策。所有的方式都可以、而且应该结合使用。 …… 即使是建模部分也可以用在线和离线的混合方式完成。这可能不适合传统的监督分类法(supervised classification)应用,因为分类器必须从有标记的数据中批量培训,而且只能以在线方式使用,对新输入分类。不过,诸如矩阵因子分解这样的方法更适合混合离线和在线建模方法:有些因子可以预先以离线方式计算,有些因子可以实时更新,创建更新的结果。其他诸如集群处理这样的非监督方法,也可以对集群中心进行离线计算,对集群节点进行在线作业。这些例子说明:模型训练可以分解为大规模和复杂的全局模型训练,以及轻量级的用户指定模型训练或更新阶段,以在线方式完成。

对于离线作业(Offline jobs),主要用来运行个性化机器学习算法。这些作业会定期执行,而且不必与结果的请求和展示同步。主要有两种任务这样处理:模型训练和中间与最终结果批量计算(batch computation of intermediate or final results)。不过,他们也有一些学习算法是以在线增量方式完成的。

这两种任务都需要改善数据,通常是由数据库查询完成。由于这些查询要操作大量数据,以分布式方式完成更方便,因此通过Hadoop或是Hive、Pig作业就是自然而然的事情。一旦查询完成,就需要某种机制发布产生的数据。对于这样的机制,Netflix有如下需求:

  • 可以通知订阅者查询完成。
  • 支持不同存储方式(不只是HDFS,还有S3或是Cassandra等等)
  • 应该透明处理错误,允许监控和报警。

Netflix使用内部的工具Hermes完成这些功能,它将数据以接近实时的方式交付给订阅者,在某些方面接近 Apache Kafka,但它不是消息/事件队列系统。

无论是离线还是在线计算,都需要处理三种输入:模型、数据和信号。模型是以离线方式训练完成的参数文件,数据是已完成处理的信息,存在某种数据库中。在Netflix,信号是指输入到算法中的新鲜信息。这些数据来自实时服务,可用其产生用户相关数据。


对于事件和数据分发,Netflix会从多种设备和应用中收集尽可能多的用户事件,并将其集中起来为算法提供基础数据。他们区分了数据和事件。事件是对时间敏感的信息,需要尽快处理。事件会路由、触发后续行动或流程。而数据需要处理和存储,便于以后使用,延迟不是重要,重要的是信息质量和数量。有些用户事件也会被作为数据处理。

Netflix使用内部框架Manhattan处理接近实时的事件流。该分布式计算系统是推荐算法架构的中心。它类似Twitter的 Storm,但是用处不同,而且响应不同的内部需求。数据流主要通过 Chukwa,输入到Hadoop,进行处理的初步阶段。此后使用Hermes作为发布-订阅机制。

Netflix使用Cassandra、EVCache和MySQL存储离线和中间结果。它们各有利弊。MySQL存储结构化关系数据,但会面临分布式环境中的扩展性问题。当需要大量写操作时,他们使用EVCache更合适。关键问题在于,如何满足查询复杂度、读写延迟、事务一致性等彼此冲突的需求,要对于各种情况到达某个最优点。

在总结中,他们指出:

我们需要具备使用复杂机器学习算法的能力,这些算法要可以适应高度复杂性,可以处理大量数据。我们还要能够提供灵活、敏捷创新的架构,新的方法可以很容易在其基础上开发和插入。而且,我们需要我们的推荐结果足够新,能快速响应新的数据和用户行为。找到这些要求之间恰当的平衡并不容易,需要深思熟虑的需求分析,细心的技术选择,战略性的推荐算法分解,最终才能为客户达成最佳的结果。

原文链接: Netflix公布个性化和推荐系统架构

“ 第五届中国云计算大会 ”将于2013年6月5-7日在北京国家会议中心隆重举行。猛击报名! 

相关活动已经火热启动:

2013中国云计算大调查,每周大奖等你拿! “ 

Innovation Cloud 2013云创新产品与应用项目征集,欢迎研发者、团队和创业企业参加! 

Google Analytics中显示访客停留时间为“0”的秘密 大数据之惑 麻省理工三位物理学家自建数据库服务Cloudant 融资1200万美元 网页浏览器进入再造新时代 AMD揭露HSA运算架构新技术hUMA细节 美团悄然上线云主机服务:与亚马逊殊途同归,还是另有谋划? 微软发布deep-tech团队招募令,期望获得下一代开发者的支持 2013谷歌I/O开发者大会:发布多个软件产品和服务 C语言实现二分法求解方程 开发测试云与虚拟化解决方案 学苹果?微软淘汰Points支付系统改用Gift cards 甲骨文改变Java版本号命名方式 [CTO俱乐部第97期]中科院、腾讯、深圳明源研发团队管理经验分享 Android Studio来了,它能取代Eclipse吗? Google Play Game不够开放,被OpenKit炮轰 Google Play Game Service详解 不仅提供API更提供后端支持 IBM Power走向Linux,是必然的! 美国国家安全局解密特工培训手册:如何利用谷歌等大众搜索工具搜集保密数据 微软IE10如何保护上网安全(大图) 谷歌无畏苹果的理由:强力的算法和基础设施架构 开发者热议异构统一内存访问技术(hUMA) 千万级并发实现的秘密:内核不是解决方案,而是问题所在! Apache RewriteRule重写规则语法入门 IDC:2013 Q1 Android和iOS出货量占92% WP首超黑莓 传雅虎欲10亿美元收购轻博客网站Tumblr A Beautiful Mess:如何赚男人女人的钱 CSS、JavaScript开发者必备的10款最佳工具 IBM推出API管理平台 抢占API经济市场份额 2013中国云计算榜单之一:15云平台,谁主沉浮? 移动周报:百万壁纸、85后程序媛,我为梦想代言! 电信天翼开放平台:为App开发者免费提供云存储和云主机服务 谁知道MSWord的文件格式? 怎样给自定义函数设置多个参数项? 在URL地址栏中传递字符串参数遇到的一个问题??? 如何在繁體下打開簡體文件名的文件?要求不能用改名的辦法 插入数据到数据库! 高手关注--------送分-----------急急急! 在ASP中如何编程建立索引服务的编录及目录? 在web server application把MEMO字段中带格式(RTF)的内容转换成纯文本? 请问在身份验证中,能否有两个login.aspx??? 急~那篇给vb控件打包文件添加数字签名以便浏览器浏览的那篇文章在哪里? 用vb如何实现模拟雷达界面??欢迎赐教! 如何用CSS控制INPUT的输入外观不是立体的,而看起来是平板的样子,只有一个边线? 用户注册的问题,密码总验证不对,能不能看看错在哪里? 如何使文本框只显示下面的边框? xsl求助~~~ 怎么将int转为CString 有的论坛采用从数据库得到帖子,有的使用shtml,有的使用xml,孰优???还有其他吗? 100分==在JSP中打开word文件的实例 紧急在线等一个很简单的问题 DTPicker 怎样和数据库绑定? 如何动态改变VB报表中Section中的一个与数据环境绑定的rptTextBox的颜色!(100分求教) datediff()这个函数怎么用哪位高手可否给小弟讲解一下急用在线等 和女友分手了,痛苦! 谁有支持中文的带身份验证和邮件群发的ASP.NET邮件组件? 关于多个表通过相同的字段级联的问题,进来看看,一定给分! windowd server 2003许可证问题 谁有支持中文的带身份验证和邮件群发的ASP.NET邮件组件? 求合作伙伴——推广抗非典病毒的消毒剂!!! 在表分区中,按某个varchar2的字段的值和范围如何分呢 我又來了,不僅你們煩,我更煩. 服务器端与客户端的问题 服务器端与客户端的问题 最后的问题,谢谢帮我看看 发现MS WINDOWS版的C标准库一个在BUG!!!!! 在用VFP操作EXCEL时出现无法用字段内容填充单元格问题,请各位帮忙看看. 算法 救命! 有没有rmi的好例程,一用就灵,急 fast report 和 qreport 到底应该用哪一个???(来者有分!!) 关于“数据结构书”的回应——版主莫删 如何进入另一个对话框 在一字符串中怎样取出某一个字符出现的次数. 急! infopower 2000、 3000、4000 Password?? 自定下载的问题,请教高手 如何屏蔽播放.wav文件但找不到相应.wav文件时发出的默认声音? 如何打开另一个对话框 政治因素对我国军事专家的困扰[ZT] if ((btime==null)&&(etime==null )) 请教 一位女同事辭職,一位男同事說跟我有關,鬱悶中... 请问如何在B/S模式下,在页面上实现,如word,excel中的编辑功能? 设集合P={x|y=x^2},集合Q={(x,y )|y=x^2},则P,Q的关系是 邻角相等的四边形是平行四边形吗?能做判定定理吗 今适有知而斯之的意思? 如图:在三角形ABC中,AB=AC,BD垂直AC于D,CE垂直AB于E,CE与BD相交于G,GH垂直BC于H,求证:BH=CH 叽叽的,呱呱的,嗡嗡的等,算不算AAB式词语?为什么?叽叽的算不算两个词?(叽叽是一个,的是一个。) 一直忧虑科学家预言的小行星撞击地球,怎么都走不出来,怎么办?我一直忧虑科学家预言的小行星撞击地球,怎么都走不出来.有七八年的了,别笑话我,我真的就是怎么都不出.05年的一天在家看电 集合P={x|y= √x-1 },集合Q={y|y= √x-1 },则P与Q的关系是( )集合P={x|y= √x-1 },集合Q={y|y= √x-1 },则P与Q的关系是(  )答案是p⊆Q且p≠Q(真子集符号打不出来)怎么做的 学生扎辫子的方法,早上起来要自己扎的,好看一点的, 求问青蛙的什么地方能振动发声《物理》 在△ABC中,AB=AC,BD⊥AC于D,CE⊥AB于E,CE与BD相交于G,GH⊥BC于H,试说明BH=CH 平行四边形的对角相等吗? 青蛙靠哪里振动 已知f(x)=x^2+︱x-a︱+1 (1)判断f(x)的奇偶性 (2)求f(x)的最小值 已知四边形一组对角相等,证明这个四边形是平行四边形 青蛙如何发声?它的叫声洪亮的原因? 设fx=│2-x²│若0小于a小于b且f(a)=f(b)则ab的取值范围是 若函数y=x^2-4px-2的图像过点A(tanα,1)及B(tanβ,1),求sin2(α+β)的值2p/(1+p^2) 青蛙是怎样发声的``青蛙``蜜蜂``蟋蟀``蝉(知了)是怎样发声的`` 设f(x)=2√2x-x²,若0 半径为5的圆O内有一点P,且OP=4则过点P的最短弦长为( ),最长弦长为( ) 观此可以知画理矣 理的意思 重庆和上海在气候方面的相同点和地形方面的不同点 一组对边相等,一组对角相等的四边形____(填能或不能)判定为平行四边形.(求证明过程 ) 非知之难,行之为难;非行之难,终之斯难.不要典故,只要意思! 上海的地形 已知:tanα=3/4,tanβ=12/13且都是锐角,求α+β. 历史上最大的小行星撞击地球事件是在什么时候?直径有多大?威力有多大?是在寒武纪还是奥陶纪还是其他时候?注意是最大的小行星 上海是什么地形 四边形一组对角相等一组对边平行为什么不能判定平行四边形两个三角形AAS啊?为什么不是判定定理?求反例?那为什么不是判定定理啊?不能直接判定? 你怎么看待小行星撞击地球事件? 上海地形从辛庄 到 淮海路 长乐路141号向明中学1号楼106室(近瑞金路)大概多长时间?做什么车? 为什么在判定平行四边形中,不能用对角相等直接判定?是两组对角都平行 怎么倒的(X1-X2)+3/X1-3/X2=(X1-x2)[1+3/X1X2] 重庆的地形作文需要, 已知三角形ABC为等边三角形,O为三角形内一点,AO=根号5,BO=根号3,CO=根号2,求角BOC. 若一元二次方程x^2+3x-1=0的两根分别为x1,x2,则x1+x2=-3,x1x2=-1,x1^2+x2^2=? 平面外一点到平面内一直角定点的距离是23cm,这点到两直角边的距离都是17cm,则这点到直角边所在平面的距为:A根号40cm;B根号249cm;C15cm:D7cm.距离 在三角形ABC中边AB=2,BC=1角ABC=60点O为AC上一点若BO=二分之根号七试确定O点位置 如某方程的两根都在区间(1,4)内那两根有什么限制条件?还有某方程一个根在(-2,0)内,另一个根在(1,3)内...什么叫内?两根又有什么限制条件? 求f(x)=|x+1|+|x-1|(x属于R)的奇偶性,证明 已知αβ都是锐角 cosα=4/5 tan(α-β)=﹣1/3求sin(α-β) 青蛙呱呱叫是由于它的鸣囊在 三角形ABC为圆O的内接三角形,AF垂直BC,CE垂直AB交AF于点H,OD垂直BC.试说明OD与AH的数量关系 初二历史专题知识归纳整理三方面 经济 思想文化 只要写时间 和事件就好了 如果答案给的好的话 一辆快客上午8:00从甲地开往乙地,到下午2:00正好走了全程的40%,这时汽车离乙(列式计算.)一辆快客上午8:00从甲地开往乙地,到下午2:00正好走了全程的40%,这时汽车离乙地还有252千米.问 集合p={(x,y)x+ y=o} q={(x,y)|x-y=2}则a∩b= 在三角形ABC中AB=AC在AB上取一点D在AC的延长线上取一点E使BD=CE连接DE交BC于点F求求证DF=EF 半径为5的圆O内有一点P,且OP=3则过点P的最短弦长为( ),最长弦长为( ) 已知集合M={y|y=x^2-1,x∈R},P={x|x=|a|-1,a∈R},则集合M和P的关系 △ABC中,AB=AC,BD,CE分别平分∠ABC,∠ACB,AG⊥BD与G,AH垂直CE与F交BC于H,求证1.△AFG是等腰三角形.2.△CAH是等腰三角形. 为什么说森林是人类的朋友?请联系生活实际谈一谈 已知,如图△ABC E为AB上一点 AE=AC AH⊥CF BH‖CE 求证 AB/AC=BH/CK excel怎么把各选项卡中的数据集合到一起并求平均数如图,每个选项卡中都有数值,我需要把这些数值全部加起来并求和 有什么简便方法吗 系统解剖怎么学 为什麽一加一等于二因为一加一等于二 两组对角分别相等的四边形是平行四边形为什么没有作为判定定理 条件概率中的P(AB)如何计算? 集合P={x/y=√x-1},集合Q={y=√x-1}则P与 Q的关系为A.P=Q B.P真包含Q C.P真包含于Q D.P交Q=∅ 判定定理2:两组对边分别相等的四边形是平行四边形判定定理3:对角线互相平分的四边形是平行四边形请用两种方法分别证明这两个定理 条件概率:P(A∩B|A)≠P(B)对不对.为什么?条件概率的问题.P(A∩B|A)≠P(B) 窃听默克尔 奥巴马早就知情?我海军抗干扰西太平洋演练合同打击小村官缘何频成大贪:占据大量资源 监中国改革期待何在:反腐败、户籍改革成楼市调控如何走出迷局河北开设石家庄至唐山航线 机票9元全禁化武组织称叙利亚提交销毁化武初步计9月京二手住宅网签超1.2万套 市民叙问题特使将抵达叙利亚 筹备日内瓦国核心技术在手 才有\"数据主权\"我海军在西太平洋实兵演习遭外国舰机跟楼号无序车辆占道 老小区的“救命”通杭州“错时停车”推行5年难度越来越大浙商大赛昨决出总冠军 创新项目让大佬温州办公用房改革搁浅 官方表示执行有浙江副省长:希望金改把资金引到最需要北京香山红叶不红引抱怨 人多致下山索长沙机场收到危险品威胁 导致多航班延金花绽放伊斯坦布尔 彭帅谢淑薇2-0村官缘何频成大贪:占据大量资源 监管李娜“最佳赛季”绽放第二春 再夺大满招服务员 月薪两千五至三千焦桐花开 在兰考县寻访焦裕禄精神明后天贵阳16个地段停水台湾网友打脸郭台铭 自曝:曾是他的员酒后爆口角 丈夫母亲节持刀刺死妻子《福建日报》今日刊文回顾习近平三进下全国女子围棋甲级联赛开打 湖南巾帼暂甘肃危房改造惠及百万农家甘肃庆阳通报6起违纪问题 宁县邮政局甘肃省开展军地援建“双十工程”综述:甘肃首次举行国家突发急性传染病防控应端午小长假首日火车票今起开售兰州顽皮小狗困河中两小伙攀绳施救 围“兰马”当天LED大屏将播报沿途天气中石化援建l临夏东乡县两项目开工建设兰州老旧房屋涉危可向房管部门申请鉴定兰州军区总院医疗分队完成中巴卫勤联合兰州市通报轨道交通管线迁改工作进度兰州撒拉族企业家韩国军致信土库曼斯坦日媒:中国船只入钓岛海域超80天 日国民党海军司令狂言:一战就能让中共海
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘