说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

年交易额1800亿美元,揭秘PayPal成功背后的三大热门技术

HTML文档下载 WORD文档下载 PDF文档下载
图挖掘、NLP算法、机器学习,PayPal幕后俨然是个数据科学家的世界。利用图挖掘,发现交易背后的隐藏价值;利用文本挖掘,了解用户偏好;还有大量用Python和Java编写的机器学习算法,可以用来挖掘更加复杂的数据。

【编者按】作为全球在线支付平台,PayPal,其方便、快捷的支付方式深受用户追捧,近几年PayPal致力于通过数据分析为用户创造更多价值,在2013年,实现年交易额1800亿美元、年交易数量30亿笔,PayPal的成功和它在业务上的不断创新是分不开的,但其背后强大的数据技术同样让人艳羡,Datanami主编Alex Woodie为我们带来了精彩分析。


CSDN推荐:欢迎免费订阅《Hadoop与大数据周刊》获取更多Hadoop技术文献、大数据技术分析、企业实战经验,生态圈发展趋势。

以下为译文:


PayPal作为一个成功的第三方支付平台,掌握了大量的用户数据,其便捷的支付方式也为PayPal赢得了大量电商的支持,尤其是对于资源有限的小商户。几年前,PayPal发起了一个基于Hadoop的数据挖掘项目,运用多种数据分析手段将自身打造成一个更加可靠的服务性支付平台,帮助商户变得更加精明,此项目取得了巨大的成功。

PayPal成功的背后

PayPal已发展成为一个价值60亿美元的电子商务交易界巨头。2013年,该公司帮助买家和卖家完成的交易额达1800亿美元,涉及商品和服务等各种交易达30亿次,拥有1.43亿个活跃用户,而实际上,这些成就背后的数据才是真正价值源泉。

该公司处于电子商务的十字路口,这给了它独特视角去研究人们在线购买的习惯。PayPal可以了解到人们买了什么、从哪买、具体的交易方式、用的是什么设备,这些信息形成了一个数据宝库。PayPal数据技术团队中的一个数据科学家Vamshi Ambati告诉我们PayPal正在尝试利用这些庞大数据为用户和商家创造更多价值。

最近,Ambati在Hadoop创新峰会上向我们介绍了他的团队关注的三个主要领域——图挖掘、文本分析和机器学习,并分享了一些经验和见解。


图挖掘

PayPal通过图挖掘帮助数据科学家和营销人员直观地标识数据中出现的一切明显趋势,分析出其中有价值的信息。Ambati说:“我们尝试从图中提取变量,或者发现某种模式,并利用这些变量和模式建立预测模型和分析模型。”

图挖掘中的图指的是描述某种关系的图形,类似于图论中的图,图在对复杂结构的建模过程中变得越来越要,这些复杂结构包括电路、图像、生物网络还有Web等等。从大量的数据中提取信息,建立图表或者其它的图形结构,便于直观的分析,以挖掘有价值的信息。多用于社会网络分析和关系型数据分析。

随着大量结构化数据分析需求的增加,图挖掘在数据挖掘中的地位越来越重要。

PayPal使用英特尔的图建模器并基于Hadoop、ApacheGiraph和GraphLab算法构建图,出于不同的目的会构建不同的图。例如,一个融合了社交媒体信息与交易数据的图有助于将社会媒体活动与交易活动联系起来,而分析交易数据中的用户点击流将有助于了解用户的购买倾向。

PayPal还利用图分析为商户提供排名和推荐服务,该公司为其商户提供潜在消费者图,使商户了解有多少消费者在两个节点之间存在共同点,“还可以帮助商户了解与竞争对手之间的差别,了解与同行相比自身具有哪些竞争优势。”

检测欺诈是图处理的最大用例。公司配置图中节点,对消费者登录商家帐户的设备作出响应。如果一个消费者使用了不同的IP地址或手机帐户登录,PayPal就需要提高警惕,防止用户账户中的钱被盗走。“我们也要了解是否存在诈骗团体的存在,往往图中的一个节点存在欺诈行为,同时还会伴随着3到4个节点的交易或者现金存取行为,这种情况很有可能是团体诈骗,通过图分析,我们可以将他们一网打尽。”

NLP文本挖掘

PayPal基于Hadoop的文本挖掘系统是公司内各种数据科学活动的关键组成部分,这些数据科学活动包括预测建模、情绪分析、影响力评级、简历排名还有主题建模和聚类分析。Ambati说:“如果没有仪表盘程序,这些文本本身不存在任何额外的价值,不过这些文本可以与我们的其他数据结合起来使用,而且有一些公司或许会需要这些数据进行更多的预测建模。”

该公司使用NLP(自然语言处理)算法从交易过程的谈话数据中提取有价值的信息,提高商户交易的成功率。

然而PayPal没有采用Netflix那种直接的推荐方式。Netflix通过四或五星级评级标识用户的偏好,然后采用商品推荐系统向用户推荐商品。但Ambati指出,事实上,用户购买某种商品并不能说明用户喜欢这个商品,Netflix的方式存在问题。

“当消费者浏览商户的商品时,我们事实上并不知道消费者是否对商户有好感,因为有可能消费者只是对品牌或者商品感兴趣,所以我们进行文本挖掘,分析产品信息以了解消费者是否对某种品牌感兴趣,然后再进行商品推荐。”

机器学习

PayPal数据科学家Vamshi Ambati

很多的数据PayPal采用图处理和NLP挖掘,这两种常用的方式也将成为公司第三个核心数据分析的基础,所谓的第三个核心指的是数据挖掘与机器学习算法。PayPal的数据挖掘系统很大程度上建立在用Python和Java编写的机器学习算法上,它们都运行于Hadoop平台上,用于挖掘复杂的数据模型并得到有用的信息。

为商户构建预测模型是一个常见的用例,PayPal利用大量数据研究消费者的购买习惯——这些数据远比eBay的小商户积累得多。得益于PayPal的数据科学团队,商户可以利用PayPal大量数据存储库和专门知识获得竞争优势。

PayPal还将构建一个商户预测模型来帮助他们确定哪些客户有可能会流失、哪些客户会拖欠、哪些客户会再次购买。“作为商户,你可能对你的客户不是特别了解,但PayPal掌握了大量有关消费者的信息。仔细想想,其实PayPal并没有消费者,它的顾客是商户,商户的顾客是消费者,因此PayPal间接的拥有消费者。我们通过商户跟消费者打交道,所以我们希望能够为商户提供这些功能,以帮助改善消费者的用户体验。”

PayPal正在研究YARN,而且试图利用Spark和Storm,它还和明尼苏达大学一起研究“深度学习”。该公司花了相当多的时间为eBay建立推荐引擎,Ambari说:“如果你看到了邀请你去eBay购物的广告,这很有可能就是我们做的。”

原文链接:How PayPal Makes Merchants Smarter through Data Mining(编译/毛梦琪 审校/魏伟)


以“云计算大数据 推动智慧中国”为主题的第六届中国云计算大会将于5月20-23日在北京国家会议中心隆重举办。产业观察、技术培训、主题论坛、行业研讨,内容丰富,干货十足。票价优惠,马上报名
编写代码?先熟悉一下编程语言界限吧! Spanner vs. F1:谷歌两大数据管理利器的整体对比及关联 移动设计需摒弃的几大PC应用设计方法 响应式导航设计案例解析(多图) 所见即所得:七大无需编程的DIY开发工具 前Google员工发布无痕搜索产品,阻老东家财路 VMware推出vCloud Suite及vSphere新版:可用性及性能双丰收 TIOBE 2013年10月编程语言排行榜:Groovy首次挤进Top 20 Cookie时代将结束:微软将开发跨PC、移动和Xbox跟踪技术 Web设计里需要避免的八大糟糕趋势 Groupon从ROR迁移至Node.js,响应速度大幅提升 腾讯云的Container实现 专为物联网打造的数据库TempoDB获得320万美元投资 MongoDB成为首位10亿美元初创,功臣可归功于Oracle? 程序员遇到Bug后的30种常见反应 扎克伯格豪掷3000万美元购四套房 梅耶尔和拉里佩奇也居于此 IBM研究人员:仅200条微博 就可构建人格剖析图 MDCC重磅讲师:Pebble CEO Eric Migicovsky 历届中国大数据技术大会PPT精粹(一) 通讯也“跨界”:几行代码,API+SDK,用PaaS实现移动互联 MIT风景线:丝绸雕塑、VR代码、机器人、智能按钮及保时捷 深度学习新算法,完成字里行间的情绪识别 如何在开发项目里和难缠的程序员合作? 移动周报:七大无需编程的DIY开发工具 手把手教学,用jQuery Mobile创建Web App 别惊讶,Android绿色机器人标志灵感来自于卫生间标识 Google TV更名为Android TV 智能电视的路不好走 CTO如何避免决策失控(四)——通盘考虑 做到技术业务不分家 重塑世界!历届MDCC重磅嘉宾演讲大回顾 从贝佐斯的14句言论看商业成功之道 5大宠物可穿戴式设备 在-卢-<<利用XML实现通用WEB报表打印>>时报:未将对象引用设置到对象实例 DBEdit如何限制输入格式? 简单问题 ★★★狂急!请问怎样取得文件的创建日期!在线等!在线结贴!★★★ 初学xml,很简单的问题,就是不会,各位近来看看!一行代码搞不定… 有没有用于unix下c开发的dbx调试图形界面的工具? 哪位有tar 和 gzip 命令参数的详细中文介绍 jsp网站测试,欢迎大家测试 提问 请问有没有直接可以HTML(XHTML、SHTML)生成XML-XSL!!的工具 进程外组件的关于注册的问题? jsp中怎样生成静态页面 请问:如何返回webservice类的一个或多个实例? 怎样触发另一个窗口中的javascript函数? 谁能提供一些检测内存泄露的工具或方法 如何将 FoxBase 中的数据导入到 SQL Server 中? 求助:API操作注册表出现奇怪问题 请问如何改变windows xp中的用户的登陆顺序 有问题:如何通过页面下载附件? 求助:VB生成安装文件的问题 下面的程序怎样优化?(着急) 怎么样在C++ Builder 的Form上显示文字!我不要用控件,要直接显示在Form上 200 分相送 高手请进 请教如何写成特殊格式文件的存取的问题. 适配器更新数据集怎么用事务 怎样才能设“开机密码”? 哪位高手可以给我介绍一下TOMCAT和APACHE,我刚接触,需要了解一下 关于SocketConnection. 进入linux8.0后,主板指示灯闪烁问题,请高手指教。 谁给一个QQ给我啊? 高分请教? 如何查看一个记录集中游标的位置。 求一个简单的窗口函数 请问如何实现计算器功能 如何修改这个脚本?(应该比较简单) 大伙能否谈谈.net整体软件框架的设计 来者有分:调查:大家是在用vc.net还是用vc60,我在用vc60 用SQL SERVER如何实现插入数据后立刻取出插入的数据的id?在线等待,急~~~~~~~ 关于JTree ppt 大家帮我看看这个方法错在哪里?分不是问题 请问获取中文操作系统下获取文件信息时lang-charset的取值为什么????? CSDN论坛左边的树形栏目能动态添加吗? 如何设置几秒钟后转向某页面那种效果。 用户需求分析说明书和系统分析说明书到底是不是一回事!! 发邮件时,收到的邮件竟然是乱码,如何解决?100分大放送 PB中怎么和FLASH通讯啊???? 怎样加载Internet Transfer 控件?? ○ 如何让服务器支持C语言编写的CGI???? 请问db库是什么? 经验总结--字符串与编码 HCl+NaOH=NaCl+H2O 上式中的盐酸是稀是浓? 咋样修改CF中的无线电消息 A、B、C、D四个带电小球,A吸引B,A排斥C,C吸引D,如果C带正电,则A、B、D所带什么电荷? 为什么小颗粒会向水漩涡中心去 CF怎么把无线电改成中文的我不想花钱.要钱的答案别回答.. 对事物的认识没有穷尽,真理是有条件的为理想奋斗在什么条件下不对了.在给别人绑架了不能乱动了,生病成植物人了.没有活动能力了,这些情况下不为理想奋斗是对的.这些情况的共同的地方, 医院里面的X光是干什么用的. 逆战塔防空间站普通单刷,双卡,无88,98主武器是毒王,没弓.强电已升4级,还可以再升一个没想好升什么.我现在是可以找一个双卡副手一起双人完美过关.我带减速,强电,浮游雷,电磁风暴.副手带 醇用盐酸酸化会不会得到氯代烃 X射线的应用 NaOH变质可用盐酸检验是否变质吗?在空气中的NaOH,变质后可用盐酸检验出是否变质吗?我觉得是可以,因为生成Na2CO3,所以滴加HCl,最后会生成NaHCO3,最后就会放出CO2.可是也有很多人说不可以,到底 书上说常温下固态单质(如铁等金属)名称就带有“钅”,硫等非金属带有“石”,但是锑、硅都是类金属这种情况下,怎么区分呢?难道“偏向金属的类金属”和“偏向非金属的类金属”金属性 已知集合A=﹛1,2,3,K),B=﹛4,7,a,a+3a),且A∈Z,K∈Z,映射f:x箭头y=3x+1,x∈A,y∈B,求实数a、k的值. 逆战塔防空间站88和死亡光线怎么配合 含铜Cu54.3%,铅Pb40.8%,锑 Sb4.9%的金属叫什么合金呀?分析了家里老妈的手饰盒,发现的上述三种金属成分 如何画一个标准椭圆 金属铅能否在酸中反应 带负电和不带电的小球接触是互相吸引么 邓小平在文化大革命时期,情况如何?后期有没有掌权,做出贡献 There is ( )“s” in the word “six”. remark on ,remark upon两者有啥区别 电子显微镜中,能不能用X-ray取代电子光源,为什么 怎么样画一个标准的椭圆, 评价remark和comment有什么区别 电镜技术中可否用X-ray取代电子光源 There is _____ “s” in the word “six” 怎么答 remark和comment有区别请简练一点,通俗一点.用法上 ICPMAX和X光衍射仪和扫描电镜和气象色谱仪和原子吸收的实验室安装条件,知道一个也行啊, There is _ "s" in the word "six" 请填空说明为什么用AN 如图3-4,杠杆AB可以绕B点转动,A端用线系挂,并保持AB水平,线与AB夹角30°且保持不变。先在A点挂一重为G的钩码,然后,将这个钩码依次挂在靠向B端的挂钩上。在这个过程中( )。(杠杆自重 马克思主义哲学原理(第2版)课后题答案陈先达主编,人民大学出版社的版本.就要课后复习题的答案.有的请速发,分稍后给主要是内容提要里面的文字表述不严谨,要是考试答题那么些的话能得 there is () "x" in () word "six"为什么第一个不用an 最近发生过哪三次地震!不是汶川,海地,智利.是最近的三次,世界范围的,不管地震大小,只要是最近三次的! 请问长期在X光操作间会不会有什么影响? 成语中的通假字是什么”博闻强识“”拨乱反正”“披沙简金”“厉兵秣马”“厝火积薪”“被坚执锐” 怎样使用sum函数在word里计算队列分数的总和 用x光给土拍摄照片如果我我用x光给泥土拍摄,会得到什么?黑糊糊的一片?土中的部分杂质?能穿透有机玻璃吗? 及反,哪个是通假字 物质从___变成___叫做凝固,物质凝固时要___热量. 漩涡为什么能向中心吸物体 设集合a=b={(x,y) x属于r,y属于r},点(x,y)在映射f:a到b的作用下对应的点是(x-y,x+y),则b中点(3,2)对应的a中点的坐标为 什么物质凝固后体积变大,着急用除了水以外,还有什么物质凝固后体积变大? 漩涡为什么中间低两边高 设集合A=B={x| x∈R,y∈R} ,点(x,y)在映射f:A→B的作用下对应的点是(x-y,x+y)则B中点(3,2)对应的A中的点的坐标为 sum=sum*i/(2* i+1)和sum*=i/(2*i+1)的区别#include #include < conio.h >#include double fun( double eps){double t=1.0,sum=1.0;int i=1;while (sum>=eps) /* 当某项大于精度要求时,继续求下一项*/{sum=sum*i/(2* i+1); /* 求 已知,集合A={x|-2≤x≤2},B={x|-x ≤x≤1}对应关系f:x→y=ax若在f的作用下能够建立从 A到B的映射f:A→求实数a的取值范围.主要是B={x|-x ≤x≤1}弄不清 求大神解释椭圆为什么c平方=4c=2,不是应该焦点是c=根号2吗? c的平方=ab那么c叫做a与b的什么 已知集合A={xl-2≤x≤2},B={xl-1≤x≤1},对应关系f:x到y=ax,若在f的作用下能够建立从A到B的映射,求实数a的取值范 如果一个直线过(3,0)且与椭圆交于A,B两点椭圆x^2/6+y^2/2=1 O为原点 OA与OB垂直 求这个直线 sum+=i是什么意思 草菅人命 造句 椭圆!已知F1,F2分别是椭圆x2/4+y2/3=1的左右焦点,A是椭圆上一动点,圆C与F1A的延长线,F1F2的延长线以及线段AF2相切,若M(t,0)为一个切点,则t与2的大小关系为我算出来t=1/2或t=2都行,谢 a²-b²+ab-ab =a²-ab-b²+ab (请问这一个转换的步骤叫做什么?) 草菅人命的造句是什么? 方程为9x^2+y^2=81 求长轴长,短轴长,焦点坐标,离心率. sum+=i;是什么意思?表示什么? 用两个四字成语造句 1、势不可挡 饱经风霜 2、查无实据 草菅人命 3、和蔼可亲 安闲自在 读一读,找出划线部分发音不同的单词 ( )1.A.both(划在th上)B.tooth(划在th上)C.this(划在th上)( )2.A.that(划在th上)B.think(划在th上)C.with(划在th上)( )3.A.live(划在i上)B.wild(划在i 如图所示,将四个带电的通草球悬挂起来,已知A带正电,A与B排斥,B与C吸引,C与D吸引,则带负电的球有 杭州商品房库存量达10.5万套新高 清华剑桥等名校联手研究北京雾霾天出行日媒:安倍上任后已打13次高尔夫 展印度今日雄心勃勃探火星 媒体议论“与美国新泽西一商场发生枪击事件 暂无人英内阁会议为防监听禁用iPad 高官安倍夫人昭惠拜访熊本县 体验韩式穿越印尼巴厘岛男子咖啡地中发现2000多俄拟为中国在内的20国游客提供3日免刚果(金)政府宣布该国打击反政府武装科索沃举行地方政府选举 投票点遭蒙面鲁哈尼称伊朗对核谈前景不乐观 力求解两家入驻开城园区韩企因经营困难拟出售奥巴马被指政治光环不再 支持率与声望美国务卿克里访埃及 美官员称或恢复对日全日空航班突发漏油事故 羽田机场封李克强护航新经济 培育“中国增速”新黄磊女儿黄多多近照曝光 去参加《爸爸东方卫视携手风行网赴沈举办《千金归来社科院等发绿皮书称雾霾会影响生殖能力上海市检察院派驻自贸试验区检察室正式美成达发布全新美国投资移民项目盘点十大最无公德心羞耻心的行为!美元跌“兑”人民币涨,这对冤家谁将被理智交易者背后的市场真相:用哲学眼光乌龙茶制作上高速真空做青萎凋茶青技术专用汽车生产项目带动近400人就业出大事了,愚人节,你敢玩吗?出大事了,愚人节,你敢玩吗?秦曜骏:如何看待A股纳入MSCI指数马云竟然想建一个像WTO的平台?!油市下跌?不要在意这些细节,春天要来首批逾期老赖无所遁形 借贷宝提起司法好股要重仓: GQY视讯 “超级牛散你挣得的钱都到哪里去了?消费了?中广核与捷克签署核电合作文件哈尔滨市开展非核心城区大规模电网改造清明小长假安徽全面启用交警执法站 严2016年安徽省公务员考试今起报名核能相关产业链再次成为聚焦核心 相关列车上与陌生女子微信“抢红包”手机丢安徽公安清明祭扫缅怀英烈
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘