说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

年交易额1800亿美元,揭秘PayPal成功背后的三大热门技术

HTML文档下载 WORD文档下载 PDF文档下载
图挖掘、NLP算法、机器学习,PayPal幕后俨然是个数据科学家的世界。利用图挖掘,发现交易背后的隐藏价值;利用文本挖掘,了解用户偏好;还有大量用Python和Java编写的机器学习算法,可以用来挖掘更加复杂的数据。

【编者按】作为全球在线支付平台,PayPal,其方便、快捷的支付方式深受用户追捧,近几年PayPal致力于通过数据分析为用户创造更多价值,在2013年,实现年交易额1800亿美元、年交易数量30亿笔,PayPal的成功和它在业务上的不断创新是分不开的,但其背后强大的数据技术同样让人艳羡,Datanami主编Alex Woodie为我们带来了精彩分析。


CSDN推荐:欢迎免费订阅《Hadoop与大数据周刊》获取更多Hadoop技术文献、大数据技术分析、企业实战经验,生态圈发展趋势。

以下为译文:


PayPal作为一个成功的第三方支付平台,掌握了大量的用户数据,其便捷的支付方式也为PayPal赢得了大量电商的支持,尤其是对于资源有限的小商户。几年前,PayPal发起了一个基于Hadoop的数据挖掘项目,运用多种数据分析手段将自身打造成一个更加可靠的服务性支付平台,帮助商户变得更加精明,此项目取得了巨大的成功。

PayPal成功的背后

PayPal已发展成为一个价值60亿美元的电子商务交易界巨头。2013年,该公司帮助买家和卖家完成的交易额达1800亿美元,涉及商品和服务等各种交易达30亿次,拥有1.43亿个活跃用户,而实际上,这些成就背后的数据才是真正价值源泉。

该公司处于电子商务的十字路口,这给了它独特视角去研究人们在线购买的习惯。PayPal可以了解到人们买了什么、从哪买、具体的交易方式、用的是什么设备,这些信息形成了一个数据宝库。PayPal数据技术团队中的一个数据科学家Vamshi Ambati告诉我们PayPal正在尝试利用这些庞大数据为用户和商家创造更多价值。

最近,Ambati在Hadoop创新峰会上向我们介绍了他的团队关注的三个主要领域——图挖掘、文本分析和机器学习,并分享了一些经验和见解。


图挖掘

PayPal通过图挖掘帮助数据科学家和营销人员直观地标识数据中出现的一切明显趋势,分析出其中有价值的信息。Ambati说:“我们尝试从图中提取变量,或者发现某种模式,并利用这些变量和模式建立预测模型和分析模型。”

图挖掘中的图指的是描述某种关系的图形,类似于图论中的图,图在对复杂结构的建模过程中变得越来越要,这些复杂结构包括电路、图像、生物网络还有Web等等。从大量的数据中提取信息,建立图表或者其它的图形结构,便于直观的分析,以挖掘有价值的信息。多用于社会网络分析和关系型数据分析。

随着大量结构化数据分析需求的增加,图挖掘在数据挖掘中的地位越来越重要。

PayPal使用英特尔的图建模器并基于Hadoop、ApacheGiraph和GraphLab算法构建图,出于不同的目的会构建不同的图。例如,一个融合了社交媒体信息与交易数据的图有助于将社会媒体活动与交易活动联系起来,而分析交易数据中的用户点击流将有助于了解用户的购买倾向。

PayPal还利用图分析为商户提供排名和推荐服务,该公司为其商户提供潜在消费者图,使商户了解有多少消费者在两个节点之间存在共同点,“还可以帮助商户了解与竞争对手之间的差别,了解与同行相比自身具有哪些竞争优势。”

检测欺诈是图处理的最大用例。公司配置图中节点,对消费者登录商家帐户的设备作出响应。如果一个消费者使用了不同的IP地址或手机帐户登录,PayPal就需要提高警惕,防止用户账户中的钱被盗走。“我们也要了解是否存在诈骗团体的存在,往往图中的一个节点存在欺诈行为,同时还会伴随着3到4个节点的交易或者现金存取行为,这种情况很有可能是团体诈骗,通过图分析,我们可以将他们一网打尽。”

NLP文本挖掘

PayPal基于Hadoop的文本挖掘系统是公司内各种数据科学活动的关键组成部分,这些数据科学活动包括预测建模、情绪分析、影响力评级、简历排名还有主题建模和聚类分析。Ambati说:“如果没有仪表盘程序,这些文本本身不存在任何额外的价值,不过这些文本可以与我们的其他数据结合起来使用,而且有一些公司或许会需要这些数据进行更多的预测建模。”

该公司使用NLP(自然语言处理)算法从交易过程的谈话数据中提取有价值的信息,提高商户交易的成功率。

然而PayPal没有采用Netflix那种直接的推荐方式。Netflix通过四或五星级评级标识用户的偏好,然后采用商品推荐系统向用户推荐商品。但Ambati指出,事实上,用户购买某种商品并不能说明用户喜欢这个商品,Netflix的方式存在问题。

“当消费者浏览商户的商品时,我们事实上并不知道消费者是否对商户有好感,因为有可能消费者只是对品牌或者商品感兴趣,所以我们进行文本挖掘,分析产品信息以了解消费者是否对某种品牌感兴趣,然后再进行商品推荐。”

机器学习

PayPal数据科学家Vamshi Ambati

很多的数据PayPal采用图处理和NLP挖掘,这两种常用的方式也将成为公司第三个核心数据分析的基础,所谓的第三个核心指的是数据挖掘与机器学习算法。PayPal的数据挖掘系统很大程度上建立在用Python和Java编写的机器学习算法上,它们都运行于Hadoop平台上,用于挖掘复杂的数据模型并得到有用的信息。

为商户构建预测模型是一个常见的用例,PayPal利用大量数据研究消费者的购买习惯——这些数据远比eBay的小商户积累得多。得益于PayPal的数据科学团队,商户可以利用PayPal大量数据存储库和专门知识获得竞争优势。

PayPal还将构建一个商户预测模型来帮助他们确定哪些客户有可能会流失、哪些客户会拖欠、哪些客户会再次购买。“作为商户,你可能对你的客户不是特别了解,但PayPal掌握了大量有关消费者的信息。仔细想想,其实PayPal并没有消费者,它的顾客是商户,商户的顾客是消费者,因此PayPal间接的拥有消费者。我们通过商户跟消费者打交道,所以我们希望能够为商户提供这些功能,以帮助改善消费者的用户体验。”

PayPal正在研究YARN,而且试图利用Spark和Storm,它还和明尼苏达大学一起研究“深度学习”。该公司花了相当多的时间为eBay建立推荐引擎,Ambari说:“如果你看到了邀请你去eBay购物的广告,这很有可能就是我们做的。”

原文链接:How PayPal Makes Merchants Smarter through Data Mining(编译/毛梦琪 审校/魏伟)


以“云计算大数据 推动智慧中国”为主题的第六届中国云计算大会将于5月20-23日在北京国家会议中心隆重举办。产业观察、技术培训、主题论坛、行业研讨,内容丰富,干货十足。票价优惠,马上报名
25个可遇不可求的jQuery插件 Web设计中对视差设计的误区 直接拿来用,九个超实用的PHP代码片段(二) 一周消息树:小米染指平板电脑凶多吉少 移动周报:Xcode 5.1更新、CarPlay揭秘,Apple很忙 可穿戴领域,创业公司的掘金点?还是滑铁卢? 搜狐SendCloud2014运维技术沙龙拉开帷幕 一周热点:选择Go语言的12个理由,九头蛇与大象之争 中国云计算大会PPT集萃(二):十位技术大牛分享平台打造技术 延迟250毫秒损失数百万美元,Hadoop系统该如何应对实时任务 IBM成立展示中心扩展大型主机的Linux开放生态系统 SDN解决方案总结:OpenFlow、虚拟机、OpenStack和VXLAN/NVGRE 第六届中国云计算大会将于5月20-23日在京隆重召开 大数据实战:站在JMP分析平台上的FIT足迹识别技术 首届SAP d-code大会在上海举办 【OSTC讲师专访】ZoomQuiet:因商业化而开源是中国开源界最大的囧处 亿元资金扶持+联手100家VC,腾讯的雄心壮志 美国史上最大IPO 能给阿里巴巴带来什么? 买Windows平板而非iPad或Android的十大理由 Framework7:不会Objective-C,也能开发iOS7应用 CocoaChina开发者大会 全新引擎Cocos 3d-x开源 Oracle和微软的抱团,以及对抗Amazon霸主的5个可用点 Agile已死 Agility长存? 论程序员的自我修炼 Github女员工因遭性别歧视离职 继七年iPhone、四年iPad后,苹果的下一城:Healthbook 普元CTO焦烈焱:专注于基础软件 在Spark上的深入实践 Python 3.4.0正式发布 未添加任何新语法特性 谷歌受困邮件挖掘丑闻,企图抹掉庭审记录 Python 3.4.0发布,增加了多个功能模块 美的+阿里,“云端”战略第一把火是智慧家居 如何保存UNICODE的字符串到硬盘上 redhat第4第5两个iso文件是做什么的 关于jsp做客户端调用ejb的问题?????望各位兄弟们救救我吧!!!!! COOL!将所有菜单设置为半透明的代码(只适用于WIN2000以下版本) 请问谁知道如何用jakarta-jmeter进行压力测试? 如何判断文件夹是否存在 在Win2K Server安装Oracle817时,没有安装数据库,后在创建数据库时出现"ORA-12560:TNS:协议适配器错误"... 请教.net服务器问题 解决这个问题,给你200分!!!!!!!!!!(回头追加给你!) 我是初学者,请问.net framework先进性在哪里? 有谁试过用JAVA编FTP软件? 很简单的listBox问题,HELP 今年大四,现在找工作,求助,我怎么样………UP有分。 寻找!! IE的文本输入框,输入一字符会联想,请问怎样去掉这个联想?(Win2K) 哪位大俠能賜教 哪位大俠能賜教 你们说VC到底要学些什么?VC更偏底层,总做这种纯技术总也做不完。迷茫~~~ 请问,在Oracle里建trigger是不是有什么说法呢?一个正常的不能在正常的trigger在Oracle里运行也说compilation errors. 请教:提取字符串里每个字符首字母,谢谢!!! aa模块代码 关于强烈要求恢复可用分增长、可用分转移、非技术区得分转换为可用分的建议!! SOS:如何找到窗口中多个进程其中我所需要的那一个? SOS:如何找到窗口中多个进程其中我所需要的那一个? 笑的人再发几个 query1.next是将指针移向下一条,啊向上条一记录是用什么命令呢? 对话框中使用工具栏如何进行更新? 关于文件指针的问题 ASP中SELECT 查询中前几条的查询如:TOP 的用法哪位讲解一下. 如何查找到两个不同数窗的不同数据 诚招ASP老师一名(请版主不要删) 提问!(欢迎讨论) 停电重启 原来已经编译通过的程序,再重新编译竟然出现了150个错误 一个很奇怪的想法 请问怎么转换以空格为分割符的文本文件转换为以TAB为分割符的文本文件?急! WIN2000下怎么设CLASSPATH (散分):BDE,ADO,dbExpress的前景如何? 关于VB调用asp的问题 如何关闭office2000文件优化器? 怎么知道combobox选中的序号如combobox.item[i]中的i 怎么知道一张图片的有效宽度及长度 浙大1082的几个疑问 系统快成功了,有个大问题 请问98是不是自带了一个局域网聊天工具? 求助!VC中起动现有的Windows程序的语句。谢谢! 请教:如何在DATAGRID控件的行标头上,写上1,2,3....的顺序号?? 请C++语言高手回答:一个有关C++语言派生的简单问题! 什么函数可以得到系统所在的盘? 请问哪有关于Action用法的中文解释? Replace的问题请教 在线求教有没有速成的C++基础书籍——非电子书籍! 遗失的幸福用英语怎么说 如何画 爱家乡 英语问题:The sweaters are only 15 yuan each.They`re very ____(expensive).应该怎么填? 我的书屋,我的梦征文怎么写?结合新中国成立65周年 过去属于死神,未来属于你自己.-- 雪莱 证明这个名言的事例. 地球小报咋么做 写出歇后语的后半部分.矮子坐高登—()稻草人救火—()炒咸菜放盐巴—()擦胭脂进棺材—()各位...写出歇后语的后半部分.矮子坐高登—()稻草人救火—()炒咸菜放盐巴—() 名人名言名句“过去属于死神,未来只属于你自己"是谁说的 What is the end of everything? 歇后语棺材头上雕花的下一句是什么? 雪莱的名言 过去属于死神,未来属于你自己. 英文原文!先谢了! What is the end of everything?请回答.What is the end of everything?请回答. 18 ST.LEONARDS CL.NOBLE PARK VIC 3174 AUSTRALIA这个英文地址翻译成中文是什么意思 用所给词的适当形式填空 1. ____(He) black shoes are 100 yuan. 2.___(I) sweater is very nice.3.The white ____(sock)are under the bed. What is in the end of everything?(IQ题) 有哪个英语单词是9个字母,且第2个是l, 这棵柳树的树冠很大(改为比喻句) 过去属于死神未来属于自己 请你更换下面各单词中的某个字母,使其成为另一个单词求大神帮助safe 、 meet 、road、hand 快来 急 比喻句:街旁大树kuai 每个季节有哪些鲜花盛开 《毛泽东的座车变迁史》 1、说说下列词语在文中的意思.横空出世 鲜为人知 y=lg(mx2-mx+1),要使定义域为R,求m 取值范围? 左面一个三点水,右边一个山,山下面一个而念什么? 毛泽东的座车变迁史:“这辆加长型‘大红旗’矫车堪称‘国宝’”.作者为什么要赞叹这辆车堪称“国宝”? 【欢乐女神】表达了作者什么样的精神 保护地球小报怎么画(英语) 要一篇精彩!的我的书屋我的梦作文,500字以上 欢乐女神蝶的描写片段 三点水右边三个山念什么? 1、桂林山水美得像() 2、他听到()从那边传来 3、大海里的鱼非常多(改夸张句) 欢乐颂中的欢乐女神是什么含义 地球小报怎么做? 大海掀起巨浪改成夸张句十万火急啊 大海里的鱼非常多.改夸张句 三点水加个山读什么 最长的英文单词是什么求大神帮助 大海里的鱼很多 改成夸张句 填上恰当的词语. 街道( )例:技术(精湛) 改夸张句:大海里的非常多. 语文人教版四年级上册语文园地七的习作怎么写? 描写大街的词语有哪些 最长的英文单词是什么?求大神帮助 大海里的鱼非常多.(改为夸张句) The white pants are 88 yuan(对画线部分提问)如题还有This sweater is Lucy's(改为复数句)She wants a black bag(改为一般疑问句) Sydney Australia是什么意思 Welcome to china when you have free time,I will be your guide for 10 pounds one hour.Is that OK? 世说新语两则--1.孔文举.2.王子猷.教教 australia,sydney,amazing什么意思? 海洋里的鱼非常多.(改为夸张)只要写出鱼多就可以了! 求《世说新语》徐孺子 孔文举有儿子 钟会翻译很急,谢谢 Sydney Australia “沿着街道走”的英语 大气对地球的意义小报怎么做? 北京和澳大利亚的sydney的四季有什么不同 沿着马路走的英文 街比喻句 Sydney.Australia用英语怎样读? 走出一条属于自己的道路 英文怎么写 Mike says all the things are on s( ).The hat is only 5 yuan.The shoes are 6 yuan,and the skirt is 5yuan.The sweat is 5 yuan ,and the socks are only 1 yuan.
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘