说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

年交易额1800亿美元,揭秘PayPal成功背后的三大热门技术

HTML文档下载 WORD文档下载 PDF文档下载
图挖掘、NLP算法、机器学习,PayPal幕后俨然是个数据科学家的世界。利用图挖掘,发现交易背后的隐藏价值;利用文本挖掘,了解用户偏好;还有大量用Python和Java编写的机器学习算法,可以用来挖掘更加复杂的数据。

【编者按】作为全球在线支付平台,PayPal,其方便、快捷的支付方式深受用户追捧,近几年PayPal致力于通过数据分析为用户创造更多价值,在2013年,实现年交易额1800亿美元、年交易数量30亿笔,PayPal的成功和它在业务上的不断创新是分不开的,但其背后强大的数据技术同样让人艳羡,Datanami主编Alex Woodie为我们带来了精彩分析。


CSDN推荐:欢迎免费订阅《Hadoop与大数据周刊》获取更多Hadoop技术文献、大数据技术分析、企业实战经验,生态圈发展趋势。

以下为译文:


PayPal作为一个成功的第三方支付平台,掌握了大量的用户数据,其便捷的支付方式也为PayPal赢得了大量电商的支持,尤其是对于资源有限的小商户。几年前,PayPal发起了一个基于Hadoop的数据挖掘项目,运用多种数据分析手段将自身打造成一个更加可靠的服务性支付平台,帮助商户变得更加精明,此项目取得了巨大的成功。

PayPal成功的背后

PayPal已发展成为一个价值60亿美元的电子商务交易界巨头。2013年,该公司帮助买家和卖家完成的交易额达1800亿美元,涉及商品和服务等各种交易达30亿次,拥有1.43亿个活跃用户,而实际上,这些成就背后的数据才是真正价值源泉。

该公司处于电子商务的十字路口,这给了它独特视角去研究人们在线购买的习惯。PayPal可以了解到人们买了什么、从哪买、具体的交易方式、用的是什么设备,这些信息形成了一个数据宝库。PayPal数据技术团队中的一个数据科学家Vamshi Ambati告诉我们PayPal正在尝试利用这些庞大数据为用户和商家创造更多价值。

最近,Ambati在Hadoop创新峰会上向我们介绍了他的团队关注的三个主要领域——图挖掘、文本分析和机器学习,并分享了一些经验和见解。


图挖掘

PayPal通过图挖掘帮助数据科学家和营销人员直观地标识数据中出现的一切明显趋势,分析出其中有价值的信息。Ambati说:“我们尝试从图中提取变量,或者发现某种模式,并利用这些变量和模式建立预测模型和分析模型。”

图挖掘中的图指的是描述某种关系的图形,类似于图论中的图,图在对复杂结构的建模过程中变得越来越要,这些复杂结构包括电路、图像、生物网络还有Web等等。从大量的数据中提取信息,建立图表或者其它的图形结构,便于直观的分析,以挖掘有价值的信息。多用于社会网络分析和关系型数据分析。

随着大量结构化数据分析需求的增加,图挖掘在数据挖掘中的地位越来越重要。

PayPal使用英特尔的图建模器并基于Hadoop、ApacheGiraph和GraphLab算法构建图,出于不同的目的会构建不同的图。例如,一个融合了社交媒体信息与交易数据的图有助于将社会媒体活动与交易活动联系起来,而分析交易数据中的用户点击流将有助于了解用户的购买倾向。

PayPal还利用图分析为商户提供排名和推荐服务,该公司为其商户提供潜在消费者图,使商户了解有多少消费者在两个节点之间存在共同点,“还可以帮助商户了解与竞争对手之间的差别,了解与同行相比自身具有哪些竞争优势。”

检测欺诈是图处理的最大用例。公司配置图中节点,对消费者登录商家帐户的设备作出响应。如果一个消费者使用了不同的IP地址或手机帐户登录,PayPal就需要提高警惕,防止用户账户中的钱被盗走。“我们也要了解是否存在诈骗团体的存在,往往图中的一个节点存在欺诈行为,同时还会伴随着3到4个节点的交易或者现金存取行为,这种情况很有可能是团体诈骗,通过图分析,我们可以将他们一网打尽。”

NLP文本挖掘

PayPal基于Hadoop的文本挖掘系统是公司内各种数据科学活动的关键组成部分,这些数据科学活动包括预测建模、情绪分析、影响力评级、简历排名还有主题建模和聚类分析。Ambati说:“如果没有仪表盘程序,这些文本本身不存在任何额外的价值,不过这些文本可以与我们的其他数据结合起来使用,而且有一些公司或许会需要这些数据进行更多的预测建模。”

该公司使用NLP(自然语言处理)算法从交易过程的谈话数据中提取有价值的信息,提高商户交易的成功率。

然而PayPal没有采用Netflix那种直接的推荐方式。Netflix通过四或五星级评级标识用户的偏好,然后采用商品推荐系统向用户推荐商品。但Ambati指出,事实上,用户购买某种商品并不能说明用户喜欢这个商品,Netflix的方式存在问题。

“当消费者浏览商户的商品时,我们事实上并不知道消费者是否对商户有好感,因为有可能消费者只是对品牌或者商品感兴趣,所以我们进行文本挖掘,分析产品信息以了解消费者是否对某种品牌感兴趣,然后再进行商品推荐。”

机器学习

PayPal数据科学家Vamshi Ambati

很多的数据PayPal采用图处理和NLP挖掘,这两种常用的方式也将成为公司第三个核心数据分析的基础,所谓的第三个核心指的是数据挖掘与机器学习算法。PayPal的数据挖掘系统很大程度上建立在用Python和Java编写的机器学习算法上,它们都运行于Hadoop平台上,用于挖掘复杂的数据模型并得到有用的信息。

为商户构建预测模型是一个常见的用例,PayPal利用大量数据研究消费者的购买习惯——这些数据远比eBay的小商户积累得多。得益于PayPal的数据科学团队,商户可以利用PayPal大量数据存储库和专门知识获得竞争优势。

PayPal还将构建一个商户预测模型来帮助他们确定哪些客户有可能会流失、哪些客户会拖欠、哪些客户会再次购买。“作为商户,你可能对你的客户不是特别了解,但PayPal掌握了大量有关消费者的信息。仔细想想,其实PayPal并没有消费者,它的顾客是商户,商户的顾客是消费者,因此PayPal间接的拥有消费者。我们通过商户跟消费者打交道,所以我们希望能够为商户提供这些功能,以帮助改善消费者的用户体验。”

PayPal正在研究YARN,而且试图利用Spark和Storm,它还和明尼苏达大学一起研究“深度学习”。该公司花了相当多的时间为eBay建立推荐引擎,Ambari说:“如果你看到了邀请你去eBay购物的广告,这很有可能就是我们做的。”

原文链接:How PayPal Makes Merchants Smarter through Data Mining(编译/毛梦琪 审校/魏伟)


以“云计算大数据 推动智慧中国”为主题的第六届中国云计算大会将于5月20-23日在北京国家会议中心隆重举办。产业观察、技术培训、主题论坛、行业研讨,内容丰富,干货十足。票价优惠,马上报名
Apache基金会废弃其C++标准库 鲍尔默宣称微软有一百万台服务器,这个数字真的靠谱吗? 全球6000开发者:iOS、Android、WP最痴情谁? 提升网站知名度的十大方法 IBM移动平台首席架构师Greg Truty:MobileFirst从底层架构开始 Hallo.js:一款所见即所得的Web编辑器 数据分析≠Hadoop+NoSQL,不妨先看完善现有技术的10条捷径 移动周报:百度收购91,19亿美金背后的博弈 植物大战僵尸2:“免费+内付费”模式引发争论 [CTO俱乐部第103期] 高德和四维图新技术高管谈地图导航的发展与挑战 Java 7爆最新漏洞,10年前的攻击手法仍有效 Twitter联合创始人Biz Stone谈Facebook用户体验 提倡零广告 英雄会:企业的人才漏斗 开发者的武林大会 一次错误估算带来的启示 苹果开发者中心被黑:开发者信息或被窃取 SIM卡加密存漏洞 将影响数亿计的手机用户 搜狗茹立云:探索引擎产品落地 浏览器+搜索模式会成主流吗? 大势所趋,IBM Acme Air至少使用Netflix的5个开源工具 【观察】跨越“朦胧期”的云计算:产业、核心技术、生态圈以及突破点 Rovio Account:平台化之路修成正果 甲骨文总裁马克•赫德采访实录:用软硬件集成一体机打垮对手 如何一步一步打造高可扩展性的应用程序? 用Java编程,请保持简洁! 从安全隐患带来的商机来看,Hadoop同样很美 三年增四倍:如今谷歌服务占北美互联网流量四分之一 决战低功耗?Intel明年推低功耗Xeon处理器 在软件架构上增加新功能的注意事项 90后的代码界“女神”李雪:在编程中找到自己的“灵魂” 大数据之路不乏荆棘,然则其中的机遇却高于一切 iPhone销量令人意外:苹果Q3财季净利69亿美元 同比下滑 励志:12位早起的IT大佬们让小伙伴们都惊呆了 超级简单的问题!答了就给分!快快来! 谁有《delphi6网络编程》一书的原代码??????????? AMD xp cpu的性能是怎么样的 请大家帮忙,一个LPTCSTR的数据问题 散分,散分,高手在哪?新买的165上网卡无法拨号上网,救命,喔,救命 请问一个问题。 赛扬1.7G,256M内存打“传奇”有点卡!!!!!!!!帮我,快 如何 将数字字符串 转换为整数? 千万火急----如何把从组件中取的记录集在VB中赋给FPSpread控件? 探讨方法 有些不懂,请帮帮忙,有分。 大哥哥进来看看小妹这个问题好吗? socket高手请进!可以解决吗? java 的帮助文件哪儿可以找到? 很多页面都链接到同一页面,在返回时如何判断返回到原先的页面?(不用histroy.back())? jbuilder9中开发web services,import wsdl文件出错 很多页面都链接到同一页面,在返回时如何判断返回到原先的页面?(不用histroy.back()) 要调用某个DLL中函数,应如何申明? 有问题急? jb8中类找不到了??? 哪位可以告诉我在哪里可以改动网论坛首页上方的banner广告的路径? 救命啊!!为什么在DBASE4里执行“ALTER TABLE TableName ADD COLUMN AAA C(10)”发生异常?!,该语句不兼容啊! 如果当初你没遇到Java,你会选择什么 欢迎参加微软新闻组 & Diyinside Windows User Group离线技术沙龙 访问access数据库怎么不能查日期? Dll问题! 这个异常是什么回事? 小小问题。。。 為深麼我的Wizard模式的PreportyPage的OnWizardNext函數實現後,不能出現第二個頁面,how to. 那一个有的高程模拟试题 简单问题,请指点 在线等待求助:win2000缠人问题 ****郁闷,从来没有遇到这样的问题!!!为什么报表显示的时候会闪一下!而且显示出来后其窗体还没有自动关闭!******** 请大家发表一下自己的意见 问一个消息? 欢迎参加微软新闻组 & Diyinside Windows User Group离线技术沙龙 求助:chart使用Lineseries颜色问题 ?在C#的如何运用线程 关于安装Websphere Portal的问题。希望大家帮我解决一下。 非法字符的问题 转让一优派PT813 21寸显示器(适合专业作图) 北京 一个小问题,还请多帮忙!谢谢!! 怎么用命令看到一个进程的内存数? 用VC怎样获知当前Window是否支持某国语言(如中文)? 投诉: 有关通用查询组件—— 视图选择公式的问题,请帮帮我! 请教一小问题? DataSet.AcceptChanges()这个有什么用呀??? 欢迎参加微软新闻组 & Diyinside Windows User Group离线技术沙龙 ?怎样在ASPX的WEB服务中运用C#的线程 what sound可以问是什么声音吗 还是要说what is the sound What ____ it ____?(sound)用适当形式填 napkin可数名词还是不可数名词 largo e mesto 希金斯的《key largo》中英文翻译 急,400字和汉译英,有意的留个言,我通过百度hi发过去。软件和网站翻译的不要,翻译的好再追加50分,言出必行。 宣读圣旨的意思 这个英文是什么意思BOOSBOOS 麻烦搞下 圣旨一般用于什么场合?电视上经常屁大点事就下圣旨.那么真实的历史是什么样子的呢?一般什么事件、什么场合才会用到圣旨?惩罚一个人用圣旨吗?宣读圣旨的是不是一个小太监就行呢?有没 圣旨是用什么材料做的?电视上看起来似乎都是黄色的丝绸…… 但应该有所讲究的吧,每个朝代,圣旨的材质、样式是一样的吗?是统一的还是说对不同品级官员下达圣旨时会使用不同的材质呢?\ largo al factotum是什么意思 沙特再拒入“非常” 指安理会未实现中美医学杂志报告显示 感染艾滋病毒婴儿法国教育官员称将出台法律维护创业大学新西兰千名儿童参与马拉松共庆世界儿童俄外长:俄美涉叙计划表明双方有能力应阿富汗情侣私奔 疑遭女方家属私自处决泰国北部发生重大交通事故 造成22人澳大利亚蓝山火情缓解 居民返家解救被奥巴马频接监听\"投诉\" 向默克尔韩国欲开设首个裸体海滩 以吸引外国游美国就宠物食品安全发出警告 恐引发致李娜拍摄时装写真 娜姐变身职场干练美叙反对派称将派统一代表团出席日内瓦第王毅:中国始终从战略高度看待与阿拉伯日本驻华大使称中日关系不会破裂 肯定日印海军今起联合军演 主要针对潜水艇创新突破推动中国成为世界“空海俱乐部国内快递收寄验视多走过场 称哪有时间80岁院士申请退休被校方婉拒:你是学日本外相会见中国大使 就中日战略互惠上海大学美女穿婚纱食堂逼婚 校方:系徐焰少将揭秘中共隐蔽战线:谍战决定论灵至万道武裂苍天落月皇朝月夜星斜灵天逆极度末日天磬劫血魂术鄂尔多斯飞歌转向高原飞轮木兰山旅游定边县旅游五堡魔鬼城旅游武夷山大红袍景区旅游义江缘旅游戒台寺旅游氡泉旅游三条桥旅游毓文桥旅游文兴桥旅游薛宅桥旅游
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘