说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

年交易额1800亿美元,揭秘PayPal成功背后的三大热门技术

HTML文档下载 WORD文档下载 PDF文档下载
图挖掘、NLP算法、机器学习,PayPal幕后俨然是个数据科学家的世界。利用图挖掘,发现交易背后的隐藏价值;利用文本挖掘,了解用户偏好;还有大量用Python和Java编写的机器学习算法,可以用来挖掘更加复杂的数据。

【编者按】作为全球在线支付平台,PayPal,其方便、快捷的支付方式深受用户追捧,近几年PayPal致力于通过数据分析为用户创造更多价值,在2013年,实现年交易额1800亿美元、年交易数量30亿笔,PayPal的成功和它在业务上的不断创新是分不开的,但其背后强大的数据技术同样让人艳羡,Datanami主编Alex Woodie为我们带来了精彩分析。


CSDN推荐:欢迎免费订阅《Hadoop与大数据周刊》获取更多Hadoop技术文献、大数据技术分析、企业实战经验,生态圈发展趋势。

以下为译文:


PayPal作为一个成功的第三方支付平台,掌握了大量的用户数据,其便捷的支付方式也为PayPal赢得了大量电商的支持,尤其是对于资源有限的小商户。几年前,PayPal发起了一个基于Hadoop的数据挖掘项目,运用多种数据分析手段将自身打造成一个更加可靠的服务性支付平台,帮助商户变得更加精明,此项目取得了巨大的成功。

PayPal成功的背后

PayPal已发展成为一个价值60亿美元的电子商务交易界巨头。2013年,该公司帮助买家和卖家完成的交易额达1800亿美元,涉及商品和服务等各种交易达30亿次,拥有1.43亿个活跃用户,而实际上,这些成就背后的数据才是真正价值源泉。

该公司处于电子商务的十字路口,这给了它独特视角去研究人们在线购买的习惯。PayPal可以了解到人们买了什么、从哪买、具体的交易方式、用的是什么设备,这些信息形成了一个数据宝库。PayPal数据技术团队中的一个数据科学家Vamshi Ambati告诉我们PayPal正在尝试利用这些庞大数据为用户和商家创造更多价值。

最近,Ambati在Hadoop创新峰会上向我们介绍了他的团队关注的三个主要领域——图挖掘、文本分析和机器学习,并分享了一些经验和见解。


图挖掘

PayPal通过图挖掘帮助数据科学家和营销人员直观地标识数据中出现的一切明显趋势,分析出其中有价值的信息。Ambati说:“我们尝试从图中提取变量,或者发现某种模式,并利用这些变量和模式建立预测模型和分析模型。”

图挖掘中的图指的是描述某种关系的图形,类似于图论中的图,图在对复杂结构的建模过程中变得越来越要,这些复杂结构包括电路、图像、生物网络还有Web等等。从大量的数据中提取信息,建立图表或者其它的图形结构,便于直观的分析,以挖掘有价值的信息。多用于社会网络分析和关系型数据分析。

随着大量结构化数据分析需求的增加,图挖掘在数据挖掘中的地位越来越重要。

PayPal使用英特尔的图建模器并基于Hadoop、ApacheGiraph和GraphLab算法构建图,出于不同的目的会构建不同的图。例如,一个融合了社交媒体信息与交易数据的图有助于将社会媒体活动与交易活动联系起来,而分析交易数据中的用户点击流将有助于了解用户的购买倾向。

PayPal还利用图分析为商户提供排名和推荐服务,该公司为其商户提供潜在消费者图,使商户了解有多少消费者在两个节点之间存在共同点,“还可以帮助商户了解与竞争对手之间的差别,了解与同行相比自身具有哪些竞争优势。”

检测欺诈是图处理的最大用例。公司配置图中节点,对消费者登录商家帐户的设备作出响应。如果一个消费者使用了不同的IP地址或手机帐户登录,PayPal就需要提高警惕,防止用户账户中的钱被盗走。“我们也要了解是否存在诈骗团体的存在,往往图中的一个节点存在欺诈行为,同时还会伴随着3到4个节点的交易或者现金存取行为,这种情况很有可能是团体诈骗,通过图分析,我们可以将他们一网打尽。”

NLP文本挖掘

PayPal基于Hadoop的文本挖掘系统是公司内各种数据科学活动的关键组成部分,这些数据科学活动包括预测建模、情绪分析、影响力评级、简历排名还有主题建模和聚类分析。Ambati说:“如果没有仪表盘程序,这些文本本身不存在任何额外的价值,不过这些文本可以与我们的其他数据结合起来使用,而且有一些公司或许会需要这些数据进行更多的预测建模。”

该公司使用NLP(自然语言处理)算法从交易过程的谈话数据中提取有价值的信息,提高商户交易的成功率。

然而PayPal没有采用Netflix那种直接的推荐方式。Netflix通过四或五星级评级标识用户的偏好,然后采用商品推荐系统向用户推荐商品。但Ambati指出,事实上,用户购买某种商品并不能说明用户喜欢这个商品,Netflix的方式存在问题。

“当消费者浏览商户的商品时,我们事实上并不知道消费者是否对商户有好感,因为有可能消费者只是对品牌或者商品感兴趣,所以我们进行文本挖掘,分析产品信息以了解消费者是否对某种品牌感兴趣,然后再进行商品推荐。”

机器学习

PayPal数据科学家Vamshi Ambati

很多的数据PayPal采用图处理和NLP挖掘,这两种常用的方式也将成为公司第三个核心数据分析的基础,所谓的第三个核心指的是数据挖掘与机器学习算法。PayPal的数据挖掘系统很大程度上建立在用Python和Java编写的机器学习算法上,它们都运行于Hadoop平台上,用于挖掘复杂的数据模型并得到有用的信息。

为商户构建预测模型是一个常见的用例,PayPal利用大量数据研究消费者的购买习惯——这些数据远比eBay的小商户积累得多。得益于PayPal的数据科学团队,商户可以利用PayPal大量数据存储库和专门知识获得竞争优势。

PayPal还将构建一个商户预测模型来帮助他们确定哪些客户有可能会流失、哪些客户会拖欠、哪些客户会再次购买。“作为商户,你可能对你的客户不是特别了解,但PayPal掌握了大量有关消费者的信息。仔细想想,其实PayPal并没有消费者,它的顾客是商户,商户的顾客是消费者,因此PayPal间接的拥有消费者。我们通过商户跟消费者打交道,所以我们希望能够为商户提供这些功能,以帮助改善消费者的用户体验。”

PayPal正在研究YARN,而且试图利用Spark和Storm,它还和明尼苏达大学一起研究“深度学习”。该公司花了相当多的时间为eBay建立推荐引擎,Ambari说:“如果你看到了邀请你去eBay购物的广告,这很有可能就是我们做的。”

原文链接:How PayPal Makes Merchants Smarter through Data Mining(编译/毛梦琪 审校/魏伟)


以“云计算大数据 推动智慧中国”为主题的第六届中国云计算大会将于5月20-23日在北京国家会议中心隆重举办。产业观察、技术培训、主题论坛、行业研讨,内容丰富,干货十足。票价优惠,马上报名
Google大中华区总裁石博盟与中国大学生畅谈科技与创新 阿里云:从防到攻,深入浅出DDoS 大数据处理分析的六大最好工具 微软:Windows Phone开发者可回复用户评价 不断缩水后的微博上市首日大涨19% 曾一度涨超40% Snapdragon LLVM编译器全新升级 支持骁龙64位处理器 EDP:基于Node.JS与NPM的企业级开发平台 想改变世界,先改变自己——知名Hacker、发明家Mitch Altman专访 《近匠》iHealth,健康大数据助力硬件“破壳” 一周消息树:如何做到每天写代码? 一周热点:微软SQL Server 2014三大新特性 《Make》创始人Dale Dougherty:全民创客 DevOps正在扼杀程序员? OpenStack新版本:新增近350个功能,修复Bug超2900个 【走近讲师】易欢欢:数据对接和后台是互联网金融的技术最难点 最火HTML5 JavaScript游戏引擎:国外篇(二) 挑战最强大脑——来自全球的14个编码社区 摩尔定律让位于贝索斯定律 InPaaS:新一代云计算应用平台 【技术博客推荐】樊哲谈机器学习算法与Mahout Scala 2.11.0发布 仅支持Java 8部分功能 诺基亚彻底“卖身” 变“微软移动” 10款高效简化移动开发过程的工具 《近匠》AppCan:打造成云生态的移动PaaS平台 WhatsApp壮举:活跃用户超五亿、日7亿幅照片和1亿个视频 如期而至,GCC 4.9.0正式版发布! 【走近讲师】孙昌勋:容联云通讯构筑通讯能力云平台生态圈 最新版本的Hive 0.13发布,增加ACID特性 开发中的“软”与“硬”:高画质移动游戏开发之道 从国际编码竞赛来看编程语言受众度 AMD迎接变革:加速OpenCL的未来 请教程序组加入程序的问题 老是想来灌水,把这点可用分送光得了,省得挂念 IT老虎,与天为敌快进来,谢谢我只有20多分了,你们一人十分吧,我留点好吧? 如何实现打印,尤其是分页打印? paw_001,paw_001 在马? NetGuardian??哪为兄弟有啊,给我一份copy~~~~~~~~~~~~ 关于自增长字段使用的问题,高手请进 这一贴,分就少点了,就这么多啦 有人能告诉我广东省C程序员与JAVA程序员的薪水比较吗?为什么会有这种差距呢 请问用javaApplet如何控制IE界面? 点对点的讨论 水平考试与资格考试及格分别是多少分? 如何再网页中实现打印功能,份也打印。 我发现了一个网站的BUG,我该怎样进去? 到处都是泡泡,俺看的想吐,晚上再来算了。 怪事, 屏幕变黑白 我的问题_6 MYSQL中like的问题 请教打印预览问题 请问,如果我想把,file edit tools window这个主菜单栏动态去掉,怎么做? 如何用程序代码实现在Memo文本编辑框中被选中的文字加下划线。 怎样分析tcp报文(我很急呀) *.idl文件如何使用? 各位大侠,怎么写一个php在线打分的程序阿? 我测试一下 感兴趣的去试试! IE外壳扩展的程序 Delphi 6.0的一个Bug??? 我怎么把字符串放进缓冲里?急急急!!! 恭喜 zhipop 喜得漂亮的可爱的千金 几个小问题想请教大家 如何将浏览器的地址栏里的IE图标换成自己的图标? r俺明天想去给我的宝马生生级,不算显示器,3000元左右,请各位大侠们赐教该什么配置 2000下写的程序,NT 4.0workstation上为什么不能跑? 启用新主页下载数据窗口编辑器 请教Qbasic中的几个问题..... 用BCB如何向Oracle8.0.5中更新BLOB 用ODBC编程时发现错误:nvarchar 类型无数据类型同其绑定,用CString 出错!如何解决? 救命,救命!!!!!!!!!!!! 【 这两天好像来了很多新人嘛!来报个到吧! 】 请教:如将一个 FormView 的 ScrollBar 去掉 在asp中怎么定义可变长的数组? 关于文本框的问题(你能回答吗?) X档案第三季有一集叫《网络情人》,讲的什么内容? 如何登陆interbase de local server? 确定星座是按农历,还是公历????? 请问哪里能买到苹果7300主板,大概多少钱? vc高手快来帮我 我可以通过style定义普通字体的大小,却不能定义表格中字体的大小 BDE + SQL AnyWhere6.0问题!求救!SOS! 最新消息:泡泡是个PLMM 乐扣塑料杯是pp吗 家用电器知道多少瓦 怎么算出一小时要多少度电?一个家电例如是两千五百W,一个小时用多少电,是怎样算出来的···· 家庭电路中,电压一定220V,电炉子的电阻很大,根据P=U方/R,功率应该很小,但为什么电炉子的功率却很大?而且其他用电器的电阻越大,功率还越大? 乐扣杯子是塑料的对身体有害吗? 1000瓦的电器开1小时一定会用了1°电? 24v的交流电热圈功率是1000瓦,那么电流是多少?能电倒人吗? 乐扣塑料杯装热水有胶味,泡了很久还是有一点.这杯子能装热水喝吗 1000瓦等于多少度电 一个电炉子功率2000瓦每天用5小时一个月按30天计算电费是多少 乐扣水杯是用什么型号的PP材料做成的?聚丙烯(P.P) 是肯定的,问题是那个牌的PP什么型号,为什么材料那么硬还高透明耐高温 1000瓦等于多少瓦 电炉子工作时,是将电能转化成热能,电炉子工作时,是将电能转化成热能;电炉子工作时,是将电能转化成热;电炉子工作时,是将电能转化成内能!哪种说法正确!三者有什么不同? 能不能用冰醋酸腐蚀乐扣杯子的PP材质?如题,另外请问,如果杯子中倒入稀释后的冰醋酸,再倒入食用油,可以阻止它挥发吗? 1000瓦每小时耗多少度电? 一种炉子,电能的!既可以做电煮锅,又可以取暖!不是普通的光波炉之类的,有一定的高度,面积差不多80*80cm 还可以用作打麻将时取暖!知道的朋友介绍一下!最好给个链接!了解功能 价钱...不是电 PP材料的乐扣水杯和PC材料的乐亿多水杯哪个好我要一个可以装开水而且没有气味的 功率1000瓦是一小时用一度电吗?如果不是那是多少? 600瓦电烤火炉每小时用几度电? 乐扣的杯子好么?是塑料的,喝水应该选择乐扣的还是玻璃杯啊?可是现在都说用塑料的好,售货员还说玻璃的过时了 功耗25瓦一小时耗多少度电 我用最大功率1000瓦的电插座,插上一个做饭的电炉,是耗电1000瓦的.用多久拔掉安全点? 乐扣乐扣的 杯子 区别马克陶瓷杯、运动杯、茶水杯...哪个保温效果更好点儿?正品的马克杯225ml的多少钱?PS:乐扣乐扣(lock&lock)Eco环保陶瓷杯SLB003G/370ml(我不是纸杯-时尚环保系列)225ml 和 3000瓦每小时耗多少度电? 减震弹簧是一圈一圈紧挨着,还是一圈一圈有空隙 请问如何洗乐扣的杯子?请问刚买来乐扣的杯子随便洗洗就可以了还是要用洗洁精洗,开水烫之类的.怎样洗完是最干净的?还有上面的一些很讨厌的标签怎么能去除干净啊? 取暖器1000瓦的每小时耗多少电?我这个一档是800,一档是1200.两个档加起来1个小时多少电? 一度电是不是就等于一千瓦 那 乐扣乐扣的杯子好用吗? 一个一千瓦的用电器,一小时用多少度电?哈哈 一千瓦是不是等于一度电?总搞不清,说清原因 乐扣的杯子怎么样 一千瓦的电器连续工作一小时消耗的电能是多少求求你们了 一千瓦一小时几度电 乐扣的杯子好吗? 800瓦的电器一小时会耗多少度电? 多少伏等于一千瓦?一千瓦等于多少电流?同上 1000毫升等于多少重量的水 1500瓦的电器一小时能用几度电 一度电是一千瓦时还是3.6*1000000瓦时 2000瓦功率的电器应该用多少平方的电线 1000瓦等于多少安 一千瓦一个小时一度电如何计算出来的介绍一下这一块儿的..我不是很懂... 功率800瓦的电器工作多长时间消耗1度电 电冰箱的额定功率是70瓦,耗电量是0.5kw.h/24h,问每小时用电量多少,每天用电多少W? 114磅是多少公斤?磅和公斤的换算公式是怎样的呀? 家里能用2000瓦功率的电器吗?我买了个烧烤炉 功率似乎太大了,我用的接线板烧了,后来就没敢再用了.谁知道普通家庭可不可以用2000瓦功率的东西啊?还有是怎么看的,有什么衡量标准的? 功率1000瓦的电器一个小时耗电量是多少 血的单位CC跟毫升跟克是怎么换算的 乐扣乐扣塑料杯有毒吗 多少瓦的电器用一个小时是一度电? 请问功率1000瓦的电器,它的电流是多少? 乐扣杯子用久了会不会有毒?以前中学化学老师说过的.有些塑料是有毒的.比如 聚苯乙烯、聚氯乙烯.而 聚乙烯 是 可以用来做食品袋的.但是遇到高温还是会释放毒性的.原谅初中老师就讲过这 2000瓦功率,多久需1度电? 1安培等于多少瓦? 乐扣水杯底部三角形内是数字7,盖子内部三角形是5,盖子上显示pp,请问这水杯能装开水吗, 一台功率为500瓦的电器一个小时需要用多少度电? 请问35瓦等于多少安培?1:35瓦等于多少安培?2:蓄电池上标有12v/7ah 请问后面的7ah是什么意思? 假的乐扣杯,底部没有塑料什么标识,这样的杯子有毒吗 电器功率150瓦,一小时消耗几度电? 一安培等于多少瓦
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn