说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

年交易额1800亿美元,揭秘PayPal成功背后的三大热门技术

HTML文档下载 WORD文档下载 PDF文档下载
图挖掘、NLP算法、机器学习,PayPal幕后俨然是个数据科学家的世界。利用图挖掘,发现交易背后的隐藏价值;利用文本挖掘,了解用户偏好;还有大量用Python和Java编写的机器学习算法,可以用来挖掘更加复杂的数据。

【编者按】作为全球在线支付平台,PayPal,其方便、快捷的支付方式深受用户追捧,近几年PayPal致力于通过数据分析为用户创造更多价值,在2013年,实现年交易额1800亿美元、年交易数量30亿笔,PayPal的成功和它在业务上的不断创新是分不开的,但其背后强大的数据技术同样让人艳羡,Datanami主编Alex Woodie为我们带来了精彩分析。


CSDN推荐:欢迎免费订阅《Hadoop与大数据周刊》获取更多Hadoop技术文献、大数据技术分析、企业实战经验,生态圈发展趋势。

以下为译文:


PayPal作为一个成功的第三方支付平台,掌握了大量的用户数据,其便捷的支付方式也为PayPal赢得了大量电商的支持,尤其是对于资源有限的小商户。几年前,PayPal发起了一个基于Hadoop的数据挖掘项目,运用多种数据分析手段将自身打造成一个更加可靠的服务性支付平台,帮助商户变得更加精明,此项目取得了巨大的成功。

PayPal成功的背后

PayPal已发展成为一个价值60亿美元的电子商务交易界巨头。2013年,该公司帮助买家和卖家完成的交易额达1800亿美元,涉及商品和服务等各种交易达30亿次,拥有1.43亿个活跃用户,而实际上,这些成就背后的数据才是真正价值源泉。

该公司处于电子商务的十字路口,这给了它独特视角去研究人们在线购买的习惯。PayPal可以了解到人们买了什么、从哪买、具体的交易方式、用的是什么设备,这些信息形成了一个数据宝库。PayPal数据技术团队中的一个数据科学家Vamshi Ambati告诉我们PayPal正在尝试利用这些庞大数据为用户和商家创造更多价值。

最近,Ambati在Hadoop创新峰会上向我们介绍了他的团队关注的三个主要领域——图挖掘、文本分析和机器学习,并分享了一些经验和见解。


图挖掘

PayPal通过图挖掘帮助数据科学家和营销人员直观地标识数据中出现的一切明显趋势,分析出其中有价值的信息。Ambati说:“我们尝试从图中提取变量,或者发现某种模式,并利用这些变量和模式建立预测模型和分析模型。”

图挖掘中的图指的是描述某种关系的图形,类似于图论中的图,图在对复杂结构的建模过程中变得越来越要,这些复杂结构包括电路、图像、生物网络还有Web等等。从大量的数据中提取信息,建立图表或者其它的图形结构,便于直观的分析,以挖掘有价值的信息。多用于社会网络分析和关系型数据分析。

随着大量结构化数据分析需求的增加,图挖掘在数据挖掘中的地位越来越重要。

PayPal使用英特尔的图建模器并基于Hadoop、ApacheGiraph和GraphLab算法构建图,出于不同的目的会构建不同的图。例如,一个融合了社交媒体信息与交易数据的图有助于将社会媒体活动与交易活动联系起来,而分析交易数据中的用户点击流将有助于了解用户的购买倾向。

PayPal还利用图分析为商户提供排名和推荐服务,该公司为其商户提供潜在消费者图,使商户了解有多少消费者在两个节点之间存在共同点,“还可以帮助商户了解与竞争对手之间的差别,了解与同行相比自身具有哪些竞争优势。”

检测欺诈是图处理的最大用例。公司配置图中节点,对消费者登录商家帐户的设备作出响应。如果一个消费者使用了不同的IP地址或手机帐户登录,PayPal就需要提高警惕,防止用户账户中的钱被盗走。“我们也要了解是否存在诈骗团体的存在,往往图中的一个节点存在欺诈行为,同时还会伴随着3到4个节点的交易或者现金存取行为,这种情况很有可能是团体诈骗,通过图分析,我们可以将他们一网打尽。”

NLP文本挖掘

PayPal基于Hadoop的文本挖掘系统是公司内各种数据科学活动的关键组成部分,这些数据科学活动包括预测建模、情绪分析、影响力评级、简历排名还有主题建模和聚类分析。Ambati说:“如果没有仪表盘程序,这些文本本身不存在任何额外的价值,不过这些文本可以与我们的其他数据结合起来使用,而且有一些公司或许会需要这些数据进行更多的预测建模。”

该公司使用NLP(自然语言处理)算法从交易过程的谈话数据中提取有价值的信息,提高商户交易的成功率。

然而PayPal没有采用Netflix那种直接的推荐方式。Netflix通过四或五星级评级标识用户的偏好,然后采用商品推荐系统向用户推荐商品。但Ambati指出,事实上,用户购买某种商品并不能说明用户喜欢这个商品,Netflix的方式存在问题。

“当消费者浏览商户的商品时,我们事实上并不知道消费者是否对商户有好感,因为有可能消费者只是对品牌或者商品感兴趣,所以我们进行文本挖掘,分析产品信息以了解消费者是否对某种品牌感兴趣,然后再进行商品推荐。”

机器学习

PayPal数据科学家Vamshi Ambati

很多的数据PayPal采用图处理和NLP挖掘,这两种常用的方式也将成为公司第三个核心数据分析的基础,所谓的第三个核心指的是数据挖掘与机器学习算法。PayPal的数据挖掘系统很大程度上建立在用Python和Java编写的机器学习算法上,它们都运行于Hadoop平台上,用于挖掘复杂的数据模型并得到有用的信息。

为商户构建预测模型是一个常见的用例,PayPal利用大量数据研究消费者的购买习惯——这些数据远比eBay的小商户积累得多。得益于PayPal的数据科学团队,商户可以利用PayPal大量数据存储库和专门知识获得竞争优势。

PayPal还将构建一个商户预测模型来帮助他们确定哪些客户有可能会流失、哪些客户会拖欠、哪些客户会再次购买。“作为商户,你可能对你的客户不是特别了解,但PayPal掌握了大量有关消费者的信息。仔细想想,其实PayPal并没有消费者,它的顾客是商户,商户的顾客是消费者,因此PayPal间接的拥有消费者。我们通过商户跟消费者打交道,所以我们希望能够为商户提供这些功能,以帮助改善消费者的用户体验。”

PayPal正在研究YARN,而且试图利用Spark和Storm,它还和明尼苏达大学一起研究“深度学习”。该公司花了相当多的时间为eBay建立推荐引擎,Ambari说:“如果你看到了邀请你去eBay购物的广告,这很有可能就是我们做的。”

原文链接:How PayPal Makes Merchants Smarter through Data Mining(编译/毛梦琪 审校/魏伟)


以“云计算大数据 推动智慧中国”为主题的第六届中国云计算大会将于5月20-23日在北京国家会议中心隆重举办。产业观察、技术培训、主题论坛、行业研讨,内容丰富,干货十足。票价优惠,马上报名
C#编译器组首席工程师Eric Lippert离职 加盟Coverity Testacular:Google开源的JavaScript测试执行过程管理工具 黑莓亚洲开发者大会报道:BB10将敲开亚洲应用市场大门 挑战Google!传Facebook与Yahoo要联手开发搜索引擎 揭秘Android 4.2 开发者的天堂与地狱 11大黄金法则:顶级移动UX设计心髓 库克时代:苹果已经不是苹果 设计师必备:极简风格的Fluid UI快速原型图工具 iPhone 5发布,后乔布斯时代苹果乏善可陈 牛人妙计:HTML5应用也能像原生一样跑得快 移动周报:OpenFeint难逃关闭命运 细数与苹果恩怨史 FlyingDaggers团队专访:不浮躁,用心做真正的原创游戏! IT巨头混战:谷歌、苹果、Facebook以及亚马逊的四国演义 乐视TV:智能电视平台——Android 开发者的新空间 TIOBE 2012年12月编程语言排行榜:Objective-C冲刺卫冕年度语言 11月份浏览器市场份额 IE10已占据0.51% 亚洲高科技公司正在分享惠普、戴尔和IBM的云“午餐” Groupon创业启示:进军海外,请三思 天才之为责任:Unity CEO谈论Unity 4.0游戏引擎 中文版Evernote百宝箱上线:开发者海外推广新渠道 360产品被爆收集用户隐私 桌面安全路在何方 销售额达一万亿元 阿里巴巴成世界最大电商 共享软件海外营销策略与实战分析(武汉站)成功落幕 你未必知道的CSS故事:揭开leading的面纱 2013年 影响Web发展的5类API 《Warcraft是怎样炼成的》:多人对战、战争迷雾以及AI HBTC精彩回顾 Hadoop专家分享大数据技术工具与最佳实践 苹果iTV规格泄露:iOS应用开发的新蓝海 Facebook觊觎微信鼻祖WhatsApp,但谈不上收购 首款社交API应用 Facebook Messenger for Firefox正式上线! 共享软件海外营销策略与实战分析(沈阳站)成功落幕 再线关注,一个关于excel的问题?一解决立即给分,up有分! 居中 哪里有这些书下载啊!!!! 我的控件不见了! reintroduce和overload有什么区别吗? 关于Javadoc的使用 请问如何在程序运行时根据分辨率等比例调整窗体,控件和字体的大小,使得在任何分辨率下均满屏显示 世界杯“蓝色厄运”理论:英格兰胜巴西 德国淘汰美国(转贴) 关于treeview的节点事件问题,把在下高糊涂了,请高手明示。 要毕业了。。。 BCB中数据库控件的错误扑捉怎么写?比如数据库不存在? 请教如何在调运api函数时,建立缓冲区 SetEvent函数调用带来非法内存访问,扭心的问题。 文件和字符混和上传问题 诸位大虾请帮忙? 各位大虾:哪里有vb.net下载啊? 请教:“开始”菜单中的“文档”菜单不见了! 急!急!急! 一个关于模式对话框的问题 oracle 用sql plus /spool 输出 查询结果时怎么把 查询sql 本身 去掉(不输出) ? 世界杯“蓝色厄运”理论:英格兰胜巴西 德国淘汰美国(转贴) !!请 “arxing(阿行)”回答!!about 对象池!!!! 各位老大,怎样将给定的中文根据拼音排序? access97中的报表中显示中文字段时为什么是乱码,怎样解决,急呀!老大们!! 急:在哪儿可以下载java的反编译器jad.exe????? 请帮忙 做过数据分析的高手请进。。。(我感觉很头疼的一个问题!) 共享Interent怎样实现? 请问绿色程序是如何制作的??? Windows API和C 请问怎样把form中的picture属性中的图片删除? 请看看这个问题? 中程书上的错误?(清华) 各位大虾过来看看,救救我啊! flash简单问题 已知IP,求计算机名 求备份方案,oracle 数据库! 求解決方案:怎樣在運行狀態下增加或取消文本輸入框的滾動條. 大家发表些看法! 各位 帮帮忙,关于答复文档的 如何获取手机中的短消息发送结果状态报告,需要懂一点手机短信的朋友 有没有办法去掉jre1.4下向JTextField输入中文时弹出来的那个恶心的输入窗口? 将web工程加到sourcesafe的问题,十万火急,帮忙解决一定给分,分数不够可以其他方式给。 在sqlserver中有字段类型为image,如何往该字段放图象?200分 基础问题 NT ,when boot ,can not find system 关于internet上的控件打包??????????????? 请各位高手帮忙解决!谢谢!! 谁能告诉我那几个网络论坛比较好 如何实现socket 的多线程 高手请这边来瞧瞧 如何在ODBC应用程序中使用CListView? 空间直角坐标系中,点A(-3,4,0)与点B(2,-1,5)的距离是 在长1.6m,宽1.2m的长方形三合板上,裁出半径是20cm的圆最多可裁多少个?哪位认识会啊 急用! 已知圆M:(x+cosA)的平方+(y-sinA)平方=1,直线L:y=kx则:对任意的角A,必存在k,使直线L和圆M相切;对任意的k,必存在角A,使直线L和圆M相切.请问上面两句话是否都正确,为什么/ 爱祖国爱家乡1000字的演讲稿 在长1.6米,宽1.2米的长方形三合板上,裁出半径是20厘米的圆,最多可裁多少个? 已知圆C:(x+cosA)^2+(y-sinA)^2=1,那么直线L:y=kx,则下列说法正确的是1,对于已知圆C:(x+cosA)^2+(y-sinA)^2=1,那么直线L:y=kx,则下列说法正确的是(1)对于任意实数A,必存在实数k,使得直线l与M相切; 关于爱祖国的演讲稿500字的 361800欧元英文大写是316800 为什么万里长城要设烽火台 草虫的村落 比喻句 欧元金额怎么大写比如说USD是US dollars那么ERU 要怎么写 胃液中含有盐酸,胃酸过多的人服用适量的小苏打能治疗胃酸过多,反应的离子方程式是_______________ 《草虫的村落》中的比喻句 总价48963.6欧元,英文大写怎么写 四字的有人生哲理的词语最好是能够用做网名的 文化差异的英语演讲稿关于欧美与中国的文化差异演讲稿,适合初中生的,不要太简单了,也不要太难了,时间大概三分中左右,感恩戴德了~ 欧元大写EUR 2493.69EUR 10338.56分别是怎样大写 优美的语句(有人生哲理的), 我爱祖国的1000字演讲稿 必须要2人的跪求啊!明天就要用的啊!好的话有追分 速度 体积和容积有什么区别? 用铁皮焊10个底面是边长20厘米的正方形,高是3分米的长方体无盖水桶,至少需用多少铁皮 我爱祖国演讲稿400字 小孩子把玩具当朋友,我们把朋友当玩具.? 甲乙两学生的身高近似值都是1.7x10的2次方cm,但甲说比乙高9m,问有这种可能吗? 我的目光为一群音乐演奏者所吸引的为 现在的小朋友是喜欢迪迦奥特曼玩具的人多还还是戴拿奥特曼玩具的人多又或是喜欢天线宝宝玩具的人多本人需要筹备一批玩具礼品,请问现在的小朋友是喜欢迪迦奥特曼玩具的人多 还还是 关于爱学习爱劳动的手抄报 草虫的村落感受 第二题.模仿 我的目光为一群音乐演奏者所吸引.(︶︹︺)快啊 1,562,997.8欧元用英文怎么大写 草虫的村落第六段从中感受到什么 我的目光为一群音乐演奏者所吸引,它们有十几个吧,散聚在两棵大树下面——这是两簇野灌丛,破折号的作 有一长方形,长为82cm,宽为55cm,在这个长方形上取直径为20cm的圆,请问最多能取几个 英语作文《我和我伙伴》 草虫的村落 我的目光为一群音乐演奏者所吸引 这一段的问题草虫的村落 我的目光为一群音乐演奏者所吸引 这一段虫子的叫声很普通,而“我”为什么觉得他们的音乐优于人间的一切音乐? 一块长方形木板,长3.2米,宽0.8米,把它据成半径是20cm的圆,最多能据多少个? 空间直角坐标系中,求与3点(3,1,2)、(4,-2,-2)、(0,5,1)等距离的点. 爱祖国的演讲稿400字 帮我做一道简单的编程题目(pascal)给出一列数:[(1*1)/2008],[(2*2)/2008],[(3*3)/2008],[(4*4)/2008]…[(n*n)/2008],给出n,要你求出这列数中不同的个数有多少个.(n 在空间直角坐标系中,与点A(3,1,2)B(4,-2,-2)C(0,5,1)等距离的点的个数为,分别是哪几点? 小学爱祖国演讲稿500字!提纲也可以,不过要具体一点 幼儿园把新购进的的一批玩具分给小朋友.幼儿园把新购进的的一批玩具分给小朋友,若每人3件,那么还剩余59件,若每人5件,那么最后一个小朋友分到玩具,但不足4件,这批玩具共几件? 在日常生活中,你见过那些百分数?把含有百分数的那句话记录下来,并想办法了解这个百分数的意义.至少4个(急!) 一个圆柱形玻璃容器里装有水,水中浸没着一个底面直径为6厘米,高为10厘米的圆锥形铁块,如果把铁块从水中取出,那么容器中的水面高度将下降多少厘米? 小明用一张长32cm宽20cm的长方形纸最多能剪成()半径为2cm的圆形纸片 读了草虫的村落这篇课文你感受到了什么? 容积和体积有什么相同点和不同点? 30cm长20cm宽长方形剪半径2cm的圆能剪几个?小孩六年级的题,他说是35个,可我认为最少是36个,谁对? 读《草虫的村落》的体会和收获30字 容积和体积有什么不同?我要的是真实的答案,从别人那儿抄的就算了...要表格,模拟的也行...反正什么都行啦,还有:1、容积单位有哪些?2、容积单位和体积单位有什么不同?要正确的!叫我去干 A为任意实数,求直线x*cosA+y*sinA=cosA+sinA围成的面积大小 求一个介绍我的朋友喜欢吃的食物的英语作文不要太多 小鸟的叫声 马的叫声 狼的叫声 狮子的叫声 鹤的叫声 龙的叫声 虎的叫声 分别是怎么叫的 形容文章的思想感悟和文字都很美的词? "不仅是树木,而且是森林了.不仅生了根,而且枝叶茂盛了'中"树木' "森林' "生了根' "枝叶茂盛'各指什么? 六年级草虫的村落小练笔要写昆虫作文(字数300字) 请使用春天 夏天 秋天和冬天四个词语 运用一定的修辞手发写一段表达人生感悟的文字要求:修辞合理 语言连贯 结句带有总结性 不少于45个字 江淮河汉区域,不仅是树木,而且是森林了.不仅生了根,而且枝叶茂盛了. 还要有作文 圆C:(x-cosa)^2+(y-sina)^2=25与直l:(2m+1)x+(m+1)y-7m-4=0的位置关系是?
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘