说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

年交易额1800亿美元,揭秘PayPal成功背后的三大热门技术

HTML文档下载 WORD文档下载 PDF文档下载
图挖掘、NLP算法、机器学习,PayPal幕后俨然是个数据科学家的世界。利用图挖掘,发现交易背后的隐藏价值;利用文本挖掘,了解用户偏好;还有大量用Python和Java编写的机器学习算法,可以用来挖掘更加复杂的数据。

【编者按】作为全球在线支付平台,PayPal,其方便、快捷的支付方式深受用户追捧,近几年PayPal致力于通过数据分析为用户创造更多价值,在2013年,实现年交易额1800亿美元、年交易数量30亿笔,PayPal的成功和它在业务上的不断创新是分不开的,但其背后强大的数据技术同样让人艳羡,Datanami主编Alex Woodie为我们带来了精彩分析。


CSDN推荐:欢迎免费订阅《Hadoop与大数据周刊》获取更多Hadoop技术文献、大数据技术分析、企业实战经验,生态圈发展趋势。

以下为译文:


PayPal作为一个成功的第三方支付平台,掌握了大量的用户数据,其便捷的支付方式也为PayPal赢得了大量电商的支持,尤其是对于资源有限的小商户。几年前,PayPal发起了一个基于Hadoop的数据挖掘项目,运用多种数据分析手段将自身打造成一个更加可靠的服务性支付平台,帮助商户变得更加精明,此项目取得了巨大的成功。

PayPal成功的背后

PayPal已发展成为一个价值60亿美元的电子商务交易界巨头。2013年,该公司帮助买家和卖家完成的交易额达1800亿美元,涉及商品和服务等各种交易达30亿次,拥有1.43亿个活跃用户,而实际上,这些成就背后的数据才是真正价值源泉。

该公司处于电子商务的十字路口,这给了它独特视角去研究人们在线购买的习惯。PayPal可以了解到人们买了什么、从哪买、具体的交易方式、用的是什么设备,这些信息形成了一个数据宝库。PayPal数据技术团队中的一个数据科学家Vamshi Ambati告诉我们PayPal正在尝试利用这些庞大数据为用户和商家创造更多价值。

最近,Ambati在Hadoop创新峰会上向我们介绍了他的团队关注的三个主要领域——图挖掘、文本分析和机器学习,并分享了一些经验和见解。


图挖掘

PayPal通过图挖掘帮助数据科学家和营销人员直观地标识数据中出现的一切明显趋势,分析出其中有价值的信息。Ambati说:“我们尝试从图中提取变量,或者发现某种模式,并利用这些变量和模式建立预测模型和分析模型。”

图挖掘中的图指的是描述某种关系的图形,类似于图论中的图,图在对复杂结构的建模过程中变得越来越要,这些复杂结构包括电路、图像、生物网络还有Web等等。从大量的数据中提取信息,建立图表或者其它的图形结构,便于直观的分析,以挖掘有价值的信息。多用于社会网络分析和关系型数据分析。

随着大量结构化数据分析需求的增加,图挖掘在数据挖掘中的地位越来越重要。

PayPal使用英特尔的图建模器并基于Hadoop、ApacheGiraph和GraphLab算法构建图,出于不同的目的会构建不同的图。例如,一个融合了社交媒体信息与交易数据的图有助于将社会媒体活动与交易活动联系起来,而分析交易数据中的用户点击流将有助于了解用户的购买倾向。

PayPal还利用图分析为商户提供排名和推荐服务,该公司为其商户提供潜在消费者图,使商户了解有多少消费者在两个节点之间存在共同点,“还可以帮助商户了解与竞争对手之间的差别,了解与同行相比自身具有哪些竞争优势。”

检测欺诈是图处理的最大用例。公司配置图中节点,对消费者登录商家帐户的设备作出响应。如果一个消费者使用了不同的IP地址或手机帐户登录,PayPal就需要提高警惕,防止用户账户中的钱被盗走。“我们也要了解是否存在诈骗团体的存在,往往图中的一个节点存在欺诈行为,同时还会伴随着3到4个节点的交易或者现金存取行为,这种情况很有可能是团体诈骗,通过图分析,我们可以将他们一网打尽。”

NLP文本挖掘

PayPal基于Hadoop的文本挖掘系统是公司内各种数据科学活动的关键组成部分,这些数据科学活动包括预测建模、情绪分析、影响力评级、简历排名还有主题建模和聚类分析。Ambati说:“如果没有仪表盘程序,这些文本本身不存在任何额外的价值,不过这些文本可以与我们的其他数据结合起来使用,而且有一些公司或许会需要这些数据进行更多的预测建模。”

该公司使用NLP(自然语言处理)算法从交易过程的谈话数据中提取有价值的信息,提高商户交易的成功率。

然而PayPal没有采用Netflix那种直接的推荐方式。Netflix通过四或五星级评级标识用户的偏好,然后采用商品推荐系统向用户推荐商品。但Ambati指出,事实上,用户购买某种商品并不能说明用户喜欢这个商品,Netflix的方式存在问题。

“当消费者浏览商户的商品时,我们事实上并不知道消费者是否对商户有好感,因为有可能消费者只是对品牌或者商品感兴趣,所以我们进行文本挖掘,分析产品信息以了解消费者是否对某种品牌感兴趣,然后再进行商品推荐。”

机器学习

PayPal数据科学家Vamshi Ambati

很多的数据PayPal采用图处理和NLP挖掘,这两种常用的方式也将成为公司第三个核心数据分析的基础,所谓的第三个核心指的是数据挖掘与机器学习算法。PayPal的数据挖掘系统很大程度上建立在用Python和Java编写的机器学习算法上,它们都运行于Hadoop平台上,用于挖掘复杂的数据模型并得到有用的信息。

为商户构建预测模型是一个常见的用例,PayPal利用大量数据研究消费者的购买习惯——这些数据远比eBay的小商户积累得多。得益于PayPal的数据科学团队,商户可以利用PayPal大量数据存储库和专门知识获得竞争优势。

PayPal还将构建一个商户预测模型来帮助他们确定哪些客户有可能会流失、哪些客户会拖欠、哪些客户会再次购买。“作为商户,你可能对你的客户不是特别了解,但PayPal掌握了大量有关消费者的信息。仔细想想,其实PayPal并没有消费者,它的顾客是商户,商户的顾客是消费者,因此PayPal间接的拥有消费者。我们通过商户跟消费者打交道,所以我们希望能够为商户提供这些功能,以帮助改善消费者的用户体验。”

PayPal正在研究YARN,而且试图利用Spark和Storm,它还和明尼苏达大学一起研究“深度学习”。该公司花了相当多的时间为eBay建立推荐引擎,Ambari说:“如果你看到了邀请你去eBay购物的广告,这很有可能就是我们做的。”

原文链接:How PayPal Makes Merchants Smarter through Data Mining(编译/毛梦琪 审校/魏伟)


以“云计算大数据 推动智慧中国”为主题的第六届中国云计算大会将于5月20-23日在北京国家会议中心隆重举办。产业观察、技术培训、主题论坛、行业研讨,内容丰富,干货十足。票价优惠,马上报名
准备迎接第一个量子计算软件公司吧! 搜狗搜索发布新LOGO和移动App 正全面入驻腾讯各条产品线 做好扁平化设计-视觉篇 关于敏捷研发的跨界反思 《近匠》雨血,一个“独立游戏人”的反思 一周消息树: 阿里巴巴赴美IPO的种种及马云内部邮件全文 一周热点:准备迎接第一个量子计算软件公司吧! 【云先锋】多备份:云端数据物流平台为企业提供云备份服务 不容错过!开发者必备的十二大开发资源 为Canvas而生:开源2D HTML5渲染引擎CutJS 第九届中国互联网创业者大会在京举办 腾讯发布“三驾马车”组合拳产品 入手Beats,苹果史上最大手笔收购为哪般? Gmail有生以来最大手术 全新设计曝光 Python开发者最常犯的10个错误 博康智能副总裁张善海:活化运用大数据 实现传统交通系统间的数据融合和共享 刘刚:从互联网到传统行业 Hadoop发展迅猛! OpenFlow多级流表在云计算网络中的应用 分享大数据最佳落地实践 助力企业数据驱动型转型 怎样成为优秀的产品经理? Google发布新版AdMob 将在更多市场推出 触控ARM“结连理”,Cocos2d-x性能提速70% Per Brashers:智能、能耗、安全将是未来数据中心发展的关键! 梁博:OpenStack已在IaaS层面扮演重要角色 云计算三大主流阵营的竞争与合作 如何使用15美元每月的机器实现百万文档检索 外媒路透社:小米本周四发布首款平板电脑,八九不离十 移动支付帝国战:谷歌、苹果、Facebook、亚马逊孰胜孰负? 十大响应式Web设计框架 Giraph助力Facebook打造亿万用户间关系链 跪求出名:让应用在App Store中出人头地的12种方式 束文辉:Intel如何玩转OpenStack 如何使用toString()方法,谢谢 菜鸟系列:一个简单的编译错误,但我不明白!救命啊!!!! 这就是标准?SJ/T11234 SJ/T11235培训纪实 在哪里看我现在linux系统中用的应用软件的版本号?比如wu-ftp sendmail等等! 操作系统版本不同问题 BCB下怎么调用WINDOWS API函数,急 cpu风扇不转的问题…… 游戏开发的高手或者3维建模的高手,是怎样开发人物模型的呢? 今天下午有没有去微软发布会的????马上回答 关于字体问题!请教会者不难者!!!!!!!! 請問怎麼定義小一點得符點數???? ReadFile超时返回什么? 我的机器装了2000server,2000profession 和NT4.0,现在机器空间不够想把nt4.0和2000profession 卸载,请问应该如何进行?? 怎样用PB代码实现在MDI窗口里的 Ctrl + Tab 的功能 ? 如何将静态库加入项目中,有头文件,SETING出也加入,为何说和系统的库重复定义 如何调用非mfc的程序调用mfc下开发的动态连接库, 请问谁有监测图片变化的部分代码?(在线等待) GetCurrentDirectory()?? 用ADo更新图片(bmp,jpg)难道只能将原来的数据记录删除后在添加吗?不能直接更新吗? 请大家帮忙解决一下循环体的问题!!:) 请问oracle 自己带的http server(实际上是apache)如何配置class path 给你100分(OLE) 我在制作一个网络浏览器时遇到一个问题,在线等你的帮助 公司不做软件了,失业了,高兴送分 JNI 中内存管理的问题 ehlib控件的问题,如何在表中的一字段显示一个列表?分可以加,,,在线等 大家帮我 c# 的一大难题? 一定加分! 十万火急~~谁有完整的网站计划书? 能不能给我一份,万分感谢! 高分求教不用ActiveSkin实现金山词霸类窗体和按钮效果。 用delphi编写的dll结果不能调用,谢谢你的回答!!! mscomm控件读写串口的问题 正式加入水园 请教ListView控件的使用。 这里有100分(OLE) 公司不做软件了,失业了,高兴送分 请问,哪有oracle express object 的使用指南下载呀。 急~~~~~~哪里可以找到完整的网站计划书? 告诉我下载地址也可以,非常感谢!!! 急!!!怎样用VBA写一句话,判断word是不是当前活动窗口? CMainFrame::PreCreateWindow(CREATESTRUCT& cs) 的cs.lpszClass内容的不能改变 想了解下深圳的程序元的人工如何??请深圳的朋友介绍下好么?听说一般的都有6K~7K,是不是啊?? 插入表单的问题 SilverStream研讨会及中国CTO李渊明给人的印象 如何打印datawindow,操作如下:对同一个datawindow连续打印,但是每次打印都是不同的数据,espon1600K-III w_mainps.sqlinfo() 这个sqlinfo()可能是什么呢? 安装程序的问题 高分求购: MP3歌词协议 SAMI 小问题 现在163.net 163.com的 smtp服务都需要验证,如何在VB中实现验证才能发出邮件? 女人如何合理利用蟑螂(转) 开发游戏的时候,人物造型是怎么做出来的,3dmax里面吗?就是说人体数据和衣服数据是分开来的? 有十二个鸡蛋,有一个是坏的(重量与其余鸡蛋不同),现要求用天平称三次,称出哪个鸡蛋是坏的! 人们长期生活在_至_分贝噪音环境会得噪音病 熟石灰是 碱石灰是 生石灰是 一定质量的理想气体经等温压缩后,其压强一定变大吗我觉得从理想气体气态方程式证明是对的,可是气体等温压缩,若内能不变,外界对气体做功,所以气体同时放出热量,它的压强还变大吗, 在多少分贝噪声环境下工作的人应该做职业病体检?国家规定或标准是否有明确的要求?85分贝以上企业就要整改,85分贝以下到多少分贝之间必须令工人进行职业病体检? 把压强为1.013×100000的氮气从体积100压缩到20求ΔE Q A 1.等温压缩2.先等压压缩再等体压缩到同样的状态 水的深浅和浮力有没有关系? 重铬酸钾 测化学需氧量,颜色变化 什么是“等温过程”、“等容过程”和“等压过程”? 水的深浅浮力怎样 重铬酸钾与氢氧化钠反应生成什么 等温膨胀是否违反热力学第二定律?从单一热源吸热的等温膨胀,是否违反热力学第二定律?为什么 鸡蛋能透水吗,证明鸡蛋能透水的具体实验怎么做.提示;用盐,醋.把鸡蛋泡在盐水中,盐水的浓度大于鸡蛋里面的浓度,鸡蛋会脱水,鸡蛋体积变小.. 碳酸钠与盐酸 氯化钡与硫酸 氢氧化钠与硝酸 硝酸钾与氯化钠 那个不能反应 用手将一重为5N的物体全部压入水中,物体排开的水重8N,此时物体受到的浮力为_____N,放手后物体将上浮,待物体静止时所受浮力为______N,排开水的体积为________(g=10N/kg) 西瓜籽能种吗大神们帮帮忙 为什么在区分氯化钠和氢氧化钠时可以在两瓶溶液中先滴加硫酸溶液,再滴加碳酸钠溶液, 设计一个实验证明:我们呼出的气体中含有大量水蒸气 求:风雨中,我释放青春正能量 的作文可以说素材,但要具体点,4个是记叙文 我们平时吃的西瓜籽是哪种西瓜里的? 工作时噪音太大,怎么防噪音?我妹妹在棉纺厂上班,细纱车间的躁音那个大呀,没法说了,要在里面待8个小时,长时间会损害人听力的.怎么办呢?怎样降低噪音,保护听力呢?长时间会造成人神经衰 请问写社会正能量的作文写最美人物事迹传递的大爱和无私以及给社会带来的温暖对吗?是否扣住了主题 西瓜含水那么丰富,种西瓜是不是要浇很多水? 每天在噪音环境下工作请问噪音对人体危害及预防措施有那些.如上题,令补充我每天在电机的轰鸣下工作.坐在哪可以感受到机械的震动感.请问我把耳朵堵上那还有多大危害. 生活常识,哪种鸡蛋好? 可以吃多点西瓜吗?求大神帮助十二指肠溃疡病人,可以吃多点西瓜吗? 《中华人民共和国环境噪声污染防治法》,中午有没有禁止噪音的规定? 鸡蛋放时间长了会变坏,是怎么回事 把鸡蛋放入水中是沉入水底的,你有什么办法能让他浮起来?条件:不改变水,不加其他物体,不改变鸡蛋 不改容器 一定质量的锌与100毫升浓硫酸反应后,生成33.6气体标况下,反应后溶液稀释到1升,PH值为1,求反应的锌.假设浓硫酸的还原产物只有SO2,33.6升求锌的物质的量 通过哪些具体行动为社会聚集正能量 鸡蛋放在水中是沉在水底的,用什么办法让它浮起来 铜片和锌片用导线连接后插入稀硫酸中,电解质溶液的PH值如何变化 我在煎鸡蛋时,发现一个鸡蛋发臭了,又一不小心打锅里了,掉其他煎好的鸡蛋上面了.我就一直煎一直煎.还能不能吃? 怎么样可以把一瓶水变成冰水?可以在任何情况下. 浓硫酸和锌反应生成什么?浓硫酸和锌反应化学方程式 鸡蛋会发臭吗如题. 硫酸亚铁铵滴定重铬酸钾为什么要在重铬酸钾中加纯净浓硫酸30ml,为什么还要加90ml的蒸馏水 锌和浓硫酸反应生成什么? 鸡蛋腐烂发臭的原因及其主要化学方程式主要的化学方程式 就是有机硫生成硫化氢的那个化学方程式 电解硫酸钠后,溶液中的氢离子浓度和氢氧根浓度还是十的负十四次方吗? 探究液体的密度为了探究某种液体的密度p2,给你一只粗细均匀的圆柱体平底玻璃管,一些小石块,两个烧杯,一个烧杯装有适量的水,一个装有待测液体,已知水的密度为p水.(1)要测量待测液体 鸡蛋有些发臭是为什么 假如空气中没有灰尘,大自然将多么单调啊! 理解 什么情况下浸在液体里的物体不受浮力? 为什么在铜、锌和稀硫酸组成的原电池的电解过程中,溶液的PH值增大 假如空气中没有灰尘,大自然将多么单调啊仿写仿写 最近要上班了,压力特别大,还不适应自己角色的转变,很消极.怎样才能拥有正能量?真心感觉撑不下去了! 怎样的实际行动弘扬传统美德传递社会正能量 把“假如空气中没有灰尘,大自然是多么单调啊!”改为反问句 作为中学生我们可以通过哪些途径获得更多的正能量 分析弘扬社会正能量对于实现中国梦的意义;请你从不同角度分析怎样才能形成一种合力,最大限度的彰显社会 某样固体样品中,可能含有碳酸钠,硫酸钠,氯化钠,硝酸铜,硝酸钙中的一种或几种.将样品溶于水中得到无色溶液,滴加氯化钡溶液后产生白色沉淀,过滤,向白色沉淀中加入少量的稀硫酸,沉淀全部 怎么样证明人呼出的气体中有水蒸汽? 弘扬社会正能量 搭配合适吗弘扬能否搭配正能量 重铬酸钾检验乙醇要加浓硫酸吗? 对自行车前后轮所受的摩擦力前轮为何有向前运动趋势 如何倡导24字核心价值观,弘扬社会正能量 酸性重铬酸钾中的酸是浓硫酸还是稀硫酸? 生石灰,熟石灰,碱石灰,石灰. 这些分别是什么东西? 都乱了~~~~大理石,石灰石,贝壳主要是不是也是CaCO3石灰乳是Ca(OH)2??
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘