说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Giraph助力Facebook打造亿万用户间关系链

HTML文档下载 WORD文档下载 PDF文档下载
Facebook是全球有名地社交网站,其拥有超过10亿的用户量。为了深度挖掘用户之间的关联性,Facebook使用Giraph实现对不同实体间的万亿个连接进行了分析。

随着Facebook用户数的增加,Facebook希望能够测量基本的统计信息和高效地计算出用户之间的关联性,比如用户位置、兴趣爱好之间的关联性以及他们之间的亲和力、共同好友、查找潜在好友等信息。为了实现这些功能,他们采用一款开源的图论工具——Apache Giraph。该工具最早出自雅虎,后来将其捐赠给 了Apache软件基金会。


Giraph是一个高扩展性的交互图形处理系统,Facebook对Giraph进行了改进和提升,实现对不同实体间的万亿个连接进行了分析。Facebook将Giraph规模化并作为其Open Graph工具的核心。Giraph的整体计算模型被运用在Facebook服务器内并行巨大的网络图计算。

Giraph是如何工作的? 

Giraph是基于批量同步并行模型,由哈佛大学计算机教授Leslie Valiantz在20世纪80年代开发的一类并行计算算法。BSP算法通过 一系列步骤跨多台计算机计算,在每一小步上,每台计算机都执行一点计算,再把结果传递到其它系统里,这些系统再继续执行下 一个步骤。

Giraph计算的输入是由点和直连的边组成的图。例如,点可以表示人,边可以表示朋友请求。每个顶点保存一个值,每个边也保存一个值。输入不仅取决于图的拓扑逻辑,也包括定点和边的初始值。 作为一个例子,考虑这样一个计算,查找从一个预设的初始人到社交图谱中的任何一个人的距离。在这个计算中,边的值是一个浮 点数表示相邻的人之间的距离,顶点V也是一个浮点数,表示从预设的顶点s到v的最短距离的上限值。预设的源顶点的初始值是0, 其它顶点的初始值是无穷大。


来自:Facebook

此外,Giraph引起大家关注的另一原因是基于Hadoop建立的,目前,很多企业都是Hadoop来部署大数据平台,Facebook便是其中之一。

在Facebook使用Giraph之前,对于大规模图形计算,人们曾使用诸如Hive和MapReduce等框架,它们可以实现大规模计算,但对比现在的计算速度,它们要慢50到100倍这样。

发现人与人之间的关联

举一个最简单的例子,Giraph使用手册上例举了一个实现单源最短路径算法,一个计算方法是从所有收到的消息中计算最小的值,如果那个值节点的当前值小,那最小的那个就被接受作为顶点的值,而且值和边的值就会沿着每一个外出的边发送。

从逻辑上来讲,任何节点之间的最短路径一般只有该节点到其邻居节点之间的距离。所以,基于Giraph模型,每个节点开始的第一步都是计算其最短路径,然后通知其邻居,如果其邻居节点找到更短路径,也会通知给开始节点,这样,就很容易找到最短路径。

在本月初,Facebook的一篇博客文章介绍了 Giraph是如何分配Facebook用户数据到特定的数据库服务器。当用户朋友信息被存储在同一个服务器上时,Facebook运行将会更高效,因为对于同样的操作,跨服务查找的次数也会明显减少。

Giraph为每个节点分配一个特定的设置,代表一个服务器,然后告诉其邻居节点所在地。在每个步骤中,它随机决定是否需要移动到另一组,与其邻居移动的数量成正比。 

Facebook在Giraph上取得的成效

作为一个迭代的图形处理库,Giraph具有容错和动态调节的功能。

在可扩展方面,Facebook可以在拥有上万亿连接的真实的社交图谱上运行一个迭代的页面排名,这一社交图谱由各类用户在4分钟之内交互产生,伴随适当的碎片收集和性能调节。除此之外,还可以聚集Facebook每月的活跃用户数据集,在几分钟内即可完成对如此大规模数据和变量的处理。

除图谱搜索外,Facebook还计划将Apache Giraph软件用在其他任务中,例如精准广告和数据排名。Facebook在社交领域的成功离不开其在技术领域的探索与创新,图形技术的应用更是推动了Facebook的发展。

文章翻译自:fastcolabs、gigaom

TIOBE 2012年12月编程语言排行榜:Objective-C冲刺卫冕年度语言 11月份浏览器市场份额 IE10已占据0.51% 亚洲高科技公司正在分享惠普、戴尔和IBM的云“午餐” Groupon创业启示:进军海外,请三思 天才之为责任:Unity CEO谈论Unity 4.0游戏引擎 中文版Evernote百宝箱上线:开发者海外推广新渠道 360产品被爆收集用户隐私 桌面安全路在何方 销售额达一万亿元 阿里巴巴成世界最大电商 共享软件海外营销策略与实战分析(武汉站)成功落幕 你未必知道的CSS故事:揭开leading的面纱 2013年 影响Web发展的5类API 《Warcraft是怎样炼成的》:多人对战、战争迷雾以及AI HBTC精彩回顾 Hadoop专家分享大数据技术工具与最佳实践 苹果iTV规格泄露:iOS应用开发的新蓝海 Facebook觊觎微信鼻祖WhatsApp,但谈不上收购 首款社交API应用 Facebook Messenger for Firefox正式上线! 共享软件海外营销策略与实战分析(沈阳站)成功落幕 移动之伤:为什么山寨游戏比原创更火? IBM在京发布PureData 主打数据交易处理、操作分析 Intel发布Hadoop免费版 全力拓展生态圈 突出图片搜索:微软向测试人员开放Socl社交搜索 豌豆荚创始人:和巨头竞争,我们拼产品和技术 “互联网女皇”报告解读:智能电视大趋势 苹果扩大其北卡罗莱纳州燃料电池发电场规模 Oracle回收站使用全攻略 微软这次很诚实:IE真的糟透了 Facebook进军短信业务,挑战微信鼻祖WhatsApp 从菜鸟到专家的五步编程语言学习法 亚马逊企业文化:从书贩到云服务巨头的催化剂 明年Google I/O大会日程敲定 或发Android“酸橙派”? 绝境求生,WebOS寄望Android C++高手们,谁能讲一下extern的用法? 请高手们谈谈,如何在客户本地硬盘里获取其敏感信息???? MSHFlexGrid的分层记录集问题 关于NMHTTP的问题,急急急!!! 请问哪里有支持 ASP 的服务器下载?(空) 为什么我的硬盘找不到了呢? 如何在sqlserver7中实现ID字段自动递增?(SOS) 为什么98下可以到2000下不行了.关于openfilename???????????????????????????? (困惑请教 )关于内存释放的一些问题! 数据库操作出错该如何避免???? 我是第一次来到CSDN,大家多关照! YYSUN关于大富翁论坛的解释(从水母看到的) vb 访问SYBASE的问题 支持北京伸奥的朋友,进来签个名吧! 怎样截获一个应用程序的消息? 数据结构得答案 大连的软件人员工作环境怎么样? 不好意思,小弟又来麻烦大家了! 上次的文章到那儿去了? enmity,进来,我给你结帐 enmity,进来,我给你结帐!! 各位侠客帮忙啊,重新装系统出了问题! 将10进制转换成16进制的函数是什么啊? VC高手,怎样以编程的方法实现磁带机的Backup 和 Restore. enmity,进来,我给你结帐.共200分 支援白菜300分,支持白菜个人网站建设:))) CMM 的缩写是什么? 想和大家讨论一下怎样系统的编制软件 如何实现和Word、CorelDRAW同样效果缩放位图 请问各位大哥大爷大妈大。。。。。。。。。。。。。哪里有支持 ASP 的服务器软件下载 我该如何控制IP地址??高手请进。。。 弱弱地问:关于SQL server中的中括号。 各位侠客帮忙啊,重新装系统出了问题!! 一点点小问题????? 请问在 WINDOWS98 下面,除了IIS,还有没有支持 PHP 的服务器软件呢? 在ADO中如何获取表名 关于ASN树的问题(snmp中的MIB的拓扑树) 你是高手你进来!!!!! 各位的顶级域名都在哪申请?价格/速度如何?大家都来说说! DirectX8的MultiFileReader过滤器怎么找不到? 关于用VB显示ado数据库中的图像字段问题 大家来谈谈Msdn如何有效利用 请各位帮忙查看我这段程序错在哪里 , 我是照书上做的 , 可就是无法保存. SQL plus 为何无法登录?? 谁要下载msdn? 紧急求救!寻找工作! 最新新消息~~~~~~~台灣地區中午地震最大震度花蓮市5級 有没有大连的公司要俺? 请教大家!!!java如何实现多重继承?接口该如何使用?份数可以再加,只要我明白了 怎样以编程的方法实现磁带机的Backup. 愿者请进,请各位留下自己的QQ或E-mail,以后大家可以多多交流!!! 谷歌地球出现这个是什么意思啊为什么我持续放大那个叉就会没了而且还可以看到地下的东西? 各位帮帮忙 可不可以告诉我在那里可以看到谷歌地球啊? 谢谢 到底月球上有没有外星人 有谁知道怎么用? 谷歌地球飞行模拟器怎么用 月亮上有没有外星人呢? 谷歌地球上比例尺寸是什么意思 月球上发现5亿年前的飞船, 月球里真有外星人吗?据科学家发现好象有 谷歌地球的这个图是什么意思 在月球上已经坠毁1亿年的巨型飞船,各国争相登月就是为了研究它 有这回事吗? 月球上有外星人吗? 谷歌地球是什么意思啊? 美国宇航员在月球发现15亿年前的飞船是真还是假? 月球有外星人吗? Google的三维卫星地图软件“谷歌地球”(GoogleEarth)能成虚拟三维地图.怎么操作?到哪下载插件啊? 在谷歌月球上那个月球飞船残骸的坐标是多少? 才下了谷歌地球,有月球火星的那海洋怎么没有呢?看到错误的标记点我如何提示出这个错误呢? 谷歌地图好还是谷歌地球好? 在谷歌月球上那个月球飞船残骸的坐标是多少? 如何用鼠标操作谷歌地球的飞行模拟器? GOOGLE EARTH谷歌地球储存所有地图文件的服务器容量有多大?如题.GOOGLE EARTH的地图那么详细,要保存下来一个地球,需要多大容量的硬盘? 谷歌上的月球背面的外星飞船坐标是多少?首先强烈谴责这段视频的制造者,连个坐标都不给,它断子绝孙! 谷歌地球飞行模式进不去,进去总提示错误 7月22日日全食时间 要详细的全国各个地点的时间 美国的阿波罗20号在月球上发现飞船和外星人,这个有可信度吗?是不是太荒唐了.我本人不相信这个事.从视频上看我认为也不应该是真的.但我希望他是真实的,大家都谈谈这个话题从目前人类 谷歌地球飞行模拟器刚飞起来就各种几千度的旋转,然后空中一上一下,时速从200-800不等,高度从3000-9000不等,来回转啊转,然后就坠毁了……这东西到底怎么用啊……求解 2009年7月22日日全食时间我们衢州开化看的到日全食吗 美宇航员称在月球发现巨大外星飞船残骸 谷歌地球飞行模拟器出错每次一打开飞行模拟器,就出现这样的对话框,仔细看一下文件路径(划红线的部分)文件夹下边的子文件夹用“/”分隔,划红线的路径为什么用“\”分隔?谷歌地球抽 浙江7月22日日全食具体时间浙江7月22日出现日全食具体时间具体指上午级时或中午几时或下午几时 月球是外星飞船么? 谷歌地球飞行模拟器怎么用操纵杆我的上面没办法打勾,怎么补救 2009年7月22日日全食具体时间1.在日全食带吗?(山西南部)2.具体时间(具体到分)回二楼:临汾市襄汾县 阿波罗11号飞船的宇航员在月球上安装了一个什么? 35*(3/35-2/53)*53简便计算过程 7月22日日全食上海的具体观测时间顺便问一下,什么时候戴墨镜,什么时候可摘掉(答者加10分)回答要有重点好不好,不要给我一大筐东西 阿波罗11号之前还有什么宇宙飞船拍摄到过月球的表面吗? 将0.75,0.25,0.125,0.375,0.625,0.875化成最简分数 一队双星向撞可以产生黑洞吗? 谷歌地球上,火星和月球上面的国旗是什么含义?还有火星上2个小绿人的标记怎样解释? 阿波罗11号真的上过月球吗?月球上的日夜温差很大的,白天几百慑氏度,夜里零下几百度!一般的金属在这种温差下都是要分解的!美国人的太空车的金属能熬住这么大温差?太空人的装备能熬住? 如果,黑洞与另一个黑洞在比较相近的地点上,会发生什么事?黑洞会移动吗? 为什么谷歌地球看到的图像不像是真实的? 美国的阿波罗20号飞船从月球带回外星人的尸体,是不是恶作剧或骗人的? 关于银河系中心的黑洞?我们的银河系中心 据说是一个 超大黑洞.而且 我们的太阳系 围绕银河系中心 旋转,我们知道 黑洞是不断 吞噬 物质的,而且 吞噬的越多 其 体积就越大,体积越大 引力 下载的谷歌地球安装不了出现这个画面 这是为什么? 谷歌地球上有关麦田怪圈或是UFO坠毁或者沉船的座标! 银河系最中间是黑洞吗 谷歌地球可以看立体照片了?最近我在使用该软件观赏美国地区时无论是在城市市区里还是在州际公路上都可以显示立体图像,就仿佛你是站在地面上观赏周围景观,而不是像以前只能从上往下 我用谷歌地球的时候,在非洲好望角上有一个照片(球形的),里面发现了一个酷似UFO的东西, 宇宙中有比银河系大的黑洞有没有可能银河系被比它大的黑洞吞噬了? 谷歌地球中怎么弄立体图形 这个是不是UFO啊!我用谷歌地球6.2看到的,是在美国,大家看下到底是神马? 关于银河系黑洞问题?银河系中心是个黑洞,我们太阳系位于银河系边缘,如果位置在黑洞旁边,我们会怎样呢? 谷歌地球如何才能看清图像 月球上有没有外星人 银河系的中心是黑洞吗? 谷歌地球怎样才能看到3D图原来在右边还有滑标,不知咋搞的没有了,咋弄出来呀? 月亮上有外星人吗?
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn