说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Giraph助力Facebook打造亿万用户间关系链

HTML文档下载 WORD文档下载 PDF文档下载
Facebook是全球有名地社交网站,其拥有超过10亿的用户量。为了深度挖掘用户之间的关联性,Facebook使用Giraph实现对不同实体间的万亿个连接进行了分析。

随着Facebook用户数的增加,Facebook希望能够测量基本的统计信息和高效地计算出用户之间的关联性,比如用户位置、兴趣爱好之间的关联性以及他们之间的亲和力、共同好友、查找潜在好友等信息。为了实现这些功能,他们采用一款开源的图论工具——Apache Giraph。该工具最早出自雅虎,后来将其捐赠给 了Apache软件基金会。


Giraph是一个高扩展性的交互图形处理系统,Facebook对Giraph进行了改进和提升,实现对不同实体间的万亿个连接进行了分析。Facebook将Giraph规模化并作为其Open Graph工具的核心。Giraph的整体计算模型被运用在Facebook服务器内并行巨大的网络图计算。

Giraph是如何工作的? 

Giraph是基于批量同步并行模型,由哈佛大学计算机教授Leslie Valiantz在20世纪80年代开发的一类并行计算算法。BSP算法通过 一系列步骤跨多台计算机计算,在每一小步上,每台计算机都执行一点计算,再把结果传递到其它系统里,这些系统再继续执行下 一个步骤。

Giraph计算的输入是由点和直连的边组成的图。例如,点可以表示人,边可以表示朋友请求。每个顶点保存一个值,每个边也保存一个值。输入不仅取决于图的拓扑逻辑,也包括定点和边的初始值。 作为一个例子,考虑这样一个计算,查找从一个预设的初始人到社交图谱中的任何一个人的距离。在这个计算中,边的值是一个浮 点数表示相邻的人之间的距离,顶点V也是一个浮点数,表示从预设的顶点s到v的最短距离的上限值。预设的源顶点的初始值是0, 其它顶点的初始值是无穷大。


来自:Facebook

此外,Giraph引起大家关注的另一原因是基于Hadoop建立的,目前,很多企业都是Hadoop来部署大数据平台,Facebook便是其中之一。

在Facebook使用Giraph之前,对于大规模图形计算,人们曾使用诸如Hive和MapReduce等框架,它们可以实现大规模计算,但对比现在的计算速度,它们要慢50到100倍这样。

发现人与人之间的关联

举一个最简单的例子,Giraph使用手册上例举了一个实现单源最短路径算法,一个计算方法是从所有收到的消息中计算最小的值,如果那个值节点的当前值小,那最小的那个就被接受作为顶点的值,而且值和边的值就会沿着每一个外出的边发送。

从逻辑上来讲,任何节点之间的最短路径一般只有该节点到其邻居节点之间的距离。所以,基于Giraph模型,每个节点开始的第一步都是计算其最短路径,然后通知其邻居,如果其邻居节点找到更短路径,也会通知给开始节点,这样,就很容易找到最短路径。

在本月初,Facebook的一篇博客文章介绍了 Giraph是如何分配Facebook用户数据到特定的数据库服务器。当用户朋友信息被存储在同一个服务器上时,Facebook运行将会更高效,因为对于同样的操作,跨服务查找的次数也会明显减少。

Giraph为每个节点分配一个特定的设置,代表一个服务器,然后告诉其邻居节点所在地。在每个步骤中,它随机决定是否需要移动到另一组,与其邻居移动的数量成正比。 

Facebook在Giraph上取得的成效

作为一个迭代的图形处理库,Giraph具有容错和动态调节的功能。

在可扩展方面,Facebook可以在拥有上万亿连接的真实的社交图谱上运行一个迭代的页面排名,这一社交图谱由各类用户在4分钟之内交互产生,伴随适当的碎片收集和性能调节。除此之外,还可以聚集Facebook每月的活跃用户数据集,在几分钟内即可完成对如此大规模数据和变量的处理。

除图谱搜索外,Facebook还计划将Apache Giraph软件用在其他任务中,例如精准广告和数据排名。Facebook在社交领域的成功离不开其在技术领域的探索与创新,图形技术的应用更是推动了Facebook的发展。

文章翻译自:fastcolabs、gigaom

VB如何将文本文件转换为ACCESS数据库 VB如何將 Excel 的文件导入 Access文件? VB如何判断数据中是否存在某一表或查询 VB如何删除FoxPro数据库的数据? VB如何设置对VB数据库连接的动态路径 VB如何使用 ADO 來压缩或修复 Microsoft Access 文件 VB如何修改Foxpro数据库(不是用VB实现的,不过也可以看看) VB如何在 SQL 语句中使用日期? 返回 VB如何在表中保存单引号? VB如何抓出 Access 的 Table 欄位中的【敘述】部份呢? 实现Access数据库的Web查询-VB资料 使用Visual Basic访问数据库几个注意的问题 数据库查询-VB资料 数据约束控件和 RecordSet-VB资料 锁住数据库中的表 -VB资料 谈谈VB的数据库编程方式 为VB5辩解: VB处理数据库时求数据表记录总数的最佳方法 为什么安装后的数据库应用总是路径不对或找不到? 返回 -VB资料 无论如何,就是只能输入数字-VB资料 VB用 DAO 或 ADO 正确访问 Access 2000 VB用CELL组件显示Access数据库的图片对象 VB用DAO打开Excel文件 VB用DATA控件绑定报表控件打印报表 VB用EXCEL来打印报表并生成折线图 VB用EXCEL组件简化VB编程的一种方法 VB用MDB文件做密码库 VB用ODBC API访问ODBC数据库 用VB 实现类电子表格的数据录入 用VB5直接控制Excel 97 用VBA编制Access的查询程序 用VB和RDO访问SQL Server 快请大家帮忙,高分在先等待 请给提供一个大的免费邮箱!高分 有什么项目作? 请教:OnSize()中调用MoveWindow()出错、?? 想问一个问题 比我穷的人来拿分 唉~~~女朋友病了......送分求祝福 小问题: 程序运行后, 运行窗口在执行完程序后会自动关闭, 如何不让它自动关闭? 中太数据 VS Sun公司?该选哪个? 为何获取不了url中的Id值? orale 经典书籍征集!!! ASP , FTP 问题~~~~~~~~100分,不够可以加分,高手请进 PHP怎么设置SOCKET超时参数 大家加强点交流好吗?多沟通一点 初学者,串行化问题,谢谢帮忙 今天定下了我的人生目标 谁买了《游戏的设计与开发》这本书? redhat8.0+weblogic7.0(sp1) JSP配置问题 一个简单的问题 这就是我们的smoke小姐(恩不对不能确定性别)的“淑女”作风。。。嘿嘿 学习J2EE,谁能提供一套学习方案及相关书籍和资源 ASP高手来看看啊!!十万火急啊!!!!!!! IPCP数据疑问 Visual Basic宣告死亡了吗? 谁能帮小弟,解释ShellExecute参数的意思?? 怎样传送若干条信息?期待ing... 浮点数运算 内核编译后无法启动!!!!!急急急 我的数据表怎么会经常丢?? 谁能解决这个问题我叫他老大 传统C与ANSI C有何区别 新手提问!!! 组合框的问题 请推荐一些COM入门的书籍。 都来凑热闹来吧!谢! 50分求,有哪位做过ISDN(i4l),进来留个名字,急事!!! 局域网问题,不知简单或复杂,解决了100分相送! 有没有可以动态改变控件与控件之间宽度的控件 仙劍3 破落解文件下載,快下。快刪了。 保存bmp文件的时候,如何让保存对话框默认为.bmp?? 做程序员后最经常给自己找的借口、、、 如何向注册表写入REG_DWORD类型的值,谢谢指点! 怎样链接数据库?再就是运用b/s结构完美结合 我實在不知道怎麼改了,請各位大蝦幫幫忙! interbase数据库返回的错误信息的代码是什么?具体的含义是什么? <script language=javascript src="hp/count/counter.asp?referer="+escape(document.referrer)></script>有何不对? 工具条的运动问题 在等 各位前辈来指点小弟一次吧,小弟明天面试jsp程序员 Visual Basic宣告死亡了吗? JS 菜单如何才能位于 select 表单之上? ★★★★★给个意见★★★★★ 语文改病句第二问 顺序是怎样排的? 消瘦的反义词是什么? 瘦弱的反义词 一首英文歌从头到尾都是“啊”是个女的唱的有点像第五元素的THE DIVA DANCE,只是和它有些相似而已求求各位高手看看能不能帮我找出这首歌 初三英语第六题,study ,studies,studied,studying选哪个跪求解析 I once such liked you,but you did not know me actually to your like!什麼意思啊, their old homes are in China翻译中文 请问“青少年”和“青年”的意思是一样吗?青少年规定的年龄段是多少? Ms.Liu gave the class some names of students in Australia and the U.S是什么 解放军十四军三十九师一一七团还存在吗?我想请问解放军十四军三十九师一一七团是否还存在?现在的驻地在哪里?这是我爷爷的老部队,曾经我父亲和阿姨多方打探都渺无音讯, 伦敦中国城抗议“歧视性”搜捕黑工举行俄车臣地区今年击毙27名武装分子 包美国财政僵局刚解 共和党就医改法案再分析:美国就业数据疲弱 美联储料谨慎德社民党同意正式谈判 协议达成或需4各省区市党委常委班子均已开展批评和自中国铁建回应“天价招待费”:今年下降日本利用钓鱼岛为开火埋伏笔 无视和平统计局:经济稳中有升稳中向好 不确定日本政府将制作领土问题宣传片以谋求国人民币对美元中间价报6.1330 月函数公寓:让北漂把“家”安在都市中泰高铁项目谈妥,南车北车成宠儿?揭秘!一个无线电黑客的玩具大叔的诱惑!扒扒跟吴秀波拍过吻戏的女美国影业三分天下,2015贺岁档花落获得了第87届奥斯卡金像奖最佳动画短20万装修120平美式混搭3居室,老非银同业存款要缴准了:余额宝收益还得财务管理五种境界孙红雷为《好先生》学厨艺 颜王公开叫【人事】李宇航、宗书声分别辞任金科股
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘