说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Giraph助力Facebook打造亿万用户间关系链

HTML文档下载 WORD文档下载 PDF文档下载
Facebook是全球有名地社交网站,其拥有超过10亿的用户量。为了深度挖掘用户之间的关联性,Facebook使用Giraph实现对不同实体间的万亿个连接进行了分析。

随着Facebook用户数的增加,Facebook希望能够测量基本的统计信息和高效地计算出用户之间的关联性,比如用户位置、兴趣爱好之间的关联性以及他们之间的亲和力、共同好友、查找潜在好友等信息。为了实现这些功能,他们采用一款开源的图论工具——Apache Giraph。该工具最早出自雅虎,后来将其捐赠给 了Apache软件基金会。


Giraph是一个高扩展性的交互图形处理系统,Facebook对Giraph进行了改进和提升,实现对不同实体间的万亿个连接进行了分析。Facebook将Giraph规模化并作为其Open Graph工具的核心。Giraph的整体计算模型被运用在Facebook服务器内并行巨大的网络图计算。

Giraph是如何工作的? 

Giraph是基于批量同步并行模型,由哈佛大学计算机教授Leslie Valiantz在20世纪80年代开发的一类并行计算算法。BSP算法通过 一系列步骤跨多台计算机计算,在每一小步上,每台计算机都执行一点计算,再把结果传递到其它系统里,这些系统再继续执行下 一个步骤。

Giraph计算的输入是由点和直连的边组成的图。例如,点可以表示人,边可以表示朋友请求。每个顶点保存一个值,每个边也保存一个值。输入不仅取决于图的拓扑逻辑,也包括定点和边的初始值。 作为一个例子,考虑这样一个计算,查找从一个预设的初始人到社交图谱中的任何一个人的距离。在这个计算中,边的值是一个浮 点数表示相邻的人之间的距离,顶点V也是一个浮点数,表示从预设的顶点s到v的最短距离的上限值。预设的源顶点的初始值是0, 其它顶点的初始值是无穷大。


来自:Facebook

此外,Giraph引起大家关注的另一原因是基于Hadoop建立的,目前,很多企业都是Hadoop来部署大数据平台,Facebook便是其中之一。

在Facebook使用Giraph之前,对于大规模图形计算,人们曾使用诸如Hive和MapReduce等框架,它们可以实现大规模计算,但对比现在的计算速度,它们要慢50到100倍这样。

发现人与人之间的关联

举一个最简单的例子,Giraph使用手册上例举了一个实现单源最短路径算法,一个计算方法是从所有收到的消息中计算最小的值,如果那个值节点的当前值小,那最小的那个就被接受作为顶点的值,而且值和边的值就会沿着每一个外出的边发送。

从逻辑上来讲,任何节点之间的最短路径一般只有该节点到其邻居节点之间的距离。所以,基于Giraph模型,每个节点开始的第一步都是计算其最短路径,然后通知其邻居,如果其邻居节点找到更短路径,也会通知给开始节点,这样,就很容易找到最短路径。

在本月初,Facebook的一篇博客文章介绍了 Giraph是如何分配Facebook用户数据到特定的数据库服务器。当用户朋友信息被存储在同一个服务器上时,Facebook运行将会更高效,因为对于同样的操作,跨服务查找的次数也会明显减少。

Giraph为每个节点分配一个特定的设置,代表一个服务器,然后告诉其邻居节点所在地。在每个步骤中,它随机决定是否需要移动到另一组,与其邻居移动的数量成正比。 

Facebook在Giraph上取得的成效

作为一个迭代的图形处理库,Giraph具有容错和动态调节的功能。

在可扩展方面,Facebook可以在拥有上万亿连接的真实的社交图谱上运行一个迭代的页面排名,这一社交图谱由各类用户在4分钟之内交互产生,伴随适当的碎片收集和性能调节。除此之外,还可以聚集Facebook每月的活跃用户数据集,在几分钟内即可完成对如此大规模数据和变量的处理。

除图谱搜索外,Facebook还计划将Apache Giraph软件用在其他任务中,例如精准广告和数据排名。Facebook在社交领域的成功离不开其在技术领域的探索与创新,图形技术的应用更是推动了Facebook的发展。

文章翻译自:fastcolabs、gigaom

2014微信开发者大会议程公布 8月1日前购票8折优惠并赠书 四火的唠叨:也谈谈全栈工程师 图形化与集成趋势 协同软件致远发新品V5.1 跨平台开发如何事半功倍 Xamarin推出免费培训 《近匠》上海庆科:海尔智能家居背后的云方案 轻松DIY智能硬件,开源电子原型平台Hippo-ADK 所见即所得!基于Polymer的设计工具Mobile UI Elements 好的产品经理是怎样炼成的? 统一架构、统一运维:UnitedStack发布UOS2.0 把轻应用带进汽车——宝马、百度编程马拉松大赛启动 “钢铁侠”Insteon的逆袭:声控智能家居新时代 游戏云纪元 第二届游戏运营技术论坛即将召开 Bitly:构建月处理60亿点击的分布式系统 重塑微软:Satya Nadella开启整合之路 推送工具个推完成B轮数千万美金融资 娱乐行业数据化 ABD爱梦娱乐发布大数据引擎产品 增强现实:10大AR应用窥探移动未来 LBS的硬件创新:高德LBS智能硬件编程马拉松圆满闭幕 2014优秀微信开发商评选上线 首批旅游汽车电商房产等行业应用出炉(表) 让梦想照进现实——宝马百度编程马拉松闭幕 IXDC大会:移动交互设计精髓——用户体验 想辨析“马航”等事件真伪,有很多技术和工具可以使用 两倍于IBM的基础设施投资,Google大力发展云服务 听云平台发布移动应用性能黑洞报告 微信开发者大会陶瑾:如何玩转微信支付功能的原理和开发 560亿PV+7.3亿用户,Reddit是如何做到的? 打造安全界的希波克拉底誓言文化 极客的春天来了! Mozilla COO宫力:老牌操作系统如何助力新一代智能电视 App提高用户留存率新招:应用性能监测 韩国手游市场规模超万亿 2014中韩手游项目对接会开幕在即 SanDisk发展之路:专注SSD、推新产品线 GDI+的问题 谁有FLASH的注册码,给个,谢谢 怎样用js写一个终止程序,类似asp的response.end 求教:学习MFC文件系统-针对一段代码的3个初学者问题 如何使98一开机就运行屏保!!!急!!!来者有分!帮忙了!!!!! 怪问题 <了解Struts1.1 > 我刚看到的一篇好文章,贴出来,大家共享 dayday up (: 如何驱动8139网卡(笔记本) interbase能与VC结合吗?另外想问有些软件与interbase一起打包安装,如何实现的呢? Lotus——你在哪里? 网络编程中遇到的几个问题(求助) 在java中调用javac.exe 紧急在线等待,求助!!!!! 我是新来的,很多都不懂!也没有朋友,有谁能和我做朋友么? 分手为什么只要一个人说了就算,为什么不能像离婚一样要双方同意,法院判决??? 关于从TImage继承创建自定义控件的问题? JRUN4怎么运行Servlet? 关于远程创建表,删除表的问题?请帮忙。 启动数据库时报 监听程序无法启动专用服务器进程???ORACLE 9.2.0.1.0 如何將指針作為參數傳遞。 请教vb自带的报表编程 在Sql语言中的取整函数是什么? 怎样将添加的记录到所有的现有记录后面? 如何装双系统?(在线等候) CSS一般要学多久才算掌握? 从事共享软件开发的进来谈谈做共享的辛酸好吗? 请教使用notifyicon遇到的问题 ActiveState.Visual.XSLT.for.VS.2003.v1.7.9.2475.WinNT2K无法安装。 如何合并两个dataset win98系统下ISAM问题 如何减小生成的EXE文件大小等? asp.net有没有模板 帮帮忙,呵呵!!!一个小问题!!!!! 用VB的兄弟姐妹们,来整个MSN如何? 关于dllhost占用系统资源的问题! 谁是雍亲王,出来说话!!! 在WSAD5.0里怎么添加类型为MYSQL的数据源 高手们,帮帮我噢(解决立刻给分) 全中国程序员联和起来。 如何在web的FORM1模式下画一条线段 界面贴图问题 为什么我用Server.MapPath(""),返回不了任何东东? 上手指路,高分相送 asp怎样连到SQL Server 2000?给100分,在线等 ASP.NET和SQL 哪位兄弟有用asp.net做的OA完整的例子...大家快来.. 关于dllhost占用系统资源的问题! Kylix是否和Delphi一样有RTF控件可以处理丰富文本? 小弟想考程序员!各位大哥指点一下嘛!有要考的交流一下嘛! 查询条件的问题?? 从事共享软件开发的进来谈谈做共享的辛酸好吗? A(1,a)、B(5,b)是直线y=kx+1与抛物线y=x²-4x+m+8的交点.①求k、m的值②求抛物线的顶点坐标及对称轴 这串星月菩提里的佛头是什么材料的? “专一”的定义并非是他只能一生爱一人,而是每爱一个人的时候他都一心一意!“专一”的定义并非是她只能一生爱一人,而是每爱一个人的时候她都一心一意! 初中三年级二次函数已知:二次函数y=2x的平方-(m+1)x+(m-1). ( 1) 求证:无论m为何值,函数y的图象与x轴 总有交点,并指出m为何值时,只有一个焦点 : 星月菩提配什么佛头 孔的节圆是什么意思 下面的维语什么意思 为什么实施科教兴国战略的关键是人才 谁可以帮我做做物理题啊?1、 质量为0.10kg的物体,以振幅1.0*10-2m做简谐运动,其最大加速度为4.0m/s-2,求:(1) 振动的周期;(2) 通过平衡位置的动能;(3) 总能量;(4) 物体在何处其动能 维语 阳刚子 是什么意思?谢谢 大伙认为中国历史上哪些朝代最重要?排除割据局面. 《我思故我在》的意思~ 维语中的"球子"意思是什么?维语中“球子的”:美球子的、饿球子的、烦球子的、傻球子的算是骂人的话吗? 星月菩提a+货应该是什么颜色的绳子 谁帮我做做物理题1.在直线运动中的物体,若速度为零,则加速度一定为零………【 】2.在直线运动中的物体,若速度变化快,则加速度就大………【 】3.同一物体受到的合外力越大,它的速度 迪丽娜尔在维语里是什么含义? 莫明奇妙 都说我思故我在,到底是什么意思呢? 混凝土设计原理判断题材料强度标准值是材料强度概率分布中具有一定保证率的偏低的材料强度值.对么?why? 自己喜欢的人莫明奇妙的向你发脾气走掉是什么意思?RT,是男生 帮我做做这几道物理题谢谢 判断题————宇宙和谐定律(急)17实际初期,开普勒提出宇宙和谐定律,发现行星饶太阳运行的时间的平方与行星和太阳间的平均距离是成比例的,这样一来,计算行星和太阳之间的距离就变 莫明奇妙是是什么意思 一道物理题,做做看~25.(5分)干电池是实验时经常使用的电源,它具有稳定的电压.实际上干电池本身也具有一定的电阻,只是因为较小,我们忽略了电源本身电阻的影响.如果考虑电阻,可以把干 我想去澳大利亚打黑工我现在拿到了新加坡的EP准证,三个月后我就去新加坡签证澳大利亚了,我的是商务签证,机会大吗,, "一个王千万 9个穷光蛋 统计局一平均 个个都是王百万!"这句话的深层含义? 质量为M的木块放在固定的水平面上,一颗质量为m的子弹以速度V0水平穿透木块后,速度减为V0/2,现使该木块不固定,放在光滑水平面上,同样的子弹还以V0速度射中木块,若要射穿木块,问木块的质 乳酸循环的定义 实像与虚像的区别:麻烦你们清楚的讲讲. 柏拉图是谁啊?谢谢啦! 有在国外打过黑工或者了解黑工情况请回答一下(最好了解澳大利亚的)在国外干黑工跟我以前的工作比起来那个辛苦?我以前上班时间是十二个小时还会长期夜班也是十二个小时不能睡觉. 问一个关于圆的概念当点(a,b)在圆x2+y2=r2上,切线方程为ax+by=r2 为什么啊,请详解 怎么办呢? 乳酸, 我思故我在的意义是什么哦?我不知道,找哥哥姐姐们勒. 果实累累LEI(二声)还是累累LEI(三声) 新西兰的绿卡与澳大利亚的绿卡有何不同?有一种说法,如果拿到新西兰永居绿卡后,只要求五年内在新西兰住够半年,而拿到澳大利亚永居绿卡后,每年要在澳住够一个月,否则绿卡会作废.这是真 “我思故我在的”具体意义是什么 我思故我在是什么意思 生物 ATP只能由ADP合成么,ADP只能由ATP合成么?为什么?生物 ATP只能由ADP合成么,ADP只能由ATP合成么?为什么? 为什么光合作用能合成ATP,它合成的ATP是不是由ADP转化而来的?!?! 语言学本来从哲学中独立了,但“语言学转向”又将其牵入进哲学了,这是好事还是坏事呢? 果实累累的笫一个累读什么音 为什么说实施科教兴国战略,关键是落实科技创新和教育创新 语言学转向的意义仅仅在于使哲学的概念明确吗?那为什么还有那么大影响,说什么标志着传统形而上学的终结? 柳宗元的《小石潭记》中“以其境过清”“以”什么意思? 所有生物均据有独立合成和利用ATP的能力这句话对还是错? 哲学:语言学转向的原因是什么?因为各个哲学家的语言不统一还是因为语言本身存在什么问题? 先天下之忧而忧后天下之乐而乐!出自那篇文章? 科技创新和教育创新的必要性是什么?RT 如何理解哲学的语言学转向 吹牛大王杀死狮子和鳄鱼,不过太残忍,有没有更好的方法既不伤害动物,又使自己脱险,5分钟内答完再加财富 He finds( )hard to finish the work in such a short time.A its B him C it D that 实施科教兴国战略为什么必须加强科技创新和教育创新 为什么语言学在清朝会取得如此高的成就,开始了严格意义上的语言学研究 将二次函数y=2x平方(如图)向右平移1个单位所得的二次函数图像的顶点坐标为点D并与Y轴交于点A(1).求出平移后的二次函数对称轴与点A的坐标(2).设平移后的二次函数的对称轴与函数y=2x平 什么动物在沙漠中畅行无阻 柏拉图是谁 啊? 已知汽车刹车后行驶的距离s和行驶的时间t满足:s=16t-5t^2.求汽车从刹车到完全停止所行驶的距离s. 西班牙打黑工可以拿到绿卡吗 能的话要多久 我一直不相信一生只将爱付诸一人.但一生付诸一切爱过的.也只有一人 分析称受教育程度越高越易于维持婚姻长突尼斯各政党将会议讨论选举新总理 助促招商引资 奥巴马向外国投资者“推销美国脱口秀主持人就“杀光中国人”言论巴基斯坦一亲政府部落长老与6名家人被中国拟规定城镇更新须经项目区内90%签证系统落后致损失57.9亿元 澳旅普京与国际奥委会主席参加索契火车站开法国奥塞美术馆打破艺术禁忌举办“裸男西班牙一煤矿瓦斯泄漏致6人死 直升机浙江环保人:做守护碧水青山蓝天的忠诚德国农场主检查马厩 发现自家马匹驮回瑞士引将进新技术 加强政府成员通信安日自明党提议福岛核电站追加除污费应由英媒称中国应对气候变化态度积极 民众巴基斯坦一亲政府部落长老与6名家人被统计显示韩国“女大男小”婚姻比率逐渐分析称受教育程度越高越易于维持婚姻长促招商引资 奥巴马向外国投资者“推销泰国代孕黑市剥削孕母 酬劳低至5.8美国加油站员工遭枪击 子弹打中手机躲人之所以需要伴侣,是因为人与人需要联看了这些退稿信,你可以感到安慰了中资流入韩国债券市场 持有占比年内有男子欲跳楼被劝6小时无效 好友用大闸中国各省骗子大全怀疑妻子与女婿有染 印度男子将妻子斩13人被判刑!非法集资3000万搞“2014全球权势人物榜:中美高层的新地方政府资产负债表已试编4年 基本准女人秋季穿这些毛衣配裙子配裤子,美哭有钱就是任性:能卖4万港币的iPho厦门一男子因女友提分手啃掉她的鼻尖,俄最大赌场在远东开业 面向亚洲客人.全国各地公务员都拿多少工资?天威喊话债权人:我又没违规 为什么要周末重大利好袭来,下周还会暴涨300 五种洗头方式“超级毁健康”中富债宣告违约:“向全体持有人致以最香奈儿2016春夏高级成衣系列发布会签证新规,中国人去美国做到说走就走了科普!内地居民怎么去香港看病
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘