说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Giraph助力Facebook打造亿万用户间关系链

HTML文档下载 WORD文档下载 PDF文档下载
Facebook是全球有名地社交网站,其拥有超过10亿的用户量。为了深度挖掘用户之间的关联性,Facebook使用Giraph实现对不同实体间的万亿个连接进行了分析。

随着Facebook用户数的增加,Facebook希望能够测量基本的统计信息和高效地计算出用户之间的关联性,比如用户位置、兴趣爱好之间的关联性以及他们之间的亲和力、共同好友、查找潜在好友等信息。为了实现这些功能,他们采用一款开源的图论工具——Apache Giraph。该工具最早出自雅虎,后来将其捐赠给 了Apache软件基金会。


Giraph是一个高扩展性的交互图形处理系统,Facebook对Giraph进行了改进和提升,实现对不同实体间的万亿个连接进行了分析。Facebook将Giraph规模化并作为其Open Graph工具的核心。Giraph的整体计算模型被运用在Facebook服务器内并行巨大的网络图计算。

Giraph是如何工作的? 

Giraph是基于批量同步并行模型,由哈佛大学计算机教授Leslie Valiantz在20世纪80年代开发的一类并行计算算法。BSP算法通过 一系列步骤跨多台计算机计算,在每一小步上,每台计算机都执行一点计算,再把结果传递到其它系统里,这些系统再继续执行下 一个步骤。

Giraph计算的输入是由点和直连的边组成的图。例如,点可以表示人,边可以表示朋友请求。每个顶点保存一个值,每个边也保存一个值。输入不仅取决于图的拓扑逻辑,也包括定点和边的初始值。 作为一个例子,考虑这样一个计算,查找从一个预设的初始人到社交图谱中的任何一个人的距离。在这个计算中,边的值是一个浮 点数表示相邻的人之间的距离,顶点V也是一个浮点数,表示从预设的顶点s到v的最短距离的上限值。预设的源顶点的初始值是0, 其它顶点的初始值是无穷大。


来自:Facebook

此外,Giraph引起大家关注的另一原因是基于Hadoop建立的,目前,很多企业都是Hadoop来部署大数据平台,Facebook便是其中之一。

在Facebook使用Giraph之前,对于大规模图形计算,人们曾使用诸如Hive和MapReduce等框架,它们可以实现大规模计算,但对比现在的计算速度,它们要慢50到100倍这样。

发现人与人之间的关联

举一个最简单的例子,Giraph使用手册上例举了一个实现单源最短路径算法,一个计算方法是从所有收到的消息中计算最小的值,如果那个值节点的当前值小,那最小的那个就被接受作为顶点的值,而且值和边的值就会沿着每一个外出的边发送。

从逻辑上来讲,任何节点之间的最短路径一般只有该节点到其邻居节点之间的距离。所以,基于Giraph模型,每个节点开始的第一步都是计算其最短路径,然后通知其邻居,如果其邻居节点找到更短路径,也会通知给开始节点,这样,就很容易找到最短路径。

在本月初,Facebook的一篇博客文章介绍了 Giraph是如何分配Facebook用户数据到特定的数据库服务器。当用户朋友信息被存储在同一个服务器上时,Facebook运行将会更高效,因为对于同样的操作,跨服务查找的次数也会明显减少。

Giraph为每个节点分配一个特定的设置,代表一个服务器,然后告诉其邻居节点所在地。在每个步骤中,它随机决定是否需要移动到另一组,与其邻居移动的数量成正比。 

Facebook在Giraph上取得的成效

作为一个迭代的图形处理库,Giraph具有容错和动态调节的功能。

在可扩展方面,Facebook可以在拥有上万亿连接的真实的社交图谱上运行一个迭代的页面排名,这一社交图谱由各类用户在4分钟之内交互产生,伴随适当的碎片收集和性能调节。除此之外,还可以聚集Facebook每月的活跃用户数据集,在几分钟内即可完成对如此大规模数据和变量的处理。

除图谱搜索外,Facebook还计划将Apache Giraph软件用在其他任务中,例如精准广告和数据排名。Facebook在社交领域的成功离不开其在技术领域的探索与创新,图形技术的应用更是推动了Facebook的发展。

文章翻译自:fastcolabs、gigaom

从贝佐斯的14句言论看商业成功之道 5大宠物可穿戴式设备 Google CIO Ben Fried谈内部工具文化 【开源专访】Fourinone创始人彭渊:打造多合一的分布式并行计算框架 API优先架构或者胖瘦服务器之争 Windows Phone 8迎来Update3更新:支持更大屏幕 更多磁贴 AMD院士站台 异构计算与OpenCL编程师资培训首站清华开讲 Twitter、Square开创者Jack Dorsey的奇趣人生 利用CSS、JavaScript及Ajax实现图片预加载的三大方法 经典电影里的数学 15亿美元!软银联合GungHo收购手游巨头Supercell Oracle“炮轰”开源:称其永远无法在军事领域取得一席之地 零客户端:下一代计算分布模型 苹果聘奢侈品公司巴宝莉CEO Angela Ahrendts为零售主管 看看你会几个?9大最火的移动开发技能 为了进一步拴住用户:传亚马逊与HTC合作开发智能手机 三年?又三年!今年MDCC2013大不相同! 杨远骋:聚美优品与百度云推送的故事 糗事百科王坚:百度云推送让我们省心 10个最热JavaScript开源框架的社区活跃度对比 2013福布斯中国富豪榜:李彦宏第三、马化腾第五、马云第八 Storm又获东风,Hortonworks计划将其整合到Hadoop企业版 IBM CEO:预测高新技术 五个我最喜欢的方式 我伙呆,硅谷高级工程师年薪16.5万美金起 羡煞旁人的Supercell:Clash of Clans卫冕营收榜冠军 谷歌第三财季利润增36.5% 但摩托罗拉业务继续亏损2.48亿 针对应用开发者的几点建议:注意特征蔓延、加大用户评审…… Ubuntu中文衍生版UbuntuKylin 13.10正式发布 Web设计师和Web开发者之间的区别是什么? 在政府退出后,Google的量子计算机项目面临危机 SQL on Hadoop的最新进展及7项相关技术分享 帮帮忙 请教如何删除控件 圈点“英雄”,针砭实弊 谁能帮我解决IMail不能外发邮件的毛病? vb请教 如何设置remote_login_passwordfile为exclusive TScrollBox在隐藏滚动条情况下,如何用按钮控制其上下滚动?(在线) 高分请教:用VC怎样编写群发mail的程序? jsp 连 oracle 问题? 请教:ASA7.0安装后启动Sybase Central 4.0时出错".....内存错,该内存不能为read" 请教一个关于Javascript的变量能否在Asp中使用? 高分求解(有类似源代码都行)-处理桌面一个台球运动轨迹问题,方向,球速碰到桌边后速度减慢!进去就结束。 如何在SOAP中发布EJB? 请教各位高手:怎样在状态栏中加进度条? 散分! 关于progress control的小问题 如何传递文件名 求深入浅出MFC2附书源码。 大家帮个忙!! 明天过生日,散分! 使用内存查看 [分享]你的精神年龄是多少?进来测试一下! 以后的路给点意见 刚做的游戏,大家来看看 请问如何在一个窗体中引用另外一个窗体的对象? 挨T的都进来灌水聊天吧 当sql server某张表有变化时,VC+ADO写的程序能否去读数据库更新Listctrl?好像是触发器,如何实现? 刚做的游戏,请多多指点 win2000中,播放avi文件的问题 一些小问题! 为控件的ToolTipText属性赋值的时候怎么样能够换行? 怎样打开程序,看到源代码? TScrollBox在隐藏滚动条情况下,如何用按钮控制其上下滚动?(在线) 为什么就生生的得多出了一个空行??? 为什么就生生的得多出了一个空行??? 明年四月份考三级网络技术,大家联系一下:42083158 JSP与Accesss数据库中的一个问题?请各位帮忙解决! 哪儿有嵌入式开发的入门网站? 哪儿有嵌入式开发的入门网站? 请大家介绍一下比较好的暴力破解软件 动态数组的访问(天寒地冻期待中........)? 有关dos种文件改名的问题!!! ADotable 中怎么清空所有记录啊, 一个简单的问题!60分求答! 有谁知道Win32 EXE文件格式? INSTALLSHIELD EXPRESS FOR DELPHI5 做的安装程序安装完毕后,为甚么在”添加删除程序”里看不到程序? 怎样让左键弹出菜单跟随鼠标? 很不错的帖子,看了很感动... 请问APIENTRY是十么? 迟到的祝福:祝大家新年快乐! tomcat如何在新建的应用服务中建立连接池 吴建豪七夕宣布和富家女结婚 婚前已禁老外镜头下的那些中国式晾衣服Showgirl陈潇因像林志玲爆红 林志颖七夕晒搞怪婚纱照 遭老婆陈若仪24岁德国蜂腰女孩腰围仅40.6cm24岁艳星陈静高清性感艺术照(组图)24岁艳星陈静高清性感艺术照(组图)泷泽萝拉微电影火辣预告片 与男主角激《狄仁杰2》七夕浪漫照 金泛恋上An导师战张惠妹最后满员:跟那姐抢人不留大连人爱好声音全国第二 市场份额仅次韩国6岁小萝莉美照走红 笑容迷人被赞学员刘彩星:《橄榄树》是结束青春的流今夏再现“选秀热” 好声音距好音乐有范冰冰熊抱李治廷威武霸气 戴戒指暗示“好声音”学员小胖林育群:梦想比体重《中国好声音》第五期收视成功破5 蝉张梓琳大婚 女神无PS美照比林志玲美世界小姐张梓琳泰国大婚现场照曝光浪漫七夕节 最霸气的告白方式盘点好声音导师分班结束 大牌"地陷“三连发”拷问“五步走”明天活鸡上市生活不是拍电影,我们不能太入戏影响楼市的是长期积累因素而非短期恐慌小区物管逼涨停车费 物价局你为谁说话石湾陶塑《收租院》脱尘而出“波罗诞”千年庙会玩“快闪秀”佛山写字楼供应量将现井喷当家具也倾斜 就有了风一样的不羁“一窗式”服务微公益让小猪患上“舞蹈症”花了3年一款多用的运动装备更有爱白云区新增4个街道办保利置业香港拿地“医疗条例”立法启动 “伤医入刑”不人大代表炮轰东山街托管班“募师支教”行动第16次出发银行理财产品保持坚挺金银演绎“二月红”能否走出“三月魔咒宝安整治学校周边“六乱”
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘