说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Giraph助力Facebook打造亿万用户间关系链

HTML文档下载 WORD文档下载 PDF文档下载
Facebook是全球有名地社交网站,其拥有超过10亿的用户量。为了深度挖掘用户之间的关联性,Facebook使用Giraph实现对不同实体间的万亿个连接进行了分析。

随着Facebook用户数的增加,Facebook希望能够测量基本的统计信息和高效地计算出用户之间的关联性,比如用户位置、兴趣爱好之间的关联性以及他们之间的亲和力、共同好友、查找潜在好友等信息。为了实现这些功能,他们采用一款开源的图论工具——Apache Giraph。该工具最早出自雅虎,后来将其捐赠给 了Apache软件基金会。


Giraph是一个高扩展性的交互图形处理系统,Facebook对Giraph进行了改进和提升,实现对不同实体间的万亿个连接进行了分析。Facebook将Giraph规模化并作为其Open Graph工具的核心。Giraph的整体计算模型被运用在Facebook服务器内并行巨大的网络图计算。

Giraph是如何工作的? 

Giraph是基于批量同步并行模型,由哈佛大学计算机教授Leslie Valiantz在20世纪80年代开发的一类并行计算算法。BSP算法通过 一系列步骤跨多台计算机计算,在每一小步上,每台计算机都执行一点计算,再把结果传递到其它系统里,这些系统再继续执行下 一个步骤。

Giraph计算的输入是由点和直连的边组成的图。例如,点可以表示人,边可以表示朋友请求。每个顶点保存一个值,每个边也保存一个值。输入不仅取决于图的拓扑逻辑,也包括定点和边的初始值。 作为一个例子,考虑这样一个计算,查找从一个预设的初始人到社交图谱中的任何一个人的距离。在这个计算中,边的值是一个浮 点数表示相邻的人之间的距离,顶点V也是一个浮点数,表示从预设的顶点s到v的最短距离的上限值。预设的源顶点的初始值是0, 其它顶点的初始值是无穷大。


来自:Facebook

此外,Giraph引起大家关注的另一原因是基于Hadoop建立的,目前,很多企业都是Hadoop来部署大数据平台,Facebook便是其中之一。

在Facebook使用Giraph之前,对于大规模图形计算,人们曾使用诸如Hive和MapReduce等框架,它们可以实现大规模计算,但对比现在的计算速度,它们要慢50到100倍这样。

发现人与人之间的关联

举一个最简单的例子,Giraph使用手册上例举了一个实现单源最短路径算法,一个计算方法是从所有收到的消息中计算最小的值,如果那个值节点的当前值小,那最小的那个就被接受作为顶点的值,而且值和边的值就会沿着每一个外出的边发送。

从逻辑上来讲,任何节点之间的最短路径一般只有该节点到其邻居节点之间的距离。所以,基于Giraph模型,每个节点开始的第一步都是计算其最短路径,然后通知其邻居,如果其邻居节点找到更短路径,也会通知给开始节点,这样,就很容易找到最短路径。

在本月初,Facebook的一篇博客文章介绍了 Giraph是如何分配Facebook用户数据到特定的数据库服务器。当用户朋友信息被存储在同一个服务器上时,Facebook运行将会更高效,因为对于同样的操作,跨服务查找的次数也会明显减少。

Giraph为每个节点分配一个特定的设置,代表一个服务器,然后告诉其邻居节点所在地。在每个步骤中,它随机决定是否需要移动到另一组,与其邻居移动的数量成正比。 

Facebook在Giraph上取得的成效

作为一个迭代的图形处理库,Giraph具有容错和动态调节的功能。

在可扩展方面,Facebook可以在拥有上万亿连接的真实的社交图谱上运行一个迭代的页面排名,这一社交图谱由各类用户在4分钟之内交互产生,伴随适当的碎片收集和性能调节。除此之外,还可以聚集Facebook每月的活跃用户数据集,在几分钟内即可完成对如此大规模数据和变量的处理。

除图谱搜索外,Facebook还计划将Apache Giraph软件用在其他任务中,例如精准广告和数据排名。Facebook在社交领域的成功离不开其在技术领域的探索与创新,图形技术的应用更是推动了Facebook的发展。

文章翻译自:fastcolabs、gigaom

利用Hook技术实现键盘监控-Delphi资料 利用浏览窗口 DragDrop 任意文件-Delphi资料 利用未公开函数实现Shell操作监视-Delphi资料 妙用Delphi的标识号 判断Windows类型和版本-Delphi资料 判断一个程序是否dos版本:-Delphi资料 屏蔽系统按键-Delphi资料 屏幕抓字技术揭密(转载)-Delphi资料 启动控制面板-Delphi资料 取得系统所有窗口的方法-Delphi资料 全部窗体可使用鼠标点中移动-Delphi资料 让图像旋转-Delphi资料 热启动控制-Delphi资料 如果隐藏和显示Windows的任务条-Delphi资料 如何把文件删除到回收站中-Delphi资料 如何从任务栏上隐藏应用程序的按纽?-Delphi资料 如何得到Windows 的temp路径-Delphi资料 如何得到WINDOWS的SYSTEM路径-Delphi资料 如何得到上一个激活的组件-Delphi资料 如何得到系统目录-Delphi资料 如何得到执行程序的当前路径-Delphi资料 如何访问一个进程的内存空间-Delphi资料 如何关CD机的门?-Delphi资料 如何关闭外部开启的应用程序-Delphi资料 如何获得系统内存的有关信息?-Delphi资料 如何获取硬盘的ID-Delphi资料 如何检查软驱中的软盘和光驱的光盘是否发生变化。-Delphi资料 如何检查一个驱动器是否就绪?并且不出现错误信息-Delphi资料 如何将Wav文件做到EXE文件里-Delphi资料 如何将你的程序放在Windows启动中-Delphi资料 如何控制Ctrl+Alt+Del键-Delphi资料 宝兰的回信 里程表的制作,大家谈。 偶想编个网络游戏的外挂程序,请网络编程高手近来讨论一下(来者有分) 有兴趣的过来看一看! JSP中如何调用SERVLET? 怎样自动检测OICQ是不是在线,用C/C++A做,我可以自己输入号码(OICQ) 怎样自动检测OICQ是不是在线,用C/C++A做,我可以自己输入号码(OICQ),大家帮忙 请问各位高手改变字段类型和向一个已存在的表添加新字段的SQl怎么写? 请问在XML规范里TR是什么的缩写? 关于COM中“聚合”的问题,那位大侠给小第指点迷津,多谢多谢! 呵呵!! CSDN 茶馆 再次开张!!!!(东北分店)欢迎光临 那有pdf版的经典的英文计算机书下载。 来指教一下http://www.csdn.net/expert/topic/383/383603.shtm 发送Microsoft.XMLHTTP怎样获得验证 ldap的问题,大家都来看那, 【怎样在韩文版的windows中调出输入法?】 :)java参考书指点................. 怎样获得Microsoft.XMLHTTP请求验证??? 关于asp.net的web控件的响应事件问题! DOS程序后台运行问题? 高手请指教->多个Form间怎么互通消息? 菜问题....D3D的 谁知道怎么做oicq,分全部归他。 各位兄台:如何激活一个窗口! 我发送Microsoft.XMLHTTP怎样获得验证??? 高分相送:有没有能察看一个dll文件中包含哪些函数的工具??????? help!!!! 怎样发送Microsoft.XMLHTTP获得验证???????? 请问,ASP中,能使用类似VB中的“On Error GoTo XXXX”这样的语句吗? foxpro怎样倒入sql server? 我现在有foxpro的dbf文件?应该怎样做? 多谢 mediaplayer的问题。 告诉我tostring 函数什么用途我们感到阿!谢谢了一个初学者! 请问VB6如何才能认到access2000的数据库文件? 关于对象序列化问题 怎样让返回值为自定义结构? 怎么在对话框上面话线? 请解释一下跃点数 小问题一个,但是需要高手................. 我想把公司的网站改放到公司,该怎么办? ——如需要还有很多分送 请帮忙,我自己觉得问题很难(特急)!!!!!!!!!!!!!!!!!!!! 明天我哥结婚,我很开心啊!!! 我想把公司的网站改放到公司,该怎么办? ——如需要还有很多分送 关于存储过程和触发器的问题?(高分求助) WIN2000机器上ADSL,另一台linux下如何做ADSL的代理让局域网中机器上网! 为什么新生成一个session对象后,jsp page中的scope=session的bean会不正常? ★★oracle中ora-04031错误 请问:在安装MSSQL2000 时(因为公司的电脑是对等网的原因)我装完后出现以下错误: 我应该去东软吗? 请您帮我诊断一下! 如何共享已打开的设备 冰心对读书有什么体会 阅读短文《瞬间的永恒人性》,1917年圣诞节前几周,欧洲大地上战争的硝烟日趋浓烈.其时正值第一次世界大战,在美国军队的中间,是一条狭窄的无人区.一个年轻的德国士兵在执行任务时被击倒 语文填句子小学课本第一课,访照写句子早晨,从( ),人( ),从( ),走来了许多小学生.看,那个低年级的小同学,(    ),那个(   )的中年级同学(    ),那个(    ) 关于什么的春节的作文题目 阅读短文,飞 入我家的绿毛龟 场景作文怎么写 冰心对读书的最大感受是什么 幸福是什么?牛郎说:“幸福就是男耕女织,勤勤恳恳地过日子.”哈尔威说:“幸福就是( )”霍金说:“幸福就是( )”钱学森说:“幸福就是( )” 场面描写的作文 绿手指 阅读短文1.在法国一个小镇,有位老奶奶,长着“绿手指”.你可千万别奇怪,“绿手指”是当地人对好园丁的称赞. 2.一天,她在报上看到一条消息,园艺所重金悬赏纯白的金盏花.老奶奶想 有关父爱、母爱的文章123快 语文课堂作业本14课,卖火柴的小女孩答案. 绿手指这篇文章的题目好在哪里? 写一篇关于月球的作文,100字 6年级下册人教版语文课堂作业本卖火柴的小女孩小练笔答案 绿手指这篇文章的答案比较下面两个绿手指的不同.1、美国某小镇有一位绿手指.2、但愿你我还能长出新的绿手指. 以”月”为话题,写一篇800字的作文. 作文 中秋节500字没月亮 绿手指阅读答案1.在法国一个小镇,有位老奶奶,长着“绿手指”.你可千万别奇怪,“绿手指”是当地人对好园丁的称赞. 2.一天,她在报上看到一条消息,园艺所重金悬赏纯白的金盏花.老奶奶想 60~64 没有月亮的中秋节作文300字,快,不要乱说!急记急亟亟记鸡鸡鸡鸡鸡鸡鸡. 关于写父爱和母爱作文的结尾怎么写? 六下语文课堂作业本中总复习的第六题6月24日8点之前 中秋节的作文600 字.. 要没有月亮 求作文 题材要写父爱母爱的叙事要明确 清晰最好与初三生活结合起来 六下语文课堂作业本中总复习的所有题目我的书不见了,作业有正好有很多,好心人啊,我需要六年级下册语文人教版《课堂作业本》中最后的总复习的所有题目!急需,在线等! 皇上怎么向他姐姐请安? 虚掩着的门阅读答案,下面是短文和问题.在四小时之前迅速发来答案,一天,某公司总经理叮嘱全体员工——“谁也不要走进8楼那个没挂门牌的房间”,但也没解释为什么.在这家效益相当不错的 六下语文课堂作业本总复习第四大题答案要正确 没有遗漏 快 是本册的成语 写人类 叙事类 绘景类 状物类 皇上怎么给太后请安请问各位有知识的人谁能告诉我皇上是怎么给太后请安的 冰心的赏析 一篇描写无月亮的中秋节作文 600字左右 跨越百年的美丽“这项伟大自然发现”是指() 读过冰心的作品之后,你有什么感受?请给出准确答案! 过中秋节的作文600字以上 没有月亮 跨越百年的美丽中“这项伟大自然发现”指的是 冰心家庭背景 没月亮的中秋节作文 600字以上的 有关场面描写的作文 友谊的作文题目要求新颖 以月亮为线索,人物是游子,时间是中秋,600字以上的作文 18课 《跨越百年的美丽》小练笔“化验室只是一个废弃的破棚子,玛丽终日在烟熏火燎中搅拌着锅里的矿渣.他衣裙上,双手上,留下了酸碱的点点烧伤.”居里夫妇在这样恶劣的环境中坚持实验, 填空:“( )的春节”(要与众不同、新颖一些)是作文题目 回顾·拓展二的第5题 六年级下册的18课《跨越百年的美丽》的作业本上的小练笔怎么写? 绿手指阅读答案要快 六下语文课堂作业本拓展五第五、7题的答案 (《跨越百年的美丽》)小练笔“化验室”只是一个破棚子,玛丽终日在烟熏火燎中搅拌这锅里的矿渣,她衣服上、双手上,留下了酸碱的烧痕.居里夫妇在这样恶劣的环境中坚持实验,要面对困 阅读“绿手指” 1.在法国一个小镇,有位老奶奶,长着“绿手指”.你可千万别奇怪,“绿手指”是当地人对好园丁的称赞.2.一天,她在报上看到一条消息,园艺所重金悬赏纯白的金盏花.老奶奶想: 语文课本上册 第一课它主要让我们学什么? 小练笔《跨越百年的美丽》跨越百年的美丽 前提:居里夫妇在这样恶劣的环境下要面对多少困难和挫折啊!请你想象其中一个场景,并把它写下了差不多200字左右好的我加分 绿手指阅读答案 用一句简短的话,概括第四节主要内容1.在法国一个小镇,有位老奶奶,长着“绿手指”.你可千万别奇怪,“绿手指”是当地人对好园丁的称赞.2.一天,她在报上看到一条消息,园艺 《回顾拓展五 急 有关场景描写的作文 六年级上册课堂作业本诗海拾贝答案语文(人教版)我急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急急 在5 31之前给我 语文课本上册 第一课《观潮》它主要让我们学什么? 作文题目 春节要明简一点 幸福是什么感觉? 凤凰出版社小学四年级语文课本中第一课“甘露”是什么
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn