说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

WDC超链接图:涵盖35亿网页、1280亿超链接

HTML文档下载 WORD文档下载 PDF文档下载
曼海姆大学研究人员公开了据称是目前最大规模的网络超链接图,涵盖35亿个网页和1280亿个超链接。

近日,曼海姆大学研究人员公开了一个巨型的网络超链接图(Web Data Commons Hyperlink Graph),以便于公众进行网络研究。这个网络图是从Common Crawl(一个提供网络爬虫数据的非营利性组织) 2012年语料库中提取的,涵盖35亿个网页和1280亿个超链接,很可能是现在最大的公开可用图。

这个图对于进行网络分析以及从事以下研究工作的人员将有很大的帮助:

  1. 搜索算法,并根据网页之间的超链接进行排名;
  2. 垃圾邮件检测方法,识别出“欺骗”搜索引擎的网页;
  3. 图分析算法,可以用超链接图来测试工具的扩展性\和性能;
  4. 在特定的局部领域的网络科学和链接模式,目的是识别管理这些领域的社会机制。

这些超链接图提供了4个不同级别的聚合:

  1. 页面级图:每个节点及其所有细节,代表一个单一的web页面,每个弧代表两页之间的一个超链接;
  2. 子域级别图:通过子域聚合页面图。在图中的每个节点表示一个特定子域 (像research.dws.uni-mannheim.de) ,如果分属不同子域间的页面存在至少一个超链接,则两个子域间存在弧;
  3. 第一级子域图:每个节点都代表一个第一级子域名(如dws.uni-mannheim.de ),所有下方的子域聚合到该域;
  4. Pay级别域图:每个节点代表一个Pay级别域 (置于uni-mannheim.de),如果分属不同Pay级别域间的页面存在至少一个超链接,则弧存在。


各级别图的规模如下:

页面图:35.63亿个节点,1287.36亿个弧

子域图:1.01亿个节点,20.43亿个弧

第一级子域图:0.95亿个节点,19.37亿个弧

Pay级别域图:0.43亿个节点,6.23亿个弧

其它公开的超链接图和网络爬虫数据集合:

另外,Laboratory for Web Algorithms和Stanford Large Network Dataset Collection也提供类似的超链接图数据,但是相比WDC Hyperlink Graph,数据规模较小、也较旧。(编译/李新宇 审校/周小璐)

原文链接:WDC Huge Web Graph - 128 billion hyperlinks - publicly available

华为V3服务器挑战小型机,多路高端市场汹涌 迟到的祝福:Ruby生日快乐!编程快乐! 无缘CEO Stephen Elop将执掌微软硬件业务部门 又一API聚集地 3scale成立API Codex 你应该放弃的八大设计元素 Tropo与华为达成合作 Tropo API首次可供中国电信客户使用 抢先看:2014即将召开的Web Design大会 小米盒子2视频推送测试及解决播放优酷视频卡的问题 《近匠》UPYUN——从开发者变为服务者 移动开发者必须了解的10大跨平台工具 不差钱:30+收购案,170亿美元投资,IBM再度出手收购Cloudant 微软反击谷歌:Windows授权费降七成+硬件要求减少一半 [测试] 你的HTML5知识够金质吗? 基于OpenStack的虚拟机在线迁移 当64bit遇上8核心:高通发布Snapdragon 615 深圳Maker Faire创客市集:国内外创客组团来参展 腾讯正式发布QQ浏览器微信版 摩托罗拉今年推智能手表,有望提高续航能力 众筹未来必拥抱众智 果合报告:iOS趋势及手游开发六大核心策略 无视OpenStack的前车之鉴,SAP等毅然支持Cloud Foundry 轻松搞定TB级数据,开源GraphLab突破人类图计算“极限值” 英特尔至强E7 v2处理器:2倍性能提升,3倍内存容量,4倍I/O带宽 著名工业设计师Yves Béhar:“我们并不需要三星智能手表。” 跨平台的.NET运行环境 Mono 3.2.7发布! Google石博盟:抓住全球化和移动化的机遇 ShareSDK针对Unity发布社交化组件 2014 CocoaChina开发者大会将公布触控奖学金等高校合作计划 中低端智能手机热销,未来市场或主打价格战 Facebook开源flint:一个用D语言编写的C++静态代码分析器 AMD携手BlueStacks,下半年推出零售版双操作系统 菜鸟急寻帮助,急急!! 关于 FLASH 脚本程序设计的问题 如何检测系统是否有声卡? 如何实现永久session 我要实现这样的一个简单的功能,很简单的,在线等待!急. 怪事:关于CHM的帮助文件的问题? udpsocket怎么用,在收到数据时,发送二进制数组对一些设备分配ip? 源代码分析 通过weblogic的连接池连接sysbase,出现的怪现象 唉,今天刚到公司上网看一下新闻,竟然被行政总监说了!大家说说看 一个简单的SQL命令问题,线上等待。正确的我都给分 菜问题!我添加了#include "ICMPHeader.h",然后就出错了。 高分求救-漂亮的JSP页面代码 高手紧急求救!!! 我要移动listbox中的值!! 急问Flash... 对于高手很easy问题! 这个语句错在哪里:能不能用字符去逐个的初始化一个字符串 安装SQL时没有选择默认,而是自己新建一个实例,这样如何实现远程代码连接?? 急问Flash conning333(chen)来接分 webapps\ROOT\WEB-INF\web.xml的配置问题 如何清除WEBSPHERE的缓存?一个JSP文件总是无法更新,我重启WEBSPHERE也好,修改该JSP并重新保存也好,都是显示旧页面,真气人! 源代码分析 怎样在DW中制作垂直的线条????急 ! 急!在线等待!!!! 关于dir()的小问题, 这个问题已困惑我几天啦,均没人帮我解决真的好盼望呀 急问FLash 高分求教:一个DataGrid显示双DataTable!走过路过都有份! 怎样代码控制servers中excel的合并单元格?? google能找到我了,散分咯 急问Flash. ADOCE怎样访问excel数据表格? 请 ccmoon(IzuaL) 和 cloudchen(陈系上) 进来领分, 我该怎么做? 关于将输入字母转换为大写的问题! 谁给我解释这个sql语句! 怎么将sql server 6.x 的备份文件,恢复到sql server 7上 请教pb中有没有模式窗口和非模式窗口的概念?? 设备内容句柄在Delphi中有这个类吗?如何表示? hxzhappy(冰雨)快来接分 请问在contexMenu控件中show方法如何写 请问用VC,如何在WIN2000下连接一个SQL数据源? 入参与出参 关于国外发布的软件,可以使注册用户在线或取注册码! win2000下怎样建立代理服务器 有关DBGrid的问题。 在其他版看到一个很有意思的贴子“如果是你招聘人,你会不会招和自己技术,资历差不多的,甚至超过自己水平的?”欢迎大家讨论。 急!关于innerhtml的错误? hxzhappy(冰雨)快来接分 在线求助,急 Jscript中window.setInterval和window.setTimeout有什么区别呀?谢谢1楼的朋友!但是为什么我运行这两段代码显示的效果好象是一样的?jscript在显示时间的时候也是用setTimeout好象也是一直在执行的呀?困惑 正方体棱长总和与正方体的体积的关系 What中文意思是? 宇宙黑洞是如何形成的?里面的粒子有几种啊?这个太空太神奇了,这个宇宙太神秘了!突然感到我们人类是如此的渺小! 并联电路中,断路的支路电压为多少? 干摩擦和湿摩擦哪个大 maxwell中如何在涡流场中如何查看被动激励?也就是一个加载交流激励线圈对另外一个线圈的感应电流? 一个长方形玻璃容器,从里面量长6分米、宽5分米、高8分米,向这个容器注水时问:能出现几次相对的水面是正方形的情况?当第二次出现相对的水面是正方形时,水所形成的长方体的体积是多少 请问名片专用,“教授级高级经济师”用英语怎么翻译? 密闭容器充入氦气与加压对反应速率影响的区别? var a= null; var b = undefined; alert(a==b); alert(a===b);为什么===之后就为false?在什么情况下用=== 普京签署《俄联邦行政违法法典》保护文德国海关在一公寓中查获逾1500幅绘伊拉克总理访美寻求武器技术支持 防内韩国总统朴槿惠巴黎会见联合国教科文组印尼黑客袭击澳大利亚200多家网站 阿富汗总统批评美无人机炸死巴塔头目时日媒:日俄会谈 日“牵制中国”计划落法媒:孙杨为违章驾驶道歉激起中国网民中国东北三省再现“雾霾天” 多处高速南京“富二代”杀妻案今庭审 死者亲属国际人才交流大会即将开幕 杭州请高质五一榆林机场 运送旅客近1.2万人次12岁女孩眼看妈妈和妹妹倒在血泊中华商网榆林特快一周新闻排名牛博士劝赵小燕不要怕榆林机场运送旅客近1.2万人次男子刑释后又吸毒贩毒新增厦门至兰州直达车通信行业变革时代来临 铜川联通4G开华商报榆林记者站官方微博一周新闻排名为两地共同发展做出更大贡献现实题材创作交通行业基地揭牌
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘