说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

WDC超链接图:涵盖35亿网页、1280亿超链接

HTML文档下载 WORD文档下载 PDF文档下载
曼海姆大学研究人员公开了据称是目前最大规模的网络超链接图,涵盖35亿个网页和1280亿个超链接。

近日,曼海姆大学研究人员公开了一个巨型的网络超链接图(Web Data Commons Hyperlink Graph),以便于公众进行网络研究。这个网络图是从Common Crawl(一个提供网络爬虫数据的非营利性组织) 2012年语料库中提取的,涵盖35亿个网页和1280亿个超链接,很可能是现在最大的公开可用图。

这个图对于进行网络分析以及从事以下研究工作的人员将有很大的帮助:

  1. 搜索算法,并根据网页之间的超链接进行排名;
  2. 垃圾邮件检测方法,识别出“欺骗”搜索引擎的网页;
  3. 图分析算法,可以用超链接图来测试工具的扩展性\和性能;
  4. 在特定的局部领域的网络科学和链接模式,目的是识别管理这些领域的社会机制。

这些超链接图提供了4个不同级别的聚合:

  1. 页面级图:每个节点及其所有细节,代表一个单一的web页面,每个弧代表两页之间的一个超链接;
  2. 子域级别图:通过子域聚合页面图。在图中的每个节点表示一个特定子域 (像research.dws.uni-mannheim.de) ,如果分属不同子域间的页面存在至少一个超链接,则两个子域间存在弧;
  3. 第一级子域图:每个节点都代表一个第一级子域名(如dws.uni-mannheim.de ),所有下方的子域聚合到该域;
  4. Pay级别域图:每个节点代表一个Pay级别域 (置于uni-mannheim.de),如果分属不同Pay级别域间的页面存在至少一个超链接,则弧存在。


各级别图的规模如下:

页面图:35.63亿个节点,1287.36亿个弧

子域图:1.01亿个节点,20.43亿个弧

第一级子域图:0.95亿个节点,19.37亿个弧

Pay级别域图:0.43亿个节点,6.23亿个弧

其它公开的超链接图和网络爬虫数据集合:

另外,Laboratory for Web Algorithms和Stanford Large Network Dataset Collection也提供类似的超链接图数据,但是相比WDC Hyperlink Graph,数据规模较小、也较旧。(编译/李新宇 审校/周小璐)

原文链接:WDC Huge Web Graph - 128 billion hyperlinks - publicly available

VB技巧汇编 (一) VB剪贴板的用法 VB开发CAI软件的小经验 VB软件设计中的几个问题 VB新手常见问题解答 VB修改注册表一特例 VB与VC混合编程中处理消息的方法 VB中的进制转换是怎样的? VB中调用带参数存储过程的实现(数据库) VB中感叹号“!”与圆点“.”的用法差异 VB中如何实现注册表的读写 VB中实现“擦视”技术 Visual Basic 2000年问题 Visual Basic 的未来 Visual Basic 命令分类表 Visual Basic三级跳 Visual Basic使用技巧 Visual Basic中的子类处理技术 Visual Basic中软件封面技术探秘 VisualBasic 软件设计中的几个问题 Windows 95/NT 运行了多长时间 -VB资料 Windows 的登录资料库 -VB资料 把回车键变成TAB键-VB资料 把文件置入到Text或RichText中 -VB资料 避免按 [ENTER] 回车键产生的“嘀”声 -VB资料 避免使用全局变量-VB资料 避免装载多份应用程序-VB资料 不定个数的参数 -VB资料 不在任务栏中显示,只能在Ctrl+Alt+Del对话框中显示或者干脆什么也不显示数 -VB资料 处理 Dropdown List型 Combo的录入问题-VB资料 VB创建和删除快捷方式 如何将StringGrid 中的数据保存为Html格式的表格 关于断点续传,请问大家 php中有没有 与 asp response.clear等同函数 单片机高手请看:中断中的中断,麻烦中的麻烦。 怎一个难字了得?挑战高手 如何改变LISTVIEW中各项的宽度 求《C++ Primer》中文版电子书下载;ejian@21cn.com 请问:在Asp中如何使用ODBC和SQL 注册表help... ListCtrl控件设为ICON属性,请问是否有subitem属性? Win2000系统去访问WIN98系统的服务器 PING的通 但打开的时候报参数出错! vb调用vc编的activex oem怎么老是连不上阿? 简单的入门问题:如何让菜单变灰? how add icon to one popup menu ? 怎么判断一个form对象变量为空呢? 发送和接收数据包问题? ActiveX问题,微软专家请进.<------------- 急 *.idc不能运行了,请问这是为什么? dbcontrols(泰山__抛砖引玉) 怎样才能够把ado记录集写到EXECL并进行打印呢? 如何判断字符串中,有几个指定的字符? xml数据文件倒入数据库,有什么好方法。 检查数据的有效性,最好是在哪一个事件中检查?怎样写,可否给点例子。 如何在DELPHI中调用FLASH图片。谢谢!有帮助的给分! 一个有关串列的question!HELP.. 怎样让对话框总在最前? 今天一个女孩脸红的对我说声谢谢 为什么dll调试跟踪不进去 菜鸟提问:请解释一下.vbs好吗?里面可以放那些东西,怎么引用.......等等 Delphi 2 BCB的问题:BCB中的"::", ".","->"有什么区别? *.idc不能运行了,请问这是为什么?谢谢 简单的数据库问题 CFileDialog()函数的参数问题????? php ed3.0 为什么不好使 大散分,快来答,答者有分! access 表中的datetime型字段在delphi中如何使用? 有谁看过《Visual C#.NET开发实践》?? 怎样改变按钮标题的颜色? 请大家帮忙测试一下这段winsocket代码,为什么接受不到字符串 数据库问题 如何理解COM中的自动化?跟贴有分!!! 怎么样才能实现对音量的控制,最好能达到有下脚喇叭的功能 phpmyadmin之前的密码认真是怎么回事呀(配置问题) 谁能帮忙介绍工作? 请介绍几个现在还提供免费个人主页的地方 IIS运行起来后,不能访问http://localhost是什么原因? 谁能帮忙介绍工作? 关于控件数组 急需收发文系统的完整代码,谢谢! 我想用VB写一个com分页读出tif中的多幅图像,请高手指点! 请教sql查询 情介绍一个数据库编程的好书! 妈妈的生日,我会用哪首诗表达对母亲的感激之情 _____________________________________ 把句子补充完整:妈妈(). 初中信息技术课件和教案太少,怎么办呢? 光线与平面镜成90度,若入射光线不动,镜面绕入射点转过30度,此时反射光线与入射光线的夹角为多少度 把句子补充完整:( ),妈妈( )地去( ).( ),她真勇敢.( )和( ),都( ). 面积多少平方厘米?合多少平方分米 2014七年级数学暑假乐园答案(海南省出版社) 一个长方形纸的长是15分米,宽是6分米,要把他剪成面积是3平方分米的正方形,一共能剪多少个? 中学心理健康教案一定要多! 物在平面镜前运动,像怎么动?平面镜平动时像怎样动?入射光线不动,平面镜绕入射点转动时反射光线怎么样 求一份必修三地理知识点总结. 求高中生心理健康教育的教案,或者心理辅导活动课的教案~ 在会展期间准备在高AC为5m,长AB为13m,宽2m的楼梯上铺地毯,地毯每平方米18元,计算铺完这个楼梯要多少元钱 人教版地理必修三知识点总结是安徽的 ,,那位仁兄帮下, 求高中生心理健康教育教案 如图,某会展中心在会展期间准备将高5m,长13m,宽2m的楼道上铺地毯,已知地毯每平方米18元,铺完这个楼道至少需要多少元钱? 一张桌子和一把椅子共卖248元,一只桌子的单价是椅子的4倍 一张椅子多少元?方程解 谁有高中生心理健康教育教案? 一首赞美母亲的诗 一张课桌的价格是85元,比一张椅子的2倍少15元,一张椅子多少元?(用方程解) 高中心理健康教案怎么写 关于伯牙子期的故事的流传,后人写了许多诗文纪念他们,请问有哪些诗文? 我迷路了.妈妈急得?句子补充完整 一条光线射到平面镜上,反射后传播方向改变了80°,则入射角是()° 郭沫若的 《静夜》 中,借神话传说表达思念之情的诗句是 《小草和大树》的读后感小草和大树的读后感 未来世界 相关作文650字或650以上【六年级水平 650字以上很重要】 某会展中心准备在高5m,长13m,宽2m的楼道上铺地毯,已知地毯每平方米18元,铺完这个楼道至少要好多钱?关于勾股定理 小草和大树读后感!急啊!~~~~~~ 五年级第二课小苗与大树的对话的读后感 如图,某会展中心期间将高为5m,长13m,宽2m的楼道上铺地毯每平方米18元,请你帮忙计算一下,铺完这个楼道至少需要?元钱 小草和大树的读后感要150字 我心中的家作文650字 现场比赛的作文主题我心中的家,让我参考参考! 在方框里填上合适的数,使每个方程的解都是六(五上寒假新时空页47) 一张长方形包书纸,长80厘米,比宽多25厘米,它的面积是多少平方厘米?和多少平方分米 周记:五年级小苗与大树的对话的读后感 小树长高了(改成拟人句) 读小草和大树读后感联系生活实际 写一篇关于母爱的作文,大约650个字! 以相等的入射角射到镜面上某点的光线有()条:以某一角度入射到镜面的一条光线有()条反射光线. 用一张长12厘米,宽8厘米的长方形纸围成一个圆柱,它的侧面积是96平方厘米,体积有可能是多少平方分米?体积是多少立方厘米,说错了,不是分米。 小苗与大树的对话读后感怎么写? 描写大树的拟人句,只是描写大树 把一张纸对折再对折,每层的面积是8分之5平方分米,这张纸的面积是()平方厘米. 小苗与大树的对话 有一条入射光线与镜面的夹角是30°,入射角为多少若入射角增大10°,则反射角与入射光线的夹角为多少,若入射光线不动,转动镜面,使入射光线与镜面夹角从30°变为90°,则反射角变为多 汶川地震让孩子们失去了学校,失去了亲人,如果我们要鼓励灾区的小朋友学会坚强, 是第一页快乐成语第四十八页最后一题谁好的200科学技术文献出版社 小树随风摇摆.(改为拟人句) 写小草和大树读后感的6年级5班的老师让写200字左右 甲、乙两地相距560千米,客车和货车分别从甲、乙两地同时相向而行,经过4小时后相遇,相遇时客车比货车多行驶60千米。客车和货车每小时各行驶多少千米?(要计算过程) 庄子坚持认为“出游从容”的鱼儿很快乐,表现了他怎样的心境?原文是:《庄子与惠子游于濠梁》. 大树能生小树吗 要计算的第一题和第3提就行了 满井游记写鸟鱼富有人情的词语是“________”、“________”(用原文语句填空),表达了作者_______的心情 求:初中九年级心理健康教育教案 限时明天后天就不采纳了 表达对母亲感激的诗句 作文 第一次洗衣服400字 心理健康教育 教案
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘