说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

WDC超链接图:涵盖35亿网页、1280亿超链接

HTML文档下载 WORD文档下载 PDF文档下载
曼海姆大学研究人员公开了据称是目前最大规模的网络超链接图,涵盖35亿个网页和1280亿个超链接。

近日,曼海姆大学研究人员公开了一个巨型的网络超链接图(Web Data Commons Hyperlink Graph),以便于公众进行网络研究。这个网络图是从Common Crawl(一个提供网络爬虫数据的非营利性组织) 2012年语料库中提取的,涵盖35亿个网页和1280亿个超链接,很可能是现在最大的公开可用图。

这个图对于进行网络分析以及从事以下研究工作的人员将有很大的帮助:

  1. 搜索算法,并根据网页之间的超链接进行排名;
  2. 垃圾邮件检测方法,识别出“欺骗”搜索引擎的网页;
  3. 图分析算法,可以用超链接图来测试工具的扩展性\和性能;
  4. 在特定的局部领域的网络科学和链接模式,目的是识别管理这些领域的社会机制。

这些超链接图提供了4个不同级别的聚合:

  1. 页面级图:每个节点及其所有细节,代表一个单一的web页面,每个弧代表两页之间的一个超链接;
  2. 子域级别图:通过子域聚合页面图。在图中的每个节点表示一个特定子域 (像research.dws.uni-mannheim.de) ,如果分属不同子域间的页面存在至少一个超链接,则两个子域间存在弧;
  3. 第一级子域图:每个节点都代表一个第一级子域名(如dws.uni-mannheim.de ),所有下方的子域聚合到该域;
  4. Pay级别域图:每个节点代表一个Pay级别域 (置于uni-mannheim.de),如果分属不同Pay级别域间的页面存在至少一个超链接,则弧存在。


各级别图的规模如下:

页面图:35.63亿个节点,1287.36亿个弧

子域图:1.01亿个节点,20.43亿个弧

第一级子域图:0.95亿个节点,19.37亿个弧

Pay级别域图:0.43亿个节点,6.23亿个弧

其它公开的超链接图和网络爬虫数据集合:

另外,Laboratory for Web Algorithms和Stanford Large Network Dataset Collection也提供类似的超链接图数据,但是相比WDC Hyperlink Graph,数据规模较小、也较旧。(编译/李新宇 审校/周小璐)

原文链接:WDC Huge Web Graph - 128 billion hyperlinks - publicly available

VB如何在資料庫中存入單引號? VB如何正确使用VB6访问Access2000数据库 VB如何自动记录计算机开机时间? VB如何做到当我们单击窗体的最小化和关闭按钮时,窗体先最小化到任务栏成为按钮,然后消失呢?金山词霸能 软件工程篇-Const与#Const的对比 -VB资料 软件工程篇-从Visual Data Manager开始 -VB资料 软件工程篇-理解错误处理代理 -VB资料 软件工程篇-清空集合内容的几种方法 -VB资料 软件工程篇-受限制的共享软件Shareware -VB资料 设定CapsLock ScrollLock NumLock-VB资料 设置计算机名称-VB资料 深入SERIPTING RUNTIME LIBRARY-VB资料 '识别常数的简单四则运算-VB资料 实现平面工具栏 -VB资料 使程序不在 Ctrl+Alt+Del 弹出的对话框内-VB资料 VB使用 API 开始屏幕保护 VB使用rdoPreparedStatement实现参数化查询 使用Vb5制作Easter Egg 使用VB实现所见即所得功能 使用VB中的SERIPTING RUNTIME LIBRARY VB使用Win95的动画光标 VB使用Windows内建的图标 VB使用Word的“艺术字”工具 VB使用WriteFile 块读/写数据 VB使用枚举变量 VB使用数组做属性 VB使用未安装的字体 输入限制确认-VB资料 熟悉VB的集成开发环境 鼠标取词-VB资料 谈变VB中APP.PAHT的注意事项 散3 发分!!!! 发分!!!!! 发分!!!!!!!! 发分!!!!!!!!!!!! 发分!!!!!!!!!!!!!!!!!!! 请问如何去掉测试版软件的“购买”提示框???急急急急!!! 有关获取HTML中Frames的问题? 给分!!!!!啊 给分!!!!!啊!! 给分!!!!!啊!!!!!! 给分!!!!!啊!!!!!!!!!!!!! 给啊!!!!!!!!!!!!! 不是俺蓄意谋两位帮主的反,实在是 ... APPLET连接数据库。。。(我已经每粉了) 千分散尽不复来!!! 千分散尽不复来!!!! 千分散尽不复来!!!!! 千分散尽不复来!! 千分散尽不复来!!!!!!!! 千分散尽不复来!!!!!!!!! 千分散尽不复来!!!!!!!!!!!!! 用分把灌水乐园咽死!!!!! 千分散尽不复来!!!!!!!!!!!!!!!!! 千分散尽不复来!!!!!!!!!!!!!!!!!! 千分散尽不复来!!!!!!!!!!!!!!!!!!! 千分散尽不复来!!!!!!!!!!!!!!!!!!!!! 千分散尽不复来~ 千分散尽不复来~! 请教数据窗口的问题 千分散尽不复来? 千分散尽不复来?! 有LVS_OWNDATA属性的CListCtrl 加图标的问题,25分 在做会员注册时,在添加新数据页,程序一运行就在RS.updata出错,为什么(原程序) 高手请你回答我啦!!!! 我要回家了,第一个给300 哪有msproxy下载????? 请问要怎么样才能在自己写的程序运行时让用户无法使用开始菜单? jdbc的版本 发分!!!!!!!!! 对于初学者,应该学些什么样的数据库? Java的优点 化功大法第一章--散分。 吸星大发第一章--散分 i need help 葵花宝典第一章--散分 求哈密而顿路的算法 我是新手请问下面程序哪错了!为什么提示我有1处错误! ???????????请问怎样将.h连入.CPP中 richtextbox控件的什么方法能实现打字功能 小弟想在假期开始学习PHP不知该从何学起呢? 有10-80八个数,把它们分别入两个大圆上的五个圆圈内,使五个数的和为200,应该怎么填 问写“Saving the Earth”的英语作文人类的不明智之举:1,乱伐树木 2,乱扔垃圾 3,不加处理排放废物导致的问题:l,土地沙化 2,河水变脏 3,空气质量差 4,全球气温升高建议;合理化建议至少三条 20世纪80年代具体指哪几年? 地球表面约70%被海洋覆盖,人类为什么还缺水?请说出三个理由. 以saving the earth为题,写一篇80词的英语作文, 一个人增加40%,又减少了20%,这时等于80,这个数是 地球表面约百分之七十被海洋覆盖 人类为什么还缺水 帮忙写英语作文 Saving the Earth 80词左右提示:1 如何保护环境成为世界最大难题之一2 各种污染破坏环境 损害健康 3 不要乱倒垃圾 乱排污水4 我们应该保护环境 使我们的家园更加健康 一个数增加百分之40,又减少百分之20,结果得80,求这个数原来是多少?用方程解,务必请快 地球严重缺水的原因是什么 求作文:saving the earth 一个数减少25%后是60,这个数增加20%后是()A.80 B.100 C.96 D.120 地球上有4/5的面积是海洋,那为什么还一直说缺水呢?我知道海洋是不能喝的,可是现在科技这么发达,就没有机器可以过滤这些海水吗?那样的话不就是不存在缺水问题了? 将20、30、40、50、60、70、80、90这八个数填入下面的圆中,使毎个大圆上的五个小圆里的数和都等于300等于300 一个数减少它的20%后是80,这个数是多少?帮我做做吧等用谢谢 为什么地球会缺水地区降水降是否和蒸发量有关?我们日常用掉的水流入江河,经过蒸发后下雨水流入地表,那为什么还会缺水?水循环中哪里丢失了淡水?寻求专业大虾我们提倡节约用水是节约 将20、30、40、50、60、70、80、90这八个数填入下面的圆中,使毎个大圆上的五个小圆里的数和都等于250. 1.一种洗衣机,现在每台550元,比原价涨了150元,价格上涨了几分之几?2.修一条路,第一周修了40%,第二周修了252米,两周共修了这条路的85%,这条路全长多少米?3.一个数增加20%,在减少20%后是80%,这个 80万年后地球会怎样 大小两个圆,大圆半径等于小圆直径,那么大圆面积是小圆面积的() 3分之20大于6,小于6,还是等于6 最近有什么大事件```急用```80分``越新越重大的越好..最好好最分析.. 19世纪60年代相当于多少年是什么历史事件 什么数乘6等于20分之3 100万年以后地球是什么样子?人穿着 家用电器 军队 科技等等是什么样子的 20世纪60年代到现在一共有多少年?怎么计算? 什么数与6相乘等于20分之3 80-90年代中发生的大事件! 20世纪60年代是多少年?怎么算出来的? 古人称男子20岁称?30岁称?50岁称?60岁称?70岁称?100岁称? 找一部外星人入侵地球的科幻电影在海上外星人发射了两个想轮子一样的东西、撞坏了高架桥 20世纪60年代指的是哪年?1960-1969年对吗?可是,为什么是这样算啊?不是说1世纪等于100年吗?那20世纪应该是2000年吗?怎么是1900年了呢?另外,想请教一下公元前和公元后是怎么算的呢?哪年是公元前? 古代男子20,30,40,50,60,70,80~90,100岁分别叫什么? 美国外星人入侵地球的电影貌似就是外星人入侵地球,外星机器长着三只脚,非常高大,他们所到之处血染江河,将人绞成血丝,供外星人食用,他们的武器,飞船有防御系统,任何战机,坦克,大炮,甚 20世纪80年代是哪一年,怎么算的1世纪=100年,20世纪怎么是1900年呢 十岁,二十岁,三十岁,四十岁,五十岁,六十岁,七十岁,八十岁,九十岁,一百岁用古语怎么说? 外星人入侵地球的科幻片,最后通过鲸鱼和外星人对话挽救了地球的是哪部影片外星人的宇宙飞船就象一截粗木头这个影片我看过,科学家发现外星人对鲸鱼的叫声很亲切,知道鲸鱼能和外星人 二十世纪80年代是什么时间,怎样计算? 20岁,30岁,40岁,50岁,70岁的人叫什么?【根据60岁的人叫花甲来回答】 求美国外星人入侵地球以前看过的,很多飞碟入侵地球,外星人象八爪鱼似的,美国很久以前还抓到过,一直研究,在最后有个老头开飞机打飞碟没弹药了,直接飞进飞碟下边同归于尽了,请问这个片 二十世纪八十年代是什么时间? 为什么20岁的女人是足球,30岁的女人是篮球,40岁的女人是乒乓球,50岁的女人是高尔 氯化钠在海水盐类物质中的比例?60%?70%?80%?90? 20世纪80年代是哪一年到哪一年?20世纪90年代又是指哪年到哪年? 20岁30岁40岁50岁60岁70岁的人在古代各自的称谓?称呼 为什么海水中的盐类主要是氯化钠?海水盐分组成表 盐 类 克 / 升 占盐类的 % 氯化钠 27.213 77.75 氯化镁 3.807 10.87 硫酸镁 1.658 4.73 硫酸钙 1.26 3.6 硫酸钾 0.863 2.50 碳酸钙 0.123 0.30 溴化镁 0.076 0.20 20世纪80年代中期是什么年份 二十岁、三十岁、四十岁、五十岁的女人分别叫做什么啊比如说花样年华啊,风韵少妇啊,或者什么什么的, 为什么氯化钠占海水的盐类成分88.64%,在河水所占的比例却很低? 20世纪八十年代的时代背景是什么?整个大的时代背景 1981-1985 1986-1990 1991-1995 1996-2000 2001-2005 2006-2009 这几个时间段的背景 可以重复 重赏 中国古人分别称10岁、20岁、30岁……是什么呢?就是而立之年、花甲啦…… 海水中氯化钠有80%吗? 一世纪有几个年代?1980年属于多少年代? 50,60,70,80,90岁古代语叫什么,比如30岁叫而立,40岁叫不惑? 每一千克海水中含有氯化钠等盐类约35克,所以海水是咸水,但可能变成淡水跑到地球上来海水到陆地上变成淡 形成天然水循环,这个过程包含了水的 和 两种物态变化 为什么 在二十世纪八十年代 英文是这个单词的英文 古代称男子20为___之年,30岁为____之年,50岁为____之年,60岁为____之年,70岁___之年,100岁为____之年 把10到80这八个数填入圆圈内,使每个大圆的五个数的和是200 图是一个3个圆的和一个5个圆的合在一起 以Saving the Earth为题目写篇作文人类的不明知之举:1.乱伐树木2.乱扔垃圾3.不加处理排放污水导致的问题:1.土地沙化2.河水变脏3.空气质量差4.全球气温升高建议:合理化建议至少3条开头:As time goe “今天她梳着20世纪80年代的发型”的英语
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn