说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

WDC超链接图:涵盖35亿网页、1280亿超链接

HTML文档下载 WORD文档下载 PDF文档下载
曼海姆大学研究人员公开了据称是目前最大规模的网络超链接图,涵盖35亿个网页和1280亿个超链接。

近日,曼海姆大学研究人员公开了一个巨型的网络超链接图(Web Data Commons Hyperlink Graph),以便于公众进行网络研究。这个网络图是从Common Crawl(一个提供网络爬虫数据的非营利性组织) 2012年语料库中提取的,涵盖35亿个网页和1280亿个超链接,很可能是现在最大的公开可用图。

这个图对于进行网络分析以及从事以下研究工作的人员将有很大的帮助:

  1. 搜索算法,并根据网页之间的超链接进行排名;
  2. 垃圾邮件检测方法,识别出“欺骗”搜索引擎的网页;
  3. 图分析算法,可以用超链接图来测试工具的扩展性\和性能;
  4. 在特定的局部领域的网络科学和链接模式,目的是识别管理这些领域的社会机制。

这些超链接图提供了4个不同级别的聚合:

  1. 页面级图:每个节点及其所有细节,代表一个单一的web页面,每个弧代表两页之间的一个超链接;
  2. 子域级别图:通过子域聚合页面图。在图中的每个节点表示一个特定子域 (像research.dws.uni-mannheim.de) ,如果分属不同子域间的页面存在至少一个超链接,则两个子域间存在弧;
  3. 第一级子域图:每个节点都代表一个第一级子域名(如dws.uni-mannheim.de ),所有下方的子域聚合到该域;
  4. Pay级别域图:每个节点代表一个Pay级别域 (置于uni-mannheim.de),如果分属不同Pay级别域间的页面存在至少一个超链接,则弧存在。


各级别图的规模如下:

页面图:35.63亿个节点,1287.36亿个弧

子域图:1.01亿个节点,20.43亿个弧

第一级子域图:0.95亿个节点,19.37亿个弧

Pay级别域图:0.43亿个节点,6.23亿个弧

其它公开的超链接图和网络爬虫数据集合:

另外,Laboratory for Web Algorithms和Stanford Large Network Dataset Collection也提供类似的超链接图数据,但是相比WDC Hyperlink Graph,数据规模较小、也较旧。(编译/李新宇 审校/周小璐)

原文链接:WDC Huge Web Graph - 128 billion hyperlinks - publicly available

为什么2012年HTML5发展远未达预期 当程序不再工作时,程序员说 独立游戏开发者易犯的9大致命错误 “Do Not Track”的前世今生 《Warcraft是怎样炼成的(三)》:从Demo到游戏 无限强大的超级马里奥AI 以Google第二代数据库产品MegaStore为理论模式 探索HBase系统 传Google明年推Chrome OS触摸屏上网本 下载自己过去的Tweets?用户准备好了吗? 微软任命研究部门新副总裁 负责北京等实验室 欧朋首席标准官:HTML5将在2014年成熟 开发利器:对游戏开发者最具价值的5类iOS应用 专访前IE浏览器内核研发工程师,带你深入了解IE10 Windows 8市场接纳速度慢于Windows 7 别只看下载量!“用户留存率”才是关键! 预计2020年出现百亿亿次级超级计算机 Google数据中心PUE的秘密 一个传奇:有个人不断赢得世界算法冠军 音乐能力开放平台合作探索之旅 社交网络海外营销技巧及工具实战 大数据谬误 —— 为什么我们需要收集更多的数据 传苹果地图负责人Rich Williamson遭解雇? 一个月:Windows 8授权许可已破四千万 里程碑:iPhone与Android企业用户市场首次超过黑莓 VMware最快下周宣布分拆Cloud Foundry 国际原子能机构服务器遭窃 百多位专家信息泄密 用户可通过Google Drive直接向Gmail添加高达10GB的文件 韩寒携个人App进军移动互联网 亮相应用汇独家发布会 摆脱谷歌 亚马逊向开发者正式发布地图API 为什么应该用模块取代C/C++中的头文件? Mozilla布道师:HTML5在移动端没有未来? LoadStr()怎么用? 哪里有制作VCD开始时那个选歌菜单的软件!( 请问在VB里把二进制数据转成字符串的函数是什么?谢谢 紧急求助,各位进来帮我看看!! #####很简单的问题,怎样在EXCEL中冻结窗口 紧急求助,各位大虾进来帮我看看!! 像《金山词霸》、《东方大典》等一样能说(朗读)中文! 屏蔽消息的麻烦………………求助高手 请教高手,数据库恢复的问题! 请问有没有解决d6在win98无法显示帮助索引问题的方法? 请问各位大侠关于COM的问题? 我想用可视化的Java工具VisualCafe,哪里有不限制版?或有正版注册码? 各位,我现在的操作系统是win2k professional 我现在想运行.jsp程序。我应该有什么样的准备。用什么工具做jsp.服务器怎么配置。这些东西都那里去下载。请指点。不胜感激! 急,listbox的columns设置为大于1后,它的这几个列怎样添加字符 一个弱智的问题: 怎样判断实例是否存在?? 再议 在VB中如何创建三层结构的应用程序 紧急问题!Crystal Report是否不支持中文的? 如何得到系统的开关机时间(在WIN2K下)???急 怎么实现这种嵌套的查询结果?(急急求救) 对象的handle,hwnd和指向此对象的指针之间是什么关系??? JavaBean+jsp+Tomcat4.0?把我搞醉了 一个非常棘手的问题,都吃不下,睡不着了,帮忙啊,分不够的话,再开数贴。 高分请问:会跳舞(有音乐)的圣诞老人(玩具,大约有电脑显示屏一般高度)在上海买多少钱,急急急 已有CBitmap m_Bitmap,如何求对应的HDIB 在音乐文件中加入一个代码…… 这种情况下如何用进程条控件? 看了一通sps的sdk,看的我头大的不得了,看来英语还是不过关阿 我要把格林威治平时转换成当地时间用什么函数呢???? 用SQL语句显示记录集中的倒数200条记录,及显示从第几条到第几到的记录?? 问:vb.net采用的是c#,那么在ms.net里面到底有没有visual c#.net??? 高手请进!ADO问题 给我已给在javabean里面使用HttpServletRequest对象的例子好吗?谢谢你了,具体到里面看看可以吗? 在office2000中打印来自matlab53的图形,总是提示word内存不足,word自行关闭。请问为何? 开开关关的窗口 用VC编写操纵数据库方面的COM组件有前途吗? 请问如何将CString中的字符串赋给char* ADODB.Connection问题,急!! 急急! 在javabean里面使用HttpServletRequest对象的例子好吗?谢谢你了,具体到里面看看可以吗? 河南的程序员考试成绩出来了没有?都快把大家急疯了! 一个类的四个问题?this指针等等,欢迎大家的光临。 请大家帮个忙!我的PARADOX数据库有660M,但是在读取的时候出现‘BLOB HAS BEEN MODIFIED‘!! 请问哪里有ado数据库引擎下载,谢谢~! BDE错误$2109 如何得到“我的文档”里的IShellView指针? SOS!各位帮帮我呀!“实现汉诺塔” 幫忙看一下下面這段代碼有什么問題? 改进后的开开关关窗口特别酷 请问在VB6与VB.NET在数据库方面有多大的区别呀?? 关于C语言 寻找将 AUTOCAD 文件格式转换成 PDF 格式的软件 A,B两地相距50KM,一辆货车以40KM/时的速度从A开出,一辆客车以32KM/小时的速度从B开出,同向而行!货车在客车后面,诺货车从A地出发一小时后,客车才从B出发,火车总经过多少小时可追上客车. 和狮子男友分手后~狮子男进 和狮子座男友 分手后(是他找了一个原因分手),过了一段时间他还来找我 说爱我 我现在好乱 他到底是想表达什么呢?据说狮子男 从不吃回头草,请各位帮帮小妹 甲乙两车同时从AB两地出发,甲车每小时行48千米,乙车每小时行40千米,两车在距中点32千米处相遇,求AB两相距多少千米? ab两地相距50km,一辆货车以40km/h的速度从a地开出,一辆客车以32km/h的速度从B开出,同向而行,线段表示的等量关系是 大家帮忙分析下我这个牛牛和那个狮子女!狮子女和我在一个商场里上班 我们都挨着.周围的同事总是半开玩笑似的把我们往一起撮合.从外表看 她是一个挺活泼 挺外向的女孩 .一开始 给我们 松鼠的生活习性主要有五个特点快 阿拉伯人为什么在那么热的天气穿得那么多? 东风小学操场上挖了个长45米,宽3米,深4米的沙每立方米沙重1.8吨,学校买多少吨沙能 甲乙两车分别从ab两地相对开出甲车每小时行50千米乙车每小时行40千米 两车行驶4.5小时后先相遇又相距45千AB两地相距多少千米 甲乙两车从A,B两地同时出发,相向而行,甲每小时行50km,乙每小时行40km,甲比乙早一小时到终点甲几小时到达终点?. 如图,在一个长40M、宽30M的长方形小操场上,王刚从A点出发,沿着A→B→的路线以3M/S的速度跑向C地.当他出发4S后,张华有东西需要交给他,就从A地出发沿王刚走的路线追赶,当张华跑到距B地8/3M的D 狮子是哪个国家的?澳大利亚还是非洲? 甲乙两车分别从A,B两地同时出发相向而行,甲车每小时行驶40km,乙车每小时行...甲乙两车分别从A,B两地同时出发相向而行,甲车每小时行驶40km,乙车每小时行驶50km.两车分别到达A,B后,立即返回.返 世界各地圣诞节景观图、当地建筑特色、人文服饰特点.以及世界各地的风土人情,并分析与自然环境的关系.回答越简练越好. 非洲狮子分几种 甲车从A地开往B地,乙车从B地开往A地,甲车每小时行40km,乙车每小时行50km,乙车先出发1小时,甲车后开出乙车出发4小时后两车相遇,AB相距多少km? A,B两地相距50千米,一辆货车以40km/h的速度从A地开出,一辆货车以32km/h的速度从B地开出,同时同向而行,货车在客车后面,货车出发多少小时候可追上货车? 非洲的狮子在哪?要地区名 沙特阿拉伯人吃什么 A、B两地相距120km,一辆汽车以每小时50km的速度从A地出发去B地,另一辆货车以每小时40km速度从B地出发去A地,两车相向而行,各自到达目的地后停止前进,问经过多少时间两车相距30km? 要过程! 快! 非洲狮子VS灰熊麻烦问一下,一只非洲的雄性狮子和一只灰熊pk,谁会赢那? 甲车从A地开到B地,速度60km/小时,乙车从B地开往A地,速度90km/小时,两地相距200km.两车相遇里A地多远 阿拉伯人在东西方文化传播起了作用 狮子来自于非洲.用英文怎么翻译 阿拉伯人的服饰和气候有什么关系 为什么说阿拉伯人是沟通东西方文化的桥梁 甲乙两车同时从两城相对开出,4小时候相遇,两车的速度比是5;4,两城相距360km,两车的速度各是多少?算式最好有讲解 甲车从a地开往b地速度是60km/h乙车同时从b地开往a地速度是90km/h已知ab两地相距200km两车相遇的地方离a地多远? 阿拉伯人在中西文化中起到了什么作用 甲乙丙丁两车同时从两城相对开出,4小时后相遇,两车的速度比是5:4,两城相距360km,两车速度各是多少? 沙特阿拉伯人住房什么样的 阿拉伯人属于什么人种,使用什么语言,信仰什么宗教? 一个圆锥形沙堆,底面半径是2m,高是1.2m.把这堆沙铺在沙坑里.这些沙能铺多少厘米厚长5m,宽3m (得数保留整数) 保留整数是进一法还是... 甲列车从a地开往b地,速度是60km/时,乙列车同时从b地开往a地,速度是90km/时.已知a,要方程.是一元一次方程. 一个长方体的游泳池长120m宽80m深3m在池四壁和底面抹水泥每平方米用水泥5kg,公需水泥多少吨? A,B两地相距360km,甲、乙两车同时从A,B两地出发,相向而行.甲车的速度是乙车的1.25倍,三小时后相遇.甲、乙两车每小时分别行多少千米?(不要分数出现)明天早上就要交 红星小学在操场上挖了一个长5米,宽30米,深0点5米的长方形沙坑,如果每立方米沙重1点8吨需要多少吨沙子才能填满这个沙坑 阿拉伯人对世界文化的传播和交流起了什么作用? 猫的外形特点和生活习性 朝阳小学操场上有一个沙坑长2.5米,宽1.5米,深0.6米,填满这个沙坑,需要每立方米重0.5吨的细沙多少 一个长方体游泳池的长为50m宽为30m深为1.5m在池子的四壁和底部抹上水,每平方米需要水泥15kg需要多少吨 甲乙两车同时从相距360km的AB两地同时出发想向而行经过四小时相遇乙车得速度是甲车的1.5倍,求甲车的速度谢谢大家啊! 阿拉伯人的服饰建筑文化与当地的自然环境有什么关系 要在一个上底直径1M下底直径3.3M高0.5M的圆堆形里面放水泥请问体积怎样算? 请问,猫有什么外形特点和生活习性? 阿拉伯人喜欢白色,如白色的建筑物、白色的服装,这是为什么? A,B两地相距120km,一辆汽车以每小时50km的速度从A地出发,另一辆货车以每小时40km的速度从B地出发,两车相A,B两地相距120km,一辆汽车以每小时50km的速度从A地出发,另一辆货车以每小时40km的速 ab两地相距360km甲乙两车同时从AB两地出发相向行甲车的速度是乙车的1.25倍3小时两车相遇甲乙两车每小时行? 学校计划在操场上挖一个沙坑,让同学们练习跳远.按规定,沙坑长5m,宽2m,现有7立方米,沙坑挖多少分米深能刚好填满? 有一个近似圆锥形的沙堆,底面周长是12.56m,2m.把这些沙子铺在一个长4m,宽3m的长方体沙坑里,可以铺多厚?(得数保留两位小数) 猫的外形特点 要在实验小学的操场上挖一个底面积14平方米、深0.5米的沙坑,一共要挖出多少方土? 有一个圆锥形沙堆,底面积是6的平方米,5m.用这堆沙铺一个长5M,宽3M的沙坑,可以铺多厚.赶时间. 猫的外形和特点要写作文的 要长 学校运动场上挖了一个长方体形状的沙坑,长4米,宽2米,现在要把3立方米的黄沙铺在沙坑里,可以铺多米厚? 做梦梦到狮子是什么意思? 甲乙两车同时分别从AB两地相对开出,甲车每小时行40千米,乙车每小时行45千米,甲乙两车第一次相遇后继续前进,各自到达AB两地后,立即原路原速返回,两车从开始到第2次相遇共行9小时,求AB两地 学校要挖一个长4米,宽2米,深0.5米的跳远沙坑,需挖土多少方?如果在坑内铺上0.4米的黄沙,需要黄沙多少方 一个圆锥形沙堆的底面积是12.56平方米,高是0.6m,把这堆沙铺入长4.5m,宽3m的沙坑内,可以铺多厚?(结果保留到百分位) 甲乙两车分别从AB两地相对开出,甲车每小时行96千米,乙车每小时行88千米,相遇时,距AB两地的中点有40千米,AB两地一共距多少千米?
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn