说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

WDC超链接图:涵盖35亿网页、1280亿超链接

HTML文档下载 WORD文档下载 PDF文档下载
曼海姆大学研究人员公开了据称是目前最大规模的网络超链接图,涵盖35亿个网页和1280亿个超链接。

近日,曼海姆大学研究人员公开了一个巨型的网络超链接图(Web Data Commons Hyperlink Graph),以便于公众进行网络研究。这个网络图是从Common Crawl(一个提供网络爬虫数据的非营利性组织) 2012年语料库中提取的,涵盖35亿个网页和1280亿个超链接,很可能是现在最大的公开可用图。

这个图对于进行网络分析以及从事以下研究工作的人员将有很大的帮助:

  1. 搜索算法,并根据网页之间的超链接进行排名;
  2. 垃圾邮件检测方法,识别出“欺骗”搜索引擎的网页;
  3. 图分析算法,可以用超链接图来测试工具的扩展性\和性能;
  4. 在特定的局部领域的网络科学和链接模式,目的是识别管理这些领域的社会机制。

这些超链接图提供了4个不同级别的聚合:

  1. 页面级图:每个节点及其所有细节,代表一个单一的web页面,每个弧代表两页之间的一个超链接;
  2. 子域级别图:通过子域聚合页面图。在图中的每个节点表示一个特定子域 (像research.dws.uni-mannheim.de) ,如果分属不同子域间的页面存在至少一个超链接,则两个子域间存在弧;
  3. 第一级子域图:每个节点都代表一个第一级子域名(如dws.uni-mannheim.de ),所有下方的子域聚合到该域;
  4. Pay级别域图:每个节点代表一个Pay级别域 (置于uni-mannheim.de),如果分属不同Pay级别域间的页面存在至少一个超链接,则弧存在。


各级别图的规模如下:

页面图:35.63亿个节点,1287.36亿个弧

子域图:1.01亿个节点,20.43亿个弧

第一级子域图:0.95亿个节点,19.37亿个弧

Pay级别域图:0.43亿个节点,6.23亿个弧

其它公开的超链接图和网络爬虫数据集合:

另外,Laboratory for Web Algorithms和Stanford Large Network Dataset Collection也提供类似的超链接图数据,但是相比WDC Hyperlink Graph,数据规模较小、也较旧。(编译/李新宇 审校/周小璐)

原文链接:WDC Huge Web Graph - 128 billion hyperlinks - publicly available

Windows Blue正式定名Windows 8.1 对Windows 8及RT用户免费 Testin云测试破1000万次 自动化测试成趋势 接手Android后首次接受媒体采访 Sundar Pichai谈Android未来 C语言实现二分法查找 让开发者高效编程的10个新框架 Google Analytics中显示访客停留时间为“0”的秘密 大数据之惑 麻省理工三位物理学家自建数据库服务Cloudant 融资1200万美元 网页浏览器进入再造新时代 AMD揭露HSA运算架构新技术hUMA细节 美团悄然上线云主机服务:与亚马逊殊途同归,还是另有谋划? 微软发布deep-tech团队招募令,期望获得下一代开发者的支持 2013谷歌I/O开发者大会:发布多个软件产品和服务 C语言实现二分法求解方程 开发测试云与虚拟化解决方案 学苹果?微软淘汰Points支付系统改用Gift cards 甲骨文改变Java版本号命名方式 [CTO俱乐部第97期]中科院、腾讯、深圳明源研发团队管理经验分享 Android Studio来了,它能取代Eclipse吗? Google Play Game不够开放,被OpenKit炮轰 Google Play Game Service详解 不仅提供API更提供后端支持 IBM Power走向Linux,是必然的! 美国国家安全局解密特工培训手册:如何利用谷歌等大众搜索工具搜集保密数据 微软IE10如何保护上网安全(大图) 谷歌无畏苹果的理由:强力的算法和基础设施架构 开发者热议异构统一内存访问技术(hUMA) 千万级并发实现的秘密:内核不是解决方案,而是问题所在! Apache RewriteRule重写规则语法入门 IDC:2013 Q1 Android和iOS出货量占92% WP首超黑莓 传雅虎欲10亿美元收购轻博客网站Tumblr A Beautiful Mess:如何赚男人女人的钱 这个查询怎么写? rzhou(海盗) 收分来 寻程序员,短期,欢迎加盟!!!!!---------熟悉j2me的!!!!面试合格,待遇为150/天 如何在ADO中设置SQL的字符集? fastreport合计问题????兄弟们指点指点啊!!!! 怎样提高DCOM的响应速度 如何用ASP 在函数/过程中建立全局变量 金刚般若波罗蜜经  陈天竺三藏真谛译  如是我闻。一时佛婆迦婆住舍卫国只陀树林给孤独园。与大比丘众千二百五十人俱。尔时世尊于日前 一个矩形件的排样下料问题,一批板料(长L,宽W),n种零件,每种零件宽度和数量分别为:li,wi,mi,求优化排样结果,恳请各位大侠帮忙!! 请教:关于treeview 读取SQL Server的numeric字段用什么函数? rzhou(海盗) 收分来 急救:“段落或字节不能超过64K”???在线等待 初级问题! rzhou(海盗) 收分来 大家好!!用java开发数据库!!请帮忙!! 排序问题! 1。对vcl库底层机制一些不明白的地方 可以写代码导入数据吗? 连接ORACLE数据库时候的错误提示 关于动态查询表为空时,怎样获取一个条件??最终调取一个提示框 菜鸟提问,向高手请教一个VB中SQL中的问题, 怎样显示局域网内的所有计算机 请问谁有用VMware设置好的solaris文件啊?或是那里可以下载啊??谢谢了~~ 帮帮小弟呀!!散分 在本地机遇到数据无法提交或读取的事,动网论坛的数据也无法读取,什么原因啊 寻程序员,短期,欢迎加盟!!!!!-------熟悉j2me的!!!!面试合格,待遇为150/天 关于Form的构造函数和OnLoad方法...... 请教Web Services的分布式创建和引用的问题?急!!!!! 在c#的WinForm中如何显示cdr文件,CorelDraw图片哪怕是8.0也行 在建立vc 工程的时候选择了生成hlp 文件。我把我的工程放到别的机器上的时候有如下的错误 怎么样得到游标中的数据的多少记录。 求解1000的阶乘 请问大虾有关BootCode方面的一点问题??非常急! 高分请教:如何在安装程序时注册OCX控件? 请问:在TDbgrid控件的TitleClick事件里如何取得鼠标击键的坐标位置? netwell服务器有不断的响声,急急急................. ★★请教新闻发布系统的图文混排问题 在建立vc 工程的时候选择了生成hlp 文件。我把我的工程放到别的机器上的时候有如下的错误 这句SQL应该如何写? 怎样在VC里面开发手机上程序?需要装什么软件? 请教:这个onLoad事件怎么不起反应 关于web services,大哥麻烦帮助小妹吧! 我现在神思恍惚,无心工作,天天上网灌水打发时间,大家估计我多久会失业? 使能工具栏的某项 网络下载编程求助(紧急求助) 如何判断一个字符串中是否含有某一字符? 如何在网络断开的情况下判断,等网络恢复后再自动连接??? 如何在comboBox中添加icon--在线= 救人啦!!请教BootCode方面的问题,十万火急!! 一个关于 WISE installation 制作安装程序的问题 鸽子抱窝为什么蛋不下窝里 法国的半球位置 蜥蜴在晚上眼睛具有夜视镜功能吗? 冷血动物有那些,蛇是冷血动物吗? 主旨和核心的区别 美的变频质量怎么样?销量呢? 1+1到底等于多少啊!TMD烦死我了.我只要一个答案. 关于冷血动物(蛇)的传说. 秘鲁有哪些地方好玩? 北京能看到8月1日的日食吗? 我的珍珠鸟往窝里叼草是不是要生蛋了呀?如果是快生蛋的话那要注意的什么 《傅雷家书》充满着作者的( ),( ). 8月1日的日食建能看到吗? 海尔 美的 白雪 星星和澳柯玛冷藏展示柜哪个质量和售后好? 傅雷家书中令作者有快乐又惆怅的是什么事 “留守儿童”一词来自哪里? 澳柯玛展示柜 《傅雷家书》的作者是谁?并介绍作者本人. 砌quan机井的quan字怎么写 再过整整一个月左右的时间,我们就毕业了.修改病句 傅雷家书作者简介600字,一篇搞定 2008年8月1日的日食江苏能看到吗?我家在江苏淮安(苏北),请问能不能看到哪怕是偏食?如果能看到日食,那么时间是几点? 下列对气候的描述与其对应地区组合正确的是什么(七上特训第三单元自测题12 )A,冬季漫长寒冷,生长大量耐寒树——漠河地区寒来暑往,四季分明——新疆、内蒙古地区全年炎热多雨, 为什么双脱硫塔运行液位下降单脱硫塔液位升高 2008年8月1日威海能看到日食吗?能看到日食吗?提供个好地方...用什么看? 夜视镜是什么东西原理求大神帮助 2008年8月1日的日食明天早上有有关日食的新闻报道吗?具体什么时间? 具体描述一下世界气候类型分部在那些地方?不要说分布的纬度,要具体的大洲,国家或者半岛什么的. 说明在伊拉克战争中中美士兵所用的夜视镜的原理 倩碧黄油,水嫩保湿精华霜(倩碧水磁场)哪个好用 1.质量为100克的物体从500米高空自由下落到水中 下落时重力做功的5%转化为水的内能,则能使多少水升温.2.一长方体吕块对地面产生的压强是9.8×10的三次方,如其底面积为100平方厘米,则要是它 噬菌体的基因组进入宿主细胞并整合到宿主DNA上后被称为前噬菌体,而前噬菌体不能独立进行繁殖.判断题对吗 向农村留守儿童献爱心,爱心祝福语有什么, 初2物理几道题(30分钟内给答案+30分)1.男生发声时声带的的振动的频率比女生______ 因此可以认为男生变声期是______发生了变化.2.小明转动功率放大器调调高音量,观查到音响中纸盆的振动频 希望有高手等给我初中电学的详细说明 送给老师的祝福语,文言文50字以上,或诗句必须对仗 根据开普勒行星运动定律,行星以太阳为圆心做 匀速圆周运动.如果行星质量为m,行 星与太阳之间的距离为r,试推导太阳对行星的引 力F与m/r的2次密的正比关系. 噬菌体将一个寄主细胞的DNA片段转移到另一个寄主细胞的过程叫做什么? 关于六一儿童节的全部知识,来源,诗句,诗歌,祝福语等 电风扇1小时用电多少 就是一般的那种 单链DNA与双链DNA在碱基比例上的区别? 冰箱冷冻时最低温度是多少 浮顶罐液位最低控制多少我们装置有14个内浮顶罐,从1000到5000不等.是否浮顶罐液位都要保持2m以上.低了会有什么不好的影响?请各位大侠多多指教 关于下棋的古诗有哪些? 冰箱冷冻室最低温度是多少 人类历史上气候谈判的详细进程及相应成果?急求!谢谢~~ We have to stay in the classroom to wait for our teacher.(对stay in the classroom to wait for our teacher)提问————,———— you ————,———— do?2.The children are singing beautifully in the garden.(改为感 今年8月1日的日食在加拿大能看到吗?今天暑假我可能要去加拿大 夏令营啊,8月1日我生日啊,不过也在加拿大过额.在那里能看到日食吗? 如何利用压力传感器实现液位控制 无限长导线产生的磁场到底是多少啊?有的说是kI/r ,有的说是 μI/2πrk=μ/4π到底哪个对呢? 据说今年有日食,请问今年日食的时间.万分感激! 全球气候谈判是怎么进行的? 英语题目要原因2题1.He watched a froup of children______football on the playground.A.to play B.p;ay C.played2.We have every ______(reasonable)to refuse.英语问题(共2题,要原因) 傅雷家书1954年10月2日聪,亲爱的孩子.找出两个结构相同的词语!1954年10月2日 聪,亲爱的孩子.收到9月22日晚发的第六信,很高兴.我们并没为你前信感到什么烦恼或是不安.我在第八封信中还对你 联合国框架内的气候谈判共经历了哪三个阶段 最近不少商场搞活动,美的电风扇直流变频如何? 今年8月1日长江中下游地区能看到日食吗?日偏食也行,请说说具体看到日偏食的时间,时间长短我的地理位置是安徽安庆 请问政治中的“核心”和“关键”有什么区别呢? 美的直流变频风扇怎么样?好用不 快讯:第九届两岸经贸文化论坛闭幕式在随笔:摩洛哥的看车人通讯:第29届“天翼掠过休斯敦”新华国际时评:以自主创新维护“数据主伊拉克首都发生多起汽车炸弹爆炸 至少国际财经一周大事回顾:第四次中欧经贸国务院常务会议部署推进公司注册资本登格鲁吉亚总统选举开始投票印度火车站炸弹爆炸造成一死一伤美国纽约发生持刀杀人案5人丧生 死者伊拉克首都发生多起汽车炸弹爆炸 至少韩拟从美国采购大批导弹 构建韩国型导韩拟从美国采购大批导弹 构建韩国型导华盛顿举行抗议反对监控墨前官员吁美出示监听文件四川泸州逾百名商贩不满涨租金集体罢市美国纽约5人遭持刀袭击身亡 警方已拘人大校内开设俄式西餐厅 网友赞高贵大印度连日暴雨致29人丧生 逾7万人强福田康夫:日本的发展需要依赖国际社会福田康夫:日本的发展需要依赖国际社会陆昊会见南方航空集团客人到2020年我国地理信息产业总产值将中超联赛“最赚钱“一年 收益将到3.金融租赁公司应完全控股子公司林依晨谈结婚:等念书回来再说民间创业热情持续高涨 注册资本规模增河南濮阳公务员白菜价买高档小区 疑公2013年国企“家底“超百万亿 上交朱雨辰谈感情:到了那个激情的阶段自然沪指大涨2.41%创年内新高 各大板男子用酒瓶瓷碗自制乐器 能敲出“军港搜狐二季度总营收4亿美元 同比增长1东南V3菱悦精明版4.98万元四川教育厅:新学期调整贷款标准 最高泰达宏利三基金被两熊“抓伤”业绩急降奶茶妹刘强东同居 盘点娱乐圈父女恋(博你一笑皮肤瘙痒 王教授有妙招这里气温只有25℃10月召开十八届四中全会重庆携手惠普推动大数据产业发展
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘