说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

ASP.NET如何用正则表达式得到网站页面中的所有链接

HTML文档下载 WORD文档下载 PDF文档下载
有时候我们需要遍历某个页面中的所有链接,甚至遍历整个网站,本文介绍了页面内容分解的方法。

 

有时候我们需要遍历某个页面中的所有链接,甚至遍历整个网站。我们用WebClient.DownloadString或HttpWebRequest得到某个网址的页面内容后,可以用正则表达式对内容进行分解。

具体请看代码:

 

public void ExtractURLs(string str){    // match.Groups["name"].Value - 链接名字    // match.Groups["url"].Value - 网址链接    string RegexPattern = @"<a.*?href=[""'](?<url>.*?)[""'].*?>(?<name>.*?)</a>";    // 正则匹配    System.Text.RegularExpressions.MatchCollection matches        = System.Text.RegularExpressions.Regex.Matches(str, RegexPattern, System.Text.RegularExpressions.RegexOptions.IgnoreCase);    foreach (System.Text.RegularExpressions.Match match in matches)    {        Response.Write(match.Groups["url"].Value);        Response.Write(match.Groups["name"].Value);    }}

在取得url后,我们可以再用WebClient.DownloadString获得内容,再分解、再进入,递归调用循环往复就可以遍历整个站点。

 

 

微软发布SQL Server 2014预览版,展示内存数据库技术 帮助软件开发者提高效率的10个小窍门 我想做个程序员:Technovation Challenge圆女孩编程梦想 未来我们开发的Google Glass应用将会是什么样? 独家:前RIM大中华区总经理刘征宇,加入Appconomy 用一个API搞定一切 Segment.io为移动开发者提供便利的分析数据分发服务 TIOBE 6月编程语言排行榜:JavaScript回归前十 《Kingdom Rush Frontiers》上线后 迅速抢占27个国家游戏榜首 移动周报:85后程序员,iOS开源项目,细数7天大事件! Instagram:从Redis到Cassandra 成本节省1/4 乐元素CTO凌聪访谈:游戏引擎技术选型之王道 iOS 7的新设计并非止于外表 WWDC 2013大会10大启示:正向开发者支付大量现金 云计算大会微软专场成功举办 Windows Azure公众预览版上线 IBM全球大裁员 在美国裁员已经开始 动动鼠标,决定“中国十大优秀开源项目”的归属 为改善Flickr 雅虎收购拍照应用开发商GhostBird 让你轻松学习新代码库的六个步骤 RESTful API 设计最佳实践 谷歌11亿美元豪购Waze原因:获取数据 争本地广告市场 为什么大家都要疯狂吐槽iOS 7的扁平化设计? 伟大的程序员是天生的,不是造就的 比Hive高效7倍 Facebook推新一代查询引擎Presto 未来的存储系统设计——PMC技术交流会举行 第五届中国云计算大会PPT尝鲜:十位专家分享的架构实践 “DIY”可穿戴设备:索尼开放智能手表固件 在微软的八个月里,我学到了这些 谷歌实习生每月都拿$6000,你呢? 【第五届中国云计算大会】由瓦特变比特输出,新疆要做中亚云服务中心 应用程序扩展性实现的十宗罪 图文:看谷歌实习生的惬意生活 有武汉的朋友么! 加我qq 7095682 看完《美丽人生》 帮帮我 一条菜虫问一个很菜的问题? 当数据库中没有图片时候该怎么办 关于时间掩码? 问题挺多的?请不吝赐教!都是小问题! Turbo c一定要安装在win98下吗 如何修改存储器参数,我的表会越来越大,原来用默认参数 看了下面的帖子后我自己的一点感受 我怎样定位我的涉及DataReader的表格? 如何制做半透明窗体,上面的控件也要能控制是否透明。 我要转行了,也许CODEING只是爱好,要把它做为职业,惨,,, 请问大家能不能推荐一本关于PHOTOSHOP 7.0 DREAMWEAVE MX 的书籍 一个简单的图像序列化存储 EDIT1.TEXT从用户接受的内容如何放进ARR 设计数据库时这样的情况应该如何处理 CFileFind::FindFile()的查找路径是怎么确定的? 很菜的问题 关于red hat9的小问题 不知是程序写多了还是失恋的缘故!我头上有一块地方不长头发了,医生说是斑秃!不知程序员里有斑秃的吗? 一IT美女的悲惨遭遇◎! .net2003的编译器如何为类添加消息映射啊???? JAVA的文本编辑,实现修改和排版 Jmai发送邮件问题? 高分求c++ test 我成功配置了一备用数据库,与主库连上了,可是主库坏了,我怎么打不开备用库啊? (SDK)怎样用SendMessage函数反选一个checkButton control(checked->unchecked)呢? 求救,为什么关于VB的帮助的事例看不到? 有拒绝爱情的吗?我还在念大学 做一个不是很大的网站,是用类好,还是用模块的好? 如何对本地机的共享文件夹设置密码 一个讨厌的QQ木马网站如何防治,最好有人能黑了它! 谁写得有能随机生成数字和字母的函数,借来用用? 快速排序的问题。求救 使用 CDatabase 读写 excel 文件的问题。 水园的朋友们,你们好!!!学校的网页!!! how can I show the correct word? 我的机出现了网络重名~~改IP也没用 庐山印象(ZT)----让我想起我小学写的作文哦!看了会起鸡皮疙瘩的! 请问谁有avphone控件3。0的破解版 学校的网页!!!! 500分! 求win2k下探测和阻塞ping的源码. 有关CASL的一个菜问题,请各位帮忙看一下 关于window.confirm的问题,简单问题解决后既散分 请问doc,pdf等文件在iframe中的显示 怎样给datagird的列定义标题? 怎样判断一个文件是否存在呀? 超市系統的報價?? 如何取得类名为#32770的窗口句柄? 我在web.xml里这样设置首业为什么不可以? 修路工程修路土石方价格怎样计算? jav.me是什么 一修路工程,要使修路工程比原计划提前5天完成,需将原定的工作效率提高百分之二十五,则原计划多久完成?我的理解是,这项工程的工作效率提高百分之二十五,就提前五天,那么百分之百的的 西风黄叶雁行单是什么意思 2×+×+4分之3×=150 1分之3,百分之150,1,4分之3,百分之60之间有什么规律 试管进入周期应该吃什么 想表达 我就是我 与别人不一样 的意思的成语! 宫腔镜手术后多久可以进入试管周期 古代和现在成语不一样意思有哪些 提供一些表格描述的英语句型 美国采花大盗将获释搬到居民区 遭民众日本将启用自卫队军官任国家安全保障局昆西 琼斯向杰克逊信托人索赔6080潘基文强烈谴责刚果(金)反政府武装袭河南济源回应7公里6个“收费站”称非媒体称养老金并轨已无悬念 执行路线图阿根廷国会选举受瞩目 现总统或丧失部加拿大机场现可疑包裹 警方搜查机场附格陵兰拟向中澳开放铀矿与稀土 仍需丹美国官员:奥巴马早知国安局监听默克尔浙江高校获专业设置“自主权\" 不再二套房平均利率降至5.65%首套房平均利率4.89% 创历史新男子持刀杀害同居女子 从11楼坠下身东风汽车公司总经理朱福寿接受调查江苏徐州狱地互帮共建 破解司法系统工中国科协副主席陈章良赴黑龙江省调研农深圳罗湖民办三人街头篮球赛引追捧大众集团排放作弊案或涉20人 已有1李大霄:11.3大盘将有大动作!必将加班熬夜衰老不算工伤 白领美白嫩肤秘秀恩爱了,钱也赚了...奶茶妹妹朋友零使之琼华剑仙雅典娜的印记中文翻译重生之执掌诸天星空之剑破爱情狂人情世枭雄开错金手指的穿越者超脱之往生大家都来打鬼子夏娜之虹炎虹翼重生之法海极乐佛藏经洞陈列馆旅游戚继光故里旅游大清真寺旅游鹿园旅游梅力更旅游苏马湾生态园旅游连岛海滨浴场旅游妈祖影视城旅游梅窝旅游鄂陵湖旅游扎陵湖旅游
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘