说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

ASP.NET如何用正则表达式得到网站页面中的所有链接

HTML文档下载 WORD文档下载 PDF文档下载
有时候我们需要遍历某个页面中的所有链接,甚至遍历整个网站,本文介绍了页面内容分解的方法。

 

有时候我们需要遍历某个页面中的所有链接,甚至遍历整个网站。我们用WebClient.DownloadString或HttpWebRequest得到某个网址的页面内容后,可以用正则表达式对内容进行分解。

具体请看代码:

 

public void ExtractURLs(string str){    // match.Groups["name"].Value - 链接名字    // match.Groups["url"].Value - 网址链接    string RegexPattern = @"<a.*?href=[""'](?<url>.*?)[""'].*?>(?<name>.*?)</a>";    // 正则匹配    System.Text.RegularExpressions.MatchCollection matches        = System.Text.RegularExpressions.Regex.Matches(str, RegexPattern, System.Text.RegularExpressions.RegexOptions.IgnoreCase);    foreach (System.Text.RegularExpressions.Match match in matches)    {        Response.Write(match.Groups["url"].Value);        Response.Write(match.Groups["name"].Value);    }}

在取得url后,我们可以再用WebClient.DownloadString获得内容,再分解、再进入,递归调用循环往复就可以遍历整个站点。

 

 

UnitedStack:用社区的方式做IT 手游狂潮:小团队如何提高游戏数据化运营效率? 2012年全美CEO收入榜:扎克伯格第一、库克第五、Marc Benioff第九 专访:InMobi全球CEO Naveen Tewari MDCC 2013精彩专题论坛之产品与设计 中关村大型IT人才招聘会举办 现场火爆 [简讯]新代码编辑器Lime发布 号称Sublime Text的开源实现 从真实案例出发:如何在协作开发中避免误解! Google工程师谈程序员的自我修养 依然很强大:微软第一财季净利润同比增17% MDCC 2013垂直行业应用与O2O专题论坛透露劲爆话题 专访豌豆荚产品设计团队:Design Hackathon是绞尽脑汁之后的海阔天空 首日报名爆满超300 向C++大师Lippman提问征集 做华为合伙人:华为开发者联盟沙龙(北京站)即将开幕 Windows XP发行12周年 我仍年轻而你已垂暮 2013浏览器市场份额:Chrome领衔,Firefox、IE相去甚远 人人网陈弢:从RecSys2013看大数据和移动给推荐系统带来的挑战 继续紧逼Oracle:在占领谷歌等公司之后,MariaDB迈向企业端 移动周报:十款最实用的Android UI设计工具 阿里巴巴CTO王坚:开发者精神是云计算与移动互联网的“信仰” 黑客老鹰:安全软件同样需要用户体验 六届中国大数据技术大会PPT精粹(二) 专访百度蒋凡:从RecSys2013大会看推荐系统发展新趋势 Hike副总裁杜中强:携手阿里云OS,拥抱云时代 玩蟹科技CEO叶凯:手游和云计算的合作相得益彰 倒计时20天!金玩奖各大奖项花落谁家由你主宰 宅男程序员福利:来自纽约的28位智慧与美貌并存的IT女神 创季度记录:苹果发布第四季财报 iPhone仍是苹果商业心脏 在破晓中行走:一位盲人开发的盲人应用 腾讯云俱乐部成都站——云时代手游开发:用数据说话 首届微App峰会将在MDCC2013上举行 微信易信百度新浪等平台开发商云集 怎么样利用CHtmlViw将参数用POST的方式提交给WEB服务器 不明白.. 请问遇到连接错误该如何解决? pws的日志在什么地方? 在VBA中如何使用ClipBoard 哪里可以下载mastering delphi 6,或者其他有关delphi6的书籍。 vb和access的问题 C++Builder不支持tif或tiff格式怎么办? 为何我的TQuery为只读? 用Winsock传送文件如何判断一个文件已经传送完毕?(一定给分!) VC程序方法的请教。 请问如何禁用一个页面的cache 不好意思,怎么把引号赋给一个变量?thank 关于字体的保存,用序列化 关于oracle连接的一个简单问题 一个构件地址35分,快快来吧。 如何实现实时监测注册表的变化呢??????????? 如何锁定一个SQL SERVER的表? 哪里有Rose2000? MMGG Redhat7.2Ftp,硬盘安装问题求救! 请问怎样设置phpmyadmin带用户名和密码的登陆界面? 本来打算跳楼的,想想还是先来这试试...... 下面代码有什么用? 想问一下关于BDE和ADO组件的对应关系 就是这本《VC++技术内幕》……哎……我认了…… MSSQL2000 为什么我的log文件拼命往上涨 如何将用jsp得到的数据用javascript显示出来? 关于画声音波形曲线的问题.高手请帮帮忙(效果像flash加入声音时那样) TNND , 连个回复都不行 , 真恶心 (yeti_lee) 信用卡代理网站的可靠性 关于sqlserver联接问题帮一下了在线等待 小问题,高分啦!!:) 真的没有高手么,真的没人会么? 我为了使鼠标指向SpeedButton上时它的Caption颜色改变,在SpeedButtonMouseMove()和PanleMouseMove()中写了代码,但是很不敏感,鼠标移动快一点,就会有延时? 如何在Delphi5种调用windows自身的拨号网络实现点到点通过modem连接 回贴老是出错(该页无法显示。。。),试试发主贴怎么样。 哎!!!!帮帮忙吧!!!!!!! 高分求助!!!谁能告诉我在ASP下上传任意文件? 一个很菜的问题,和var有关 关于其他数据表/库文件转换进MySQL库的问题 请问在win98 下面安装 SQL Server 7.0 DESKTOP版 需不需要哪台机有网卡?? 关于网络设计师考试? 再发一次吧。昨天发晚了,人少.比较BCB和DELPHI我差点哭了,原来是这样,我以前的看法错了。BCB,你的路还长.BCB真比DELPHI慢得多,你们认为呢,有谁一起比过呢?来说说吧 对于SDK(win32 api)精通、熟悉、了解或者正在努力中的同志,希望能多多交流.qq:4911756 如何控制2000域用户上网权限 有没有用来关闭计算机的函数或消息呀! 很菜的问题,不要错过机会阿。拿分把 请问从哪里可以下载到免费的jsp的编译软件,谢谢帮忙!! 难得问问题,给个高一点的分,win95下的驱动程序怎么移植到windows me下面?(问题圆满解决可以加到400分,剩这么点了,呵呵) 谁能告诉我几个Activex控件的下载网址,我给他分 那一次,我懂得了 500字作文新颖 要有议论 友谊的作文400字 作文《假如只有一天生命》800字左右看好题目写,太短的不要,最低也是600字左右,回答满意的, 那一次,我懂得了尊重别人作文500字左右 关于友谊d的作文400字 帮我看看这样的开头和结尾如何?(作文题目为珍惜)大海广阔无垠,因为他珍惜每一条小溪;树叶发荣滋长,因为他珍惜每一缕阳光;群山连绵巍峨,因为他珍惜每一块砾石,而我,因为懂得了珍 那一次,我懂得了爱 作文600字 生命——永恒的乐章.谁有这篇作文····差点的,我用来应付老师的······那个我要的差点的作文啊·····老师不会相信这是我写出来的···· 我的好朋友 作文 400 作文:《生命的灯塔》结尾有文采一点 求一篇关于亲情的作文.要写家庭里的,这是我们的作业...我就是不知道写什么事例.最好是那种父爱母爱都写的,差不多初一水平就行了.至少500字. 以亲情为话题的作文 带评语!500字 关于友谊的文章该写什么题目 关于亲情的一篇作文500字作文,速求一篇! 亲情为题的作文细节描写500字我今天晚上的作业!要细节描写多的 要一篇关于民间工艺品剪纸的作文400字 找一篇关于亲情的作文要适合初中生(3)使用,语言优美,但不要无病而呻;要真实,有环境渲染,有细节描写,能够打动人心好的追加50分 关于亲情的作文500字 求一篇游记作文400字要有意义的 找一篇关于亲情的优秀作文 400字作文《我的好朋友》 以‘生命的灯塔’为话题的议论文800字左右,谢了 求一篇800字左右以发现为话题的作文.内容不要太深奥.初中水平就好 四年级我的好朋友作文400字,我的朋友是廖嘉钦 关于亲情的作文 600字急. 谁有《生命的灯塔 议论文》 是议论文哦! 诉求350字的描写男同学的作文 我心目中的爱情初中作文 以生命的灯塔为话题写一篇议论文800字左右 同学如手足350字作文………………………………………… 明天就要开学了.两篇要像初中生写的 生命的灯塔 议论文下面的一段文字,你读后有什么感想?请以“生命的灯塔”为话题写一篇议论文.古代希腊传说中有一个很凄美的故事.美丽的女教士希洛与阿拜多斯城的一位少年利安得尔相 与同学瞬间相识作文350字.今晚就要 初中作文 找一篇有关亲情的作文要有题目,范文,评价哦,不好意思,我还要这篇作文的题,和点评 关于同学之间诚信的作文350字 我心目中的世博 急用 求关于亲情作文一篇记叙文800字要细节描写我不想要百度一艘就能搜到的 生命——永恒的乐章为话题的作文自拟题目我要题目 心目中的虎 初中作文急 一篇关于亲情的作文王勃的《腾王阁序》 急求一篇以“生命永恒的乐章”为话题的作文.两天内, 友情作文怎么写 写你和一个朋友友谊的作文 400字左右 以“站台”为主题的作文 话题作文 生命的灯塔人生在艰难中最希望看到引路的明灯,我们要寻找自己人生引路的灯塔,同时也要为别人点亮希望的灯.请以“生命的灯塔”为话题写一篇作文,文体不限,字数600字左右. 写友情的作文400字 关于《月台》这篇文章的阅读答案是起点也是终点,是开始也是结束; 是欢聚也是离散,是出发也是归宿.从来没有一个地方,能汇集如许人的流动量,从来没有一个地方,能拥有如许悲欢离合.从 以生命的灯塔为话题作文话题:“生命的灯塔” 阅读下面材料,按要求作文.古希腊传说中有一个很凄美的故事:美丽的女教士希洛为对岸阿拜多斯城的一位少年利安得尔所爱.希洛每晚在楼上 生命永恒的乐章,作文 求描写风景的开头和结尾,还有怎么写,怎样才写得好?最好在两天之内.描写城市风景的开头和结尾,写作结构。最好与环保有关 求作文 那一次,我懂得了真情 作文“生命,永恒的乐章”主题为“生命,永恒的乐章”,800字,记叙文,角度小一点,不要偏题,题材即可! 写事作文“最美的风景”怎么开头,结尾? 描写人物友情的文章,要500字! 生命,永恒的乐章,作文,高中生的水平.800字以上! 我的好朋友作文,400字急.他叫乔明朝,幽默风趣,成绩中下,大方! 我眼中的风景范文急用 我的另一片天地 600字 写一篇亲情的作文300字
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn