说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

ASP.NET如何用正则表达式得到网站页面中的所有链接

HTML文档下载 WORD文档下载 PDF文档下载
有时候我们需要遍历某个页面中的所有链接,甚至遍历整个网站,本文介绍了页面内容分解的方法。

 

有时候我们需要遍历某个页面中的所有链接,甚至遍历整个网站。我们用WebClient.DownloadString或HttpWebRequest得到某个网址的页面内容后,可以用正则表达式对内容进行分解。

具体请看代码:

 

public void ExtractURLs(string str){    // match.Groups["name"].Value - 链接名字    // match.Groups["url"].Value - 网址链接    string RegexPattern = @"<a.*?href=[""'](?<url>.*?)[""'].*?>(?<name>.*?)</a>";    // 正则匹配    System.Text.RegularExpressions.MatchCollection matches        = System.Text.RegularExpressions.Regex.Matches(str, RegexPattern, System.Text.RegularExpressions.RegexOptions.IgnoreCase);    foreach (System.Text.RegularExpressions.Match match in matches)    {        Response.Write(match.Groups["url"].Value);        Response.Write(match.Groups["name"].Value);    }}

在取得url后,我们可以再用WebClient.DownloadString获得内容,再分解、再进入,递归调用循环往复就可以遍历整个站点。

 

 

微软雷德蒙研究院副总裁:从计算研究到惊人发明 还驾驭不了4核? 别人已模拟出百万核心上的并行 RIM将网络直播BlackBerry 10发布会 解读TDD的五大误区 Amazon 2012财年Q4财报:电子书业务增长70% 从暴风影音CTO到创业者:画中画相机话中话 为什么Android应用开发总要比iOS晚? 传奇VC马克.安德雷森:未来的企业什么样? 呼吁国会通过“创业签证”:奥巴马助力美国招揽海外人才 Surface Pro最低1019美元,价值究竟如何? 搜狗号码通产品经理谈微创新 数据和运营更关键 在线推荐系统是如何进行工作的? 欧朋浏览器上架App Store,iOS生态真要变天? 苹果iOS 6.1地图搜索API将替代谷歌Places Oracle向开发者承诺 称尽快修复Java安全问题 日本:开发者与投资人都不容忽视的移动市场 Unity 3D引擎:十大最火的插件推荐 重塑品牌 RIM更名黑莓 发布BlackBerry 10移动操作系统及新手机 NoSQL依赖的不只是大数据 还有应用程序架构的改变 新一代Apple TV增强内在组件 外观不变 加速Web开发的7款知名HTML5框架 Firefox OS开发者日来袭 5小时15款Web应用出炉! 微软发布Office 365家庭高级版 订阅费499元/年 鲍尔默对Office信心满满,十亿用户量触手可及 【多图】梦幻现实 IBM的未来超级计算机水世界 一名骨灰级工程师的OpenStack部署总结引发的讨论 解读DuckDuckGo搜索 百万点击也敢叫板Google 开发者成功学:扔掉你那些很sexy的想法 VMware严控ESXi API 引发用户和ISV被绑架担忧 布局O2O Facebook推出实物礼品卡 iSuppli:微软Surface RT实际销量远低于出货量 简单的问题解决不了!!~~ 大家帮忙 这个语句可以实现嘛??来者有分!! 我要将菜单设置背景色,怎样实现。Tmenu.color怎么会出错? SOS!紧急求救!如何用ASP和SQL SEVER编写网上考试系统 求助 大家帮我看看这个数据绑定问题 请问个位高手?为什么在VS.NET中无法创建或打开web项目?高分求教? 背景图的平铺 请问388支持全屏显示吗? 有没有属性可以指定COMBOBOX下拉后出现的列表的宽度? 如何显示数据? 急请帮忙? 请问各位到哪里下载websphere呢?谢谢了! 本人近期换工作,请问做软件测试如何?也就是通信行业的软件中试工程师,我有三年的软件编程经验,大家进来谈谈。 求救! 数据库里的一字段为空null怎么表示? .NET实在恶心,有了<%=Request.QueryString["clinic_code"]%>,就不能可视化了。 听来的两个恐怖故事,有空进来喝口茶吧^-^ 心情不好想要点安慰!!! ---------exchang 工作流问题----------- 用kdevelop编译完,总执行不了c++程序,不知何原因?? 用kdevelop编译完,总执行不了c++程序,不知何原因?? 有个项目数据大概有上亿条记录,大家看看是否一定需要数据仓库处理?用分布式分区行否? 各位大虾:请问能不能在sql语句中的 from 后用一个变量来表示表名。高分相送,不够再加! 数据库问题 在同一个页面中,如何让SessionId产生不同的值。 MDI问题:如何在已show的子窗体中点击按钮来show一个另外的子窗体? 问一下xdjm~~~ 我我哦窝窝窝窝窝窝窝 一个记录输出的问题。。急急,,help me!!!在线等待。。。。。。 如何从服务器端下载文件到客户端? 高分求解:如何利用win2000的活动目录技术进行统一登录 有没有在datalist下分页的好方法? 数据窗口中如何得到某个字段在修改之前的值? 服务器事件报错 我想知道在哪可以下载 Microsoft Visual Studio 的中文版 着急的问题 也许是个简单问题 帮忙? 要判断_variant_t类型和CString是否相等,怎么做类型转换? 紧急求助!!!! 女友被抢!!!!!!!!!!!!!!!!!!!!!!!!!!!!! 看看这句代码,在线等待。 请问如何将SqlDataReader类型转变为SqlDataAdapter类型? 寻找开发调试器的网上资源 我想知道在哪可以下载 Microsoft Visual Studio 的中文版 ===有关Datagrid模板列:在里面添加Radio控件,如何设置和获取它们的值[紧急,一定给分]=== 有没有人用过dtl.lib(database template library)编写数据库程序? 就差一点了 谁能回答我关于 Junit 的问题 谁能告诉我,mysql的update语句是否可以用正则表达式呢 关于maxplus的一个问题。 溴离子 碘离子 硫离子的检验实验如题.求一个实验步骤 能反映商朝手工业发展水平的是 1兵马俑2司母戊鼎3彩陶4四羊方尊 A123 B23 C234 D24我选的是C,但很多人选D,就这一个题可以决定我期末总成绩的命运了 什么猪会上树额 米氏的由来. 注塑机射胶时中子会动作怎么回事有中子信号输出,在哪里选用中子保护和中子保持 散射的读音是什么? ———— is the ninth month of a year.A September B Augnst C Norember 全国高中生物竞赛命题思路和大纲 小军用沿水平方向为2N的力拉放在水平地面上的小桌,但没有拉动,此时小桌与地面之间的摩擦力大小为____N,如果拉力增大到10N,但仍然没有拉动,此时小桌受到的摩擦力为____N,当拉力增大到15N时, 米姓的来源 是什么? 一个物体的摩擦力环境不改变,改变力的大小而改变摩擦力吗,比如说有一个重0.4KG的东西用0.5N的力拉,没动此时它受的摩擦力为0.5N,如果用0.6N的力拉以匀速直线移动着那么此时受的摩擦力为0. 都只勉强会做那些做过的题型 做过的题型也不是所有都会 一看到新的题型就一点办法都没有 其他同学都能想出来 为什么我想不出来呢 学数学是不是要是什么天赋啊我觉得这样学数学太被 关于生物竞赛国赛考纲的一句话使用以数字密码标明生物学术语的表格来确切描述一幅生物图.这句话嘛意思?3Q 概率论和数理统计问题 请问谁知道描写春天的现代诗歌谁知道?了解的说下吧,感受大伙7X 高中生物竞赛的得分窍门是啥?没思路啊 概率论和数理统计.如图中的第3题怎么做? 在克隆过程中,采用了_______移植,____培养,___移植等现代生物技术 变性淀粉消泡剂是什么样的,液体、固体、还是? 木星=几个地球? 克隆工程是生物工程的一项吗? 高三错题怎么总结 Flotherm的CFD概念是指什么? 什么是生物工程?克隆工程是生物工程吗? 题:一只可爱的熊熊掉进了一个洞里,熊熊下坠2s到底,下坠路程20m 问:这只可爱的熊熊是什么颜色 (非脑筋急转弯) 关于神经大脑之类的知识,需要一些概念知识.人体神经大脑类的一些相关知识概念`... 为什么说陆地上的食物链主要是腐食食物链?1.麻烦给一下腐食食物链的定义2.还有别的种类食物链么?3.RT第三个“如题”的问题,最重要的问题没有回答诶…… 求一道高三综合题 为什么人们需要理论知识?在从事工作的时候,应该是先学理论知识再实践,还是应该先实践再理论?是不是人们明白了理论、懂得“为什么”,在做事情的时候才会心更静一些?更不慌不忙一些?或 例举一条腐食食物链 苹果香港官网Apple Retail Store 怎么预定iphone4S啊?我看官网有2种订购方式.一种是要有香港邮寄地址和电话的,这个香港那边没朋友,所以没办法.我是深圳人,听说官网的Apple Retail Store 可以预定,然 摩擦力分为哪几种 秃鹫吃腐肉形不形成食物链啊?如果形成是什么食物链啊,腐食食物链还是捕食食物链?如果不形成, apple retail store是什么 函数y=3^x与y=-3^(-x)的图像关于下列哪种图形对称 A.x轴 B.y轴 C.直线y=x D.原点中心对称 想知道:回族米姓的由来 apple retail store深圳站本人很荣幸参加了5.24深圳apple retail store 的面试.由于签了保密协议,这里只是问问那些参与过的朋友.你收到邮件没?我都快变怨念体了 函数y=3^x与y=-3^(-x)的图像关于下列哪种图形对称 A.x轴 B.y轴 C.直线y=x D.原点 米姓是什么民族 大家告诉我下描写春天的现代诗歌谁知道? 有人了解的说下吧,打心底感受大伙了剁5 画波浪线的式子的极限为什么是1 电镀废水中液碱的作用是 处理污水的方法 1 中和法 2 3氧化还原法 4 过滤法 A123 B 124 C234 D 1234,为神马不是C 为什么在高空地转偏向力会垂直于等压线?也就是说,在高空为什么地转偏向力会垂直于地面? 1吨的酸性污水,ph要从1调到8,2调到8,3调到8,要加多少的50%的液碱?我要的是标准的公式 请问下谁知道描写春天的现代诗歌谁知道? 有人了解的说下吧,打心底感受大伙了 武汉创亿电气的直流电阻快速测试仪都有哪些型号 知道的告我一下下 . 蒸氨塔废水管道加液碱后经常堵,什么原因 请问下有人知道描写春天的现代诗歌谁知道? 有人了解的说下吧,打心底感受大伙了 激光拉曼散射光谱主要用于哪些方面 α离子散射实验的问题1.大多数α粒子能穿透金箔而不改变原来的运动方向2.一小部分α粒子改变了原来的运动方向3.有极少数α粒子被弹回来请告诉我上述现象的原因? 固体和液体反应,能产生气体的有1.锌和稀硫酸2.石灰石和盐酸3.氯化钠和水4.氧化钙和水 A123 B124 C234d134 我们来换位思考,如果有一天猪来统治世界会怎么样. 试计算α粒子被散射后,散射角大于60°的α粒子数与总粒子数之比.那种类氢离子的巴耳大神们帮帮忙基态氢原子电离能是eV,玻尔轨道半径 原子中量子数 相同的最大电子数是 .电子的电荷 p电子 散射的散的读音 固体绝缘材料电气强度试验装置(DX8388)的主要概述是什么?固体绝缘材料电气强度试验装置(DX8388)的主要配置和主要技术参数分别是什么呢? 病毒算不算处于食物链顶端的生物?我不是说的经典食物链,而是从食物链的理论上来重新分析这个问题。因为我认为病毒不给其他生物提供营养,但是却可以以几乎所有生物为“食”,从这 常见的生物能形成那些食物链某种生物突然增加或减少,将对食物网中其他生物产生怎样的影响 为什么要分成两种摩擦力?那种情况下发生哪种摩擦力? 日本学生12万粒杏仁膏立体再现法国印芬兰计划实施新禁烟法 拟禁居民在阳台日本议员“告御状”欲破天皇不干政禁忌韩被日本强征女劳工状告三菱获胜 获赔调查报告称澳移民目的地开始从欧美转向会议记录爆奥巴马医改网站开通首天仅6芬兰计划实施新禁烟法 拟禁居民在阳台斯诺登不会赴德就监听事件作证 可在俄重大内政外交事奥巴马一问三不知 遭讽韩国法务部否认对检方调查国情院干政案韩国女劳工曾被日本强征 胜诉将获赔上Facebook承认传闻:年轻人已开挪威一商店万圣节装饰“残肢”吓哭小朋英外卖员即将做科技顾问送最后一份外卖巴勒斯坦欲就以色列建定居点寻求国际司泰国国会下议院在争议中通过特赦法案纳粹盖世太保头目被指埋葬于柏林犹太人巴西副总统特梅尔将于11月4日至10美驻马来西亚大使替美在全球监听行动辩纽约街头惊现“旭日旗”壁画 韩忧军国外媒称俄拟拨款200万美元用于销毁叙今晚电视编辑列表举办景区安全文化节出租车后座椅发现一鼓鼓的钱包 乘客提南京将控制闹市区停车供给 建地上立体被国家图书馆收藏越野车自燃 宾馆提供6个灭火器救援专家推荐内地游学联盟成立禁报外校白百何演“绝症女孩”投入深难走出索菲特钟山高尔夫酒店 举办儿童绘画比航企降价与高铁抢客源最高或罚款10万元《世界那么大,我想去看看》卡扎菲次子被判死刑技术奖励申报推荐项目公示的通告穿耳洞文身或感染肝炎陕西品牌名校 西安正大学校不再受户籍限制“夏约湖氵父”避暑季启幕 四种避暑线
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘