当前位置：首页 > 编程日记 > 正文

.NET2.0抓取网页全部链接【月儿原创】

编程日记 2024-11-07 11:50:00

.NET2.0抓取网页全部链接

作者：清清月儿

主页：http://blog.csdn.net/21aspnet/ 时间：2007.4.18

该方法经过对各大门户网站测试结果是抓取率100%！

效果图

后台代码：

using System;
using System.Data;
using System.Configuration;
using System.Web;
using System.Web.Security;
using System.Web.UI;
using System.Web.UI.WebControls;
using System.Web.UI.WebControls.WebParts;
using System.Web.UI.HtmlControls;
using System.Text.RegularExpressions;
using System.Net;
using System.IO;
using System.Collections;

public partial class _Default : System.Web.UI.Page
{
    protected void Page_Load(object sender, EventArgs e)
    {
        if (!IsPostBack)
        {

        }

    }

    protected void Button1_Click(object sender, EventArgs e)
    {
        TextBox2.Text = "";
        string web_url = this.TextBox1.Text;//"http://blog.csdn.net/21aspnet/"
        string all_code = "";
        HttpWebRequest all_codeRequest = (HttpWebRequest)WebRequest.Create(web_url);
        WebResponse all_codeResponse = all_codeRequest.GetResponse();
        StreamReader the_Reader = new StreamReader(all_codeResponse.GetResponseStream());
        all_code = the_Reader.ReadToEnd();
        the_Reader.Close();
        ArrayList my_list = new ArrayList();
        string p = @"http://([/w-]+/.)+[/w-]+(/[/w- ./?%&=]*)?";
        Regex re = new Regex(p, RegexOptions.IgnoreCase);
        MatchCollection mc = re.Matches(all_code);

for (int i = 0; i <= mc.Count - 1; i++)
        {
            bool _foo = false;
            string name = mc[i].ToString();
            foreach (string list in my_list)
            {
                if (name == list)
                {
                    _foo = true;
                    break;
                }
            }//过滤

if (!_foo)
            {
                TextBox2.Text += name + "/n";
            }
        }
    }
}

前台
<%@ Page Language="C#" AutoEventWireup="true" CodeFile="Default.aspx.cs" Inherits="_Default" %>

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">

<html xmlns="http://www.w3.org/1999/xhtml" >
<head runat="server">
    <title>抓取网页所有链接</title>

</head>
<body >
    <form id="form1" runat="server">
    <div>
        <asp:TextBox ID="TextBox1" runat="server" Width="481px"></asp:TextBox>
        <asp:Button ID="Button1" runat="server" OnClick="Button1_Click" Text="提取" />
        <br />
        <asp:TextBox ID="TextBox2" runat="server" Height="304px" TextMode="MultiLine" Width="524px"></asp:TextBox></div>
    </form>
</body>
</html>

https://www.dkcj.cn/info/26456.html

.NET2.0抓取网页全部链接【月儿原创】

相关文章：

腾讯会议又一黑科技，屏蔽超过 200 种会议噪声是如何做到的？

zabbix之日志文件监控

深度学习三巨头共同发文，聊聊深度学习的过去、现在与未来

ASP.NET2.0图片格式转换【月儿原创】

org.apache.hadoop.fs-ChecksumException

Linux下显示硬盘空间的两个命令

C#对Microsoft.VisualBasic My对象兰台妙选【月儿原创】

AIoT的发展路上，英特尔如何通过边缘计算掀起产业变革

Xbox One 游戏欣赏: Xbox Fitness 太极拳游戏

Android美工坊：Selector选择器的使用

C#中判断空字符串的3种方法性能分析【月儿原创】

微软职位内部推荐-SDEII

WAIC剪影：AI的未来，关乎星辰大海

用Swift实现一款天气预报APP（三）

asp.net2.0学习历程菜鸟到中级程序员的飞跃【月儿原创】

了解黑客的关键工具---揭开Shellcode的神秘面纱

2021年移动云API应用创新开发大赛火热开启!

Android 多媒体综述

asp.net2.0导出pdf文件完美解决方案【月儿原创】

MYSQL 部分事务

二维已经 OUT 了？3DPose 实现三维人体姿态识别真香 | 代码干货

python学习------tab补全

asp.net的Ajax学习进阶

Windows下FFmpeg高速入门

“香山”处理器产生背后的逻辑

第79天：jQuery事件总结（二）

asp.net利用RAR实现文件压缩解压缩【月儿原创】

缺少HTML Doctype造成的样式问题

快收藏！整理了 100 个 Python 小技巧

--single-transaction 参数对应MyISAM引擎和InnoDB引擎