使用 Python 递归提取网站所有链接_石家庄创泽智能科技有限公司

新闻中心 NEWS CENTER

您当前位置：首页 > 新闻中心 > 网络学院

使用 Python 递归提取网站所有链接

2025-10-31

浏览次数：次

返回列表

使用 python 递归提取网站所有链接

本文将介绍如何使用 Python 的 `requests` 和 `re` 模块递归地提取网站上的所有链接。通过改进原始代码，解决了无限循环的问题，并添加了最大深度限制，确保程序能够有效地抓取链接，避免陷入死循环。同时，代码进行了优化，提高了可读性和可维护性。

递归爬取网站链接

网络爬虫是一种自动浏览互联网并提取信息的程序。递归爬虫通过不断访问链接来发现新的链接，直到达到预定的深度或满足特定条件。在 Python 中，我们可以使用 requests 库来获取网页内容，re 库来提取链接。

代码实现

以下是一个改进后的 Python 脚本，用于递归提取网站上的所有链接：

DaGaoPeng(大高朋网团购程序)

大高朋团购系统是一套Groupon模式的开源团购程序，开发的一套网团购程序，系统采用ASP+ACCESS开发的团购程序，安装超简，功能超全面，在保留大高朋团购系统版权的前提下，允许所有用户免费使用。大高朋团购系统内置多种主流在线支付接口，所有网银用户均可无障碍支付；短信发送团购券和实物团购快递发货等。二、为什么选择大高朋团购程序系统？ 1.功能强大、细节完善除了拥有主流团购网站功能，更特别支

0 查看详情 DaGaoPeng(大高朋网团购程序)

import requests
import re
from urllib.parse import urljoin, urlparse

def extract_links_from(url):
    """
    从给定的 URL 中提取所有 href 链接。
    """
    try:
        response = requests.get(url, timeout=5) # 添加超时时间
        if response.status_code != 200:
            print(f"Error: Status code {response.status_code} for {url}")
            return []
        content = str(response.content, 'utf-8', errors='ignore') # 指定编码，忽略错误
        links = re.findall(r'(?:href=")(.*?)"', content, re.MULTILINE)
        return links
    except requests.exceptions.RequestException as e:
        print(f"Error fetching {url}: {e}")
        return []


def crawl(url, domain, visited=set(), max_depth=5):
    """
    递归地爬取网站链接。

    Args:
        url: 起始 URL。
        domain: 网站域名，用于过滤外部链接。
        visited: 已经访问过的 URL 集合，防止重复访问。
        max_depth: 最大递归深度。

    Returns:
        所有提取到的链接列表。
    """
    if max_depth == 0 or url in visited:
        return []

    visited.add(url)
    href_links = extract_links_from(url)
    links_list = []

    for link in href_links:
        link = urljoin(url, link.split("#")[0])  # 处理锚点链接
        parsed_link = urlparse(link)
        if parsed_link.netloc == domain and link not in visited:
            links_list.append(link)
            links_list.extend(crawl(link, domain, visited, max_depth - 1))
    return links_list

# 示例用法
target_url = "https://www.free-power-point-templates.com/"
parsed_url = urlparse(target_url)
domain = parsed_url.netloc

result = crawl(target_url, domain)
# 去重
result = list(set(result))
print(result)

代码详解

extract_links_from(url) 函数:
- 使用 requests.get(url) 获取网页内容。添加了 timeout 参数，防止请求超时。
- 检查 HTTP 状态码，如果不是 200，则返回空列表，避免处理错误页面。
- 使用 re.findall() 和正则表达式 r'(?:href=")(.*?)"' 提取所有 href 属性的值。
- 对网页内容进行解码，指定编码为'utf-8'，并忽略解码错误，防止因编码问题导致程序崩溃。
crawl(url, domain, visited=set(), max_depth=5) 函数:
- 递归终止条件: 当达到最大深度 max_depth 或 URL 已经访问过时，停止递归。
- 使用 visited 集合来跟踪已经访问过的 URL，防止无限循环。
- 使用 urljoin() 函数将相对 URL 转换为绝对 URL。
- 使用 urlparse() 函数解析 URL，获取域名，用于过滤外部链接。
- 递归调用 crawl() 函数，并将 max_depth 减 1。

注意事项

robots.txt: 在抓取网站之前，请务必查看网站的 robots.txt 文件，了解网站的爬取规则。
频率限制: 不要过于频繁地访问网站，以免给服务器带来过大的压力。可以添加延时，例如 time.sleep(1)。
异常处理: 增加异常处理机制，例如处理 requests.exceptions.RequestException 异常。
编码问题: 确保正确处理网页的编码，避免出现乱码。
最大深度: 设置合适的 max_depth，避免爬虫陷入过深的链接中。
去重: 递归爬取后，结果中可能存在重复链接，可以使用 set() 进行去重。

总结

本文介绍了如何使用 Python 的 requests 和 re 模块递归地提取网站上的所有链接。通过添加终止条件、使用 visited 集合、处理异常和设置最大深度，可以有效地解决无限循环的问题，并确保程序能够正确地抓取链接。在实际应用中，请务必遵守网站的爬取规则，并合理设置爬取频率，以免给服务器带来不必要的负担。

以上就是使用 Python 递归提取网站所有链接的详细内容，更多请关注其它相关文章！

# 可以使用 # 怎么看小红书关键词排名 # 秦皇岛seo服务商 # 三农论文网站建设 # 珠海医疗网站推广 # 网站优化推广厂商有哪些 # seo440 # 新郑企业网站建设推广 # 上海短视频seo代理 # 了解网站建设 # 新人如何优化网站 # 如何实现 # 如何使用 # 解决方法 # python # 重写 # 有效地 # 自定义 # 团购 # 递归 # .net # 状态码 # 爬虫 # ai # app # 编码 # 网络爬虫 # 正则表达式