Python爬虫怎样实现异常处理_Python爬虫运行中异常捕获与错误处理机制

新闻中心 NEWS CENTER

您当前位置：首页 > 新闻中心 > 网络学院

Python爬虫怎样实现异常处理_Python爬虫运行中异常捕获与错误处理机制

2025-11-14

浏览次数：次

返回列表

答案：编写健壮的Python爬虫需结合异常处理、重试机制与日志记录。首先捕获requests和解析库常见异常，如RequestException、Timeout、ConnectionError、HTTPError及AttributeError；通过try-except结构包裹请求与解析逻辑，并设置重试策略应对临时故障；推荐使用tenacity库实现带间隔的自动重试；生产环境中应采用logging模块记录错误详情，便于排查；同时通过设置请求头、控制频率、使用with语句和字段校验等预防措施提升稳定性。最终目标是让爬虫在出错时能优雅恢复而非崩溃。

python爬虫怎样实现异常处理_python爬虫运行中异常捕获与错误处理机制

在编写Python爬虫时，网络请求和数据解析过程容易受到各种外部因素影响，比如网络不稳定、目标网站结构变化、反爬机制触发等。因此，合理的异常处理机制是保证爬虫稳定运行的关键。

常见异常类型及捕获方法

爬虫中最常见的异常主要来自网络请求库（如requests）和HTML解析库（如BeautifulSoup、lxml）。以下是几种典型异常及其处理方式：

requests.exceptions.RequestException：这是所有requests异常的基类，包括连接超时、DNS解析失败、SSL错误等。建议统一捕获此类异常以增强健壮性。
Timeout：请求超时时抛出。可通过设置合理的timeout参数并重试来应对。
ConnectionError：网络连接问题，例如服务器无响应或本地网络中断。
HTTPError：HTTP状态码异常，如404、500等，可通过检查response.status_code提前判断。
AttributeError / IndexError：解析页面时元素不存在导致的错误，常见于使用select或find方法后未判断结果是否存在。

示例代码：

使用try-except结构对请求和解析过程进行包裹：

import requests
from bs4 import BeautifulSoup
import time
<p>def fetch_page(url, retries=3):
for i in range(retries):
try:
response = requests.get(url, timeout=5)
response.raise_for_status()  # 触发HTTPError（如4xx/5xx）
soup = BeautifulSoup(response.text, 'html.parser')
title = soup.select_one('h1').text
return title
except requests.exceptions.Timeout:
print(f"请求超时，第{i+1}次重试...")
time.sleep(2)
except requests.exceptions.ConnectionError:
print("连接失败，检查网络或URL")
break
except requests.exceptions.RequestException as e:
print(f"请求发生未知错误: {e}")
break
except AttributeError:
print("页面结构改变，未找到指定元素")
break
return None

使用重试机制提升稳定性

对于临时性故障（如短暂超时、限流），简单的重试策略能显著提高成功率。除了手动循环重试，也可以借助第三方库如tenacity实现更灵活的控制。

安装tenacity：
pip install tenacity

使用装饰器自动重试：

Reachout.ai

一个AI驱动的视频开发平台，专为忙碌的企业家和销售团队打造

142 查看详情 Reachout.ai

from tenacity import retry, stop_after_attempt, wait_fixed
<p>@retry(stop=stop_after_attempt(3), wait=wait_fixed(2))
def get_data_with_retry(url):
response = requests.get(url, timeout=5)
response.raise_for_status()
return response.json()

上述代码表示最多尝试3次，每次间隔2秒，适用于API接口类爬取任务。

日志记录与错误分类处理

生产级爬虫应避免仅用print输出错误信息，而应使用logging模块记录异常详情，便于后期排查问题。

import logging
<p>logging.basicConfig(
level=logging.INFO,
format='%(asctime)s - %(levelname)s - %(message)s',
handlers=[
logging.FileHandler("spider.log"),
logging.StreamHandler()
]
)</p><p>try:
result = fetch_page("<a href="https://www.php.cn/link/b05edd78c294dcf6d960190bf5bde635">https://www.php.cn/link/b05edd78c294dcf6d960190bf5bde635</a>")
except Exception as e:
logging.error(f"抓取失败: {url}, 错误: {e}", exc_info=True)

exc_info=True可记录完整的堆栈信息，有助于定位深层问题。