Python爬虫怎样使用正则表达式_Python爬虫利用re模块提取数据的实用技巧

新闻中心 NEWS CENTER

您当前位置：首页 > 新闻中心 > 网络学院

Python爬虫怎样使用正则表达式_Python爬虫利用re模块提取数据的实用技巧

2025-11-09

浏览次数：次

返回列表

正则表达式是Python爬虫中提取网页关键信息的高效工具，适用于手机号、邮箱、URL等数据匹配。1. 使用\re模块基本语法可快速定位文本模式，如\d{11}匹配手机号，\w+匹配字母数字；2. 提取HTML内容时，通过src=["'](1+.jpg)等模式抓取图片链接，结合非捕获分组提升效率；3. 贪婪匹配.会导致跨标签错误，应使用.?实现非贪婪匹配，并利用分组提取多字段信息；4. 处理含换行的HTML需添加re.DOTALL标志，使.匹配换行符，确保多行内容正确提取。合理运用正则可显著提升爬虫解析效率。"' ↩

python爬虫怎样使用正则表达式_python爬虫利用re模块提取数据的实用技巧

在Python爬虫开发中，提取网页中的关键信息是核心任务之一。虽然有BeautifulSoup、lxml等解析工具，但面对结构不规范或只需提取简单内容时，正则表达式（re模块）依然是高效且灵活的选择。掌握re模块的使用技巧，能让你快速定位并提取所需数据。

1. 基本语法：匹配常见数据格式

正则表达式通过特定模式描述文本规则。在爬虫中常用于提取手机号、邮箱、URL、价格、标题等信息。

常用元字符与示例：

\d 匹配数字 —— 如 \d{11} 可匹配11位手机号
\w 匹配字母、数字、下划线
. 匹配任意字符（除换行符）
* 零次或多次重复
+ 一次或多次重复
? 非贪婪匹配
[] 字符集合，如 [0-9a-f]

示例：提取邮箱地址

import re
text = "联系我：admin@example.com 或 support@site.org"
emails = re.findall(r'[\w\.-]+@[\w\.-]+\.\w+', text)
print(emails) # 输出: ['admin@example.com', 'support@site.org']

2. 提取HTML中的关键信息

网页源码通常包含大量HTML标签，使用正则可绕过解析树直接抓取内容。

注意：避免过度依赖正则处理复杂HTML，但对于简单提取非常高效。

示例：提取所有图片链接

html = ''' first

'''
imgs = re.findall(r'src=["\'](https?://[^"\']+\.(?:jpg|png|gif))["\']', html)
print(imgs) # 输出: ['http://example.com/1.jpg', 'http://example.com/2.png']

说明：
- 使用非捕获分组 (?:...) 提升效率
- [^"\']+ 表示不包含引号的内容，防止跨标签匹配