Python爬虫如何解析网页中的XML站点地图(sitemap)_Python爬虫解析XML站点地图指南

新闻中心 NEWS CENTER

您当前位置：首页 > 新闻中心 > 网络学院

Python爬虫如何解析网页中的XML站点地图(sitemap)_Python爬虫解析XML站点地图指南

2025-11-03

浏览次数：次

返回列表

首先解析XML站点地图获取URL列表，需用requests获取内容并用ElementTree解析；由于存在命名空间，必须指定前缀如{"ns": "http://www.sitemaps.org/schemas/sitemap/0.9"}才能正确提取loc、lastmod等信息；若根节点为，则为索引文件，需递归解析每个子链接；注意事项包括检查响应状态、添加User-Agent、遵守robots.txt及控制请求频率。

python爬虫如何解析网页中的xml站点地图(sitemap)_python爬虫解析xml站点地图指南

解析网页中的XML站点地图（sitemap）是Python爬虫中常见的任务，尤其在需要批量抓取网站页面时。通过读取sitemap，可以快速获取网站公开的所有重要URL列表，提高爬取效率和准确性。

获取并读取XML站点地图

大多数网站会在根目录下提供 sitemap.xml 文件，例如 https://www.php.cn/link/5211bda24f5c44114c473a74b8bdf361。你可以使用 requests 库发起HTTP请求获取内容，再用 xml.etree.ElementTree 解析XML结构。

示例代码：

import requests
import xml.etree.ElementTree as ET
<p>url = "<a href="https://www.php.cn/link/5211bda24f5c44114c473a74b8bdf361">https://www.php.cn/link/5211bda24f5c44114c473a74b8bdf361</a>"
response = requests.get(url)
response.raise_for_status()  # 检查请求是否成功</p><h1>解析XML内容</h1><p>root = ET.fromstring(response.content)</p>

理解Sitemap的XML结构

标准的sitemap遵循特定的XML命名空间格式。常见结构包含根节点，其下每个子节点代表一个页面，通常包括以下字段：

loc：页面的URL地址
lastmod：最后修改时间（可选）
changefreq：更新频率（如daily、weekly）
priority：优先级（0.0 到 1.0）

由于XML中使用了命名空间（namespace），直接查找标签会失败。必须在解析时指定命名空间前缀。

正确处理命名空间的方法：

Musho

AI网页设计Figma插件

76 查看详情 Musho

namespace = {"ns": "http://www.sitemaps.org/schemas/sitemap/0.9"}
<p>for url_elem in root.findall("ns:url", namespace):
loc = url_elem.find("ns:loc", namespace).text
lastmod = url_elem.find("ns:lastmod", namespace)
print("URL:", loc)
if lastmod is not None:
print("Last Modified:", lastmod.text)</p>

处理分层站点地图（Sitemap Index）

大型网站常使用站点地图索引（sitemap index），即主文件列出多个子sitemap链接。这种情况下，需先解析主文件中的节点，再逐个抓取子文件。

判断当前XML是索引还是普通站点地图：

若根节点为，则是索引文件
若根节点为，则是URL列表文件

示例：递归解析所有子站点地图

def parse_sitemap_index(content):
    root = ET.fromstring(content)
    namespace = {"ns": "http://www.sitemaps.org/schemas/sitemap/0.9"}
    sitemaps = []
<pre class='brush:php;toolbar:false;'>for sitemap in root.findall("ns:sitemap", namespace):
    loc = sitemap.find("ns:loc", namespace).text
    sitemaps.append(loc)
return sitemaps