headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
}

url = 'https://www.php.cn/link/319bb7e0f80716c134117d14a22d461e' # 替换为实际网址
response = requests.get(url, headers=headers)
response.encoding = 'utf-8' # 根据网页编码调整，常见为 utf-8 或 gbk
tree = html.fromstring(response.text)

中
title = tree.xpath('//h1[@class="title"]/text()')
title = title[0].strip() if title else '未知标题'

提取正文内容，假设段落在 内的 p 标签中

content_list = tree.xpath('//div[@id="content"]//p/text()')
content = '\n'.join([line.strip() for line in content_list if line.strip()])

3. 保存到本地文件

with open('chapter_1.txt', 'w', encoding='utf-8') as f:
f.write(f"{title}\n\n{content}")

批量爬取多章节

如果要爬整本小说，可先获取目录页的所有章节链接：

# ...

注意事项

使用XPath爬取小说时需注意以下几点：

• 部分网站使用J*aScript动态加载内容，requests + lxml无法获取，需改用Selenium或Playwright
• 频繁请求可能触发反爬机制，建议添加time.sleep()延时
• 尊重版权，仅限个人学习或测试，不要大规模传播或商用
• 检查robots.txt，避免抓取禁止内容

基本上就这些。掌握XPath语法和网页结构分析能力后，爬取小说会变得很直接。