新闻中心

Python requests-html 多语言网页内容抓取与翻译实践

2025-11-23
浏览次数:
返回列表

python requests-html 多语言网页内容抓取与翻译实践

在使用 Python 的 `requests-html` 库进行网页抓取时,仅设置 `Accept-Language` 请求头并不能保证服务器返回目标语言内容。本文将深入探讨 `Accept-Language` 的实际作用,并提供一套完整的解决方案,通过结合 `requests-html` 抓取数据和 `googletrans` 库进行实时翻译,从而有效处理多语言网站,确保获取并转换所需的英文文本内容。

理解 Accept-Language 请求头

在进行网页抓取时,开发者常会尝试通过设置 Accept-Language 请求头来指定希望获取的语言版本。例如,headers = {"Accept-Language": "en"} 旨在告知服务器客户端偏好英文内容。然而,需要明确的是,Accept-Language 仅是一个偏好指示器,它通知服务器客户端首选的响应语言。服务器是否响应指定语言的内容,取决于其是否提供该语言版本以及其内部的内容协商机制。许多网站,特别是那些主要服务于特定地区或语言用户的网站,可能即使接收到 Accept-Language: en,仍然会默认返回其主要语言(如阿拉伯语、中文等)的内容,或者只翻译部分动态内容,而静态页面内容则保持不变。因此,单纯依赖此头部来获取翻译后的文本往往是无效的。

解决方案:抓取后进行内容翻译

鉴于 Accept-Language 的局限性,更可靠的方法是在抓取到原始语言内容后,利用翻译库对其进行处理。googletrans 是一个流行的 Python 库,它封装了 Google Translate API,可以方便地实现文本翻译功能。

1. 安装 googletrans 库

在使用 googletrans 之前,需要先将其安装到您的 Python 环境中。建议尝试安装最新的预发布版本,如果遇到问题,可以回退到稳定版本。

# 安装最新预发布版本
pip install googletrans==4.0.0-rc1

# 如果最新版本出现问题,可以尝试卸载并安装稳定版本
# pip uninstall googletrans==4.0.0-rc1
# pip install googletrans==3.0.0

2. 使用 requests-html 抓取网页内容

首先,我们使用 requests-html 库发起请求并获取网页的 HTML 内容。为了确保能够利用 requests-html 的强大选择器功能(如 .html.find()),建议使用 HTMLSession 来发起请求。

网页制作与PHP语言应用 网页制作与PHP语言应用

图书《网页制作与PHP语言应用》,由武汉大学出版社于2006出版,该书为普通高等院校网络传播系列教材之一,主要阐述了网页制作的基础知识与实践,以及PHP语言在网络传播中的应用。该书内容涉及:HTML基础知识、PHP的基本语法、PHP程序中的常用函数、数据库软件MySQL的基本操作、网页加密和身份验证、动态生成图像、MySQL与多媒体素材库的建设等。

网页制作与PHP语言应用 460 查看详情 网页制作与PHP语言应用
import pandas
from requests_html import HTMLSession
import time
import requests
from requests import get
import re
from googletrans import Translator # 导入 Translator 类

# 目标 URL
url = 'https://pcpalace.com.sa/products/ASUS-Vivobook-GO-E1504GA'

# 实例化 HTMLSession
session = HTMLSession()

# 发起请求,这里可以继续尝试设置 Accept-Language,但主要目的是获取原始HTML
headers = {"Accept-Language": "en"}
r = session.get(url, headers=headers) # 使用 session.get() 获取 HTMLResponse 对象
r.raise_for_status() # 检查请求是否成功

# 确保页面已渲染(如果页面有JS动态加载内容)
# r.html.render() # 如果页面有J*aScript渲染内容,可能需要这行

3. 提取原始文本并进行翻译

获取到 HTMLResponse 对象 r 后,我们可以使用其 .html.find() 方法来定位页面上的特定元素,例如页面的

标签,然后提取其文本内容。随后,利用 googletrans.Translator 对提取到的文本进行翻译。<pre class="brush:php;toolbar:false;"># 实例化翻译器 translator = Translator() # 使用 .html.find() 方法查找 title 元素 # first=True 表示只返回第一个匹配的元素 title_element = r.html.find('title', first=True) # 提取 title 元素的文本内容 # 如果 title_element 不存在,则返回 'Title not found' original_title_text = title_element.text if title_element else 'Title not found' # 翻译原始标题文本到英文 # dest='en' 指定目标语言为英文 try: translated_title = translator.translate(original_title_text, dest='en').text except Exception as e: translated_title = f"Translation failed: {e}" print(f"Error during translation: {e}") print("Original Title: " + original_title_text) print("Translated Title: " + translated_title) # 示例:翻译其他元素,如一个产品名称(假设其CSS选择器为 '.product-name') # product_name_element = r.html.find('.product-name', first=True) # if product_name_element: # original_product_name = product_name_element.text # translated_product_name = translator.translate(original_product_name, dest='en').text # print("Original Product Name: " + original_product_name) # print("Translated Product Name: " + translated_product_name) # else: # print("Product name element not found.")</pre><h4>完整示例代码</h4> <p>将上述步骤整合,形成一个完整的脚本:</p><pre class="brush:php;toolbar:false;">import pandas from requests_html import HTMLSession import time import requests from requests import get import re from googletrans import Translator # 目标 URL url = 'https://pcpalace.com.sa/products/ASUS-Vivobook-GO-E1504GA' # 实例化 HTMLSession session = HTMLSession() # 设置请求头,Accept-Language 仅作为参考,实际翻译依赖 googletrans headers = {"Accept-Language": "en"} try: # 发起请求,获取 HTMLResponse 对象 r = session.get(url, headers=headers) r.raise_for_status() # 检查 HTTP 状态码,如果不是 200 则抛出异常 # 实例化翻译器 translator = Translator() # --- 提取并翻译页面标题 --- title_element = r.html.find('title', first=True) original_title_text = title_element.text if title_element else 'Title not found' try: translated_title = translator.translate(original_title_text, dest='en').text except Exception as e: translated_title = f"Translation failed: {e}" print(f"Error translating title: {e}") print("Original Title: " + original_title_text) print("Translated Title: " + translated_title) # --- 提取并翻译其他内容示例 --- # 假设页面上有一个产品名称的元素,其 CSS 类为 'product-name' # 请根据实际网页结构调整选择器 product_name_element = r.html.find('h1.product-title', first=True) # 示例选择器 if product_name_element: original_product_name = product_name_element.text try: <img src="//public-space.oss-cn-hongkong.aliyucs.com/keji/839.jpg" /> translated_product_name = translator.translate(original_product_name, dest='en').text except Exception as e: translated_product_name = f"Translation failed: {e}" print(f"Error translating product name: {e}") print("Original Product Name: " + original_product_name) print("Translated Product Name: " + translated_product_name) else: print("Product name element not found (adjust selector if needed).") except requests.exceptions.RequestException as e: print(f"Request failed: {e}") except Exception as e: print(f"An unexpected error occurred: {e}") </pre><h4>注意事项与总结</h4> <ol> <li> <strong>选择器精确性:</strong> 示例代码中使用了 r.html.find('title', first=True) 和 r.html.find('h1.product-title', first=True) 来定位元素。在实际应用中,您需要根据目标网站的 HTML 结构,使用更精确的 CSS 选择器或 XPath 表达式来定位您想要提取的文本内容。避免使用 splitlines()[50] 这种脆弱的字符串分割方法,因为它极易因页面结构微小变动而失效。</li> <li> <strong>googletrans 版本:</strong> googletrans 库的版本兼容性有时会有问题。如果遇到 AttributeError 或其他错误,请尝试切换到不同的版本(如 4.0.0-rc1 或 3.0.0)。</li> <li> <strong>翻译限制与稳定性:</strong> googletrans 库是基于 Google Translate 的非官方 API。这意味着它可能存在请求频率限制、偶尔不稳定或翻译质量不尽如人意的情况。对于大规模、高频率的翻译需求,建议考虑使用官方付费的 Google Cloud Translation API 或其他商业翻译服务。</li> <li> <strong>错误处理:</strong> 在实际项目中,务必加入健壮的错误处理机制,例如 try-except 块,以应对网络请求失败、元素未找到或翻译服务异常等情况。</li> </ol> <p>通过上述方法,您可以有效地解决 requests-html 爬取多语言网站内容的问题,确保即使服务器返回非英文内容,也能通过 googletrans 库将其转换为所需的英文文本。这种先抓取后翻译的策略,提供了更强的灵活性和可靠性。</p>

以上就是Python requests-html 多语言网页内容抓取与翻译实践的详细内容,更多请关注其它相关文章!


# 所需  # 新民推广网站建设概况  # 正安县网站优化营销  # fb推广营销策略有哪些  # 网络网站推广价格表  # 昆明市seo怎样  # 开化网站的推广  # 品牌营销推广案  # 谷歌搜索seo手册  # 义乌网站建设地点有哪些  # 学seo好的学校  # 网络传播  # 如何使用  # 阿拉伯语  # 或其他  # css  # 将其  # 选择器  # 网页制作  # 英文  # google  # 多语言  # ai  # session  # go  # js  # html  # java  # python  # javascript 


相关栏目: 【 科技资讯46185 】 【 网络学院92790


相关推荐: vivo手机参数配置怎么增强信号_vivo手机参数配置信号增强方法  HTML转PPT成品工具有哪些?HTML网页转PPT成品工具大全  一加手机电池耗电快怎么办_一加手机电池耗电快的解决方法  TikTok评论显示延迟如何处理 TikTok评论刷新优化方法  小米14应用无法联网原因分析_小米14网络权限修复  yy漫画网页版官方入口_yy漫画官网登录页面链接  优酷会员付费后没到账怎么办_优酷会员充值异常及解决方法  特斯拉自动驾驶房车计划曝光 原型车将于2027年亮相  composer的"require-dev"部分是用来做什么的?  Win11怎么开启省电模式_Win11电池节电模式自动开启  微信网页版官方入口教程 微信网页版网页版快速登录步骤  内存检查:在VS Code中调试C++时的内存视图  Win10怎么制作U盘启动盘 Win10系统安装U盘制作教程【详解】  怎么在浏览器上运行HTML文件_浏览器运行HTML文件技巧【技巧】  机器学习中对数变换预测结果的反向还原  优化 Python 函数中的条件逻辑:解决 if-else 嵌套与参数选择问题  PDF怎么合并PDF并保持格式_PDF合并文件保持排版教程  ArrayList与LinkedList核心操作的Big-O复杂度分析  海棠电脑版入口_通过电脑访问海棠官网阅读  php源码怎么看淘宝客系统_看php源码淘宝客系统技巧  React项目中导航栏Logo自适应布局:避免裁剪与布局溢出  实现全屏滚动与导航点:专业教程  QQ邮箱官方网站登录入口_QQ邮箱网页版在线使用  J*aScript中针对特定容器内图片动画的实现教程  sublime怎么设置启动时打开的窗口_sublime会话管理与热退出  c++如何使用Catch2编写单元测试_c++简洁易用的BDD风格测试框架  qq浏览器打开空白页怎么办 qq浏览器启动后显示白屏的解决教程  J*aScript对象创建方式_J*aScript设计模式应用  必由学官方登录入口 必由学教师学生账号快速访问  腾讯视频怎么举报不良内容_腾讯视频内容举报流程与违规信息处理方法  Discord Slash 命令响应超时问题的异步解决方案  谷歌浏览器无痕模式怎么开 Chrome开启无痕浏览设置方法【教程】  处理动态列数据:J*a ArrayList的正确初始化与字符累加教程  整合Supabase认证与Django模型:跨模式迁移的解决方案  腾讯QQ邮箱官方网站_QQ邮箱网页版在线登录  汽车之家官方网站官网入口_汽车之家网页版直接进入  电脑安装程序提示“错误1722”怎么办_Windows Installer服务问题解决【教程】  Mac怎么使用表情符号_Mac Emoji快捷键面板  win11开机启动修复循环怎么办 Win11无法进入系统高级启动解决方法【修复】  汽水音乐在线解析 汽水音乐在线解析入口  在J*a中如何开发简易电子商务商品管理系统_商品管理系统项目实战解析  神庙逃亡小游戏在线玩 神庙逃亡小游戏入口  动漫岛观看全网网 动漫岛在线正版动漫入口  漫蛙MANWA漫画主页官方入口 漫蛙漫画最新在线阅读地址  GemBox Document HTML转PDF垂直文本渲染问题及解决方案  在J*a中如何捕获IndexOutOfBoundsException_索引越界异常防护方法说明  windows10怎么关闭系统提示音_windows10彻底静音设置方法  蛙漫官方正版入口 蛙漫网页在线全集免费观看  Golang如何实现容器化日志收集与分析_Golang容器日志收集分析方法  J*aScript中向JSON对象添加新属性的正确姿势 

搜索