掌握Selenium与BeautifulSoup协同抓取动态加载数据

新闻中心 NEWS CENTER

您当前位置：首页 > 新闻中心 > 网络学院

掌握Selenium与BeautifulSoup协同抓取动态加载数据

2025-10-15

浏览次数：次

返回列表

掌握Selenium与BeautifulSoup协同抓取动态加载数据

本文旨在解决使用beautifulsoup抓取动态加载网页内容时遇到的问题，特别是当html中显示占位符而非实际数据时。教程将详细阐述如何结合selenium的webdriverwait和预期条件，有效等待并提取由j*ascript动态渲染的网页元素，确保成功获取所需数据，并提供完整的代码示例及最佳实践。

在进行网页数据抓取（Web Scraping）时，开发者经常会遇到一种情况：通过BeautifulSoup解析初始HTML文档后，发现某些关键数据并未直接呈现，而是以{{ WMService.auctionStartDate(lot.auction) | moment:'MMMM' }}这类模板占位符的形式存在。这通常表明这些数据是通过J*aScript在页面加载后动态渲染的。在这种场景下，仅使用BeautifulSoup是无法获取到实际内容的，因为BeautifulSoup只能处理浏览器接收到的原始HTML。

为了克服这一挑战，我们需要引入一个能够模拟浏览器行为、执行J*aScript并等待页面动态内容加载完成的工具——Selenium。通过结合Selenium的显式等待机制，我们可以确保在目标数据被渲染到DOM中之后再进行提取。

识别动态加载内容的特征

当你在检查元素时看到类似以下结构：

<div class="full-date">
 <span class="day-of-week">{{ WMService.auctionStartDate(lot.auction) | moment:'dddd' }}</span> |
 <span class="month">{{ WMService.auctionStartDate(lot.auction) | moment:'MMMM' }}</span>
 <span class="date">{{ WMService.auctionStartDate(lot.auction) | moment:'DD' }}, </span>
 <span class="year">{{ WMService.auctionStartDate(lot.auction) | moment:'YYYY' }}</span>
</div>

而你期望的是实际的日期信息，例如 "August", "04", "2025"，这就明确指示了数据是动态加载的。{{ ... }} 语法是许多前端框架（如AngularJS、Vue.js）中数据绑定的常见模式，意味着这些内容将由客户端J*aScript填充。

使用Selenium处理动态内容

Selenium允许我们启动一个真实的浏览器实例（或无头浏览器），访问网页，并等待J*aScript执行完毕。其核心在于WebDriverWait和expected_conditions模块，它们提供了强大的显式等待机制。

1. 导入必要的模块

首先，确保你已经安装了Selenium，并且为你的浏览器（如Chrome）配置了对应的WebDriver。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager

webdriver: 用于初始化浏览器驱动。
By: 用于指定查找元素的方式（如XPath, CSS选择器, ID等）。
WebDriverWait: 显式等待的核心类。
expected_conditions as EC: 预定义的等待条件集合。
Service和ChromeDriverManager: 用于简化Chrome驱动的安装和管理，无需手动下载。

2. 初始化WebDriver并访问页面

# 初始化Chrome WebDriver
# 使用webdriver_manager自动管理驱动
service = Service(ChromeDriverManager().install())
driver = webdriver.Chrome(service=service)

# 访问目标URL
url = "你的目标网页URL" # 请替换为实际的URL
driver.get(url)

3. 实施显式等待并提取数据

为了确保在提取数据时，这些动态内容已经加载并显示在页面上，我们使用WebDriverWait结合expected_conditions。element_to_be_clickable是一个常用的条件，它不仅等待元素存在于DOM中，还等待它可见且可交互，这通常意味着其内容也已加载。

try:
    # 设置最大等待时间为20秒
    wait = WebDriverWait(driver, 20)

    # 等待并获取月份信息
    month_element = wait.until(EC.element_to_be_clickable((By.XPATH, "//span[@class='month ng-binding']")))
    month = month_element.text
    print(f"月份: {month}")

    # 等待并获取日期信息
    date_element = wait.until(EC.element_to_be_clickable((By.XPATH, "//span[@class='date ng-binding']")))
    date = date_element.text.strip(', ') # 清除可能的逗号
    print(f"日期: {date}")

    # 等待并获取年份信息
    year_element = wait.until(EC.element_to_be_clickable((By.XPATH, "//span[@class='year ng-binding']")))
    year = year_element.text
    print(f"年份: {year}")

    print(f"完整日期: {month} {date}, {year}")

except Exception as e:
    print(f"抓取过程中发生错误: {e}")

finally:
    # 关闭浏览器
    driver.quit()

在上述代码中：

察言观数AskTable

企业级AI数据表格智能体平台

78 查看详情察言观数AskTable

WebDriverWait(driver, 20) 创建了一个等待对象，它会在20秒内不断尝试满足条件。
EC.element_to_be_clickable((By.XPATH, "//span[@class='month ng-binding']")) 是一个预期条件，它会等待具有特定XPath的元素变得可点击。一旦条件满足，wait.until()就会返回该元素。
.text 属性用于提取元素的可见文本内容。

完整示例代码

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
import time

def scrape_dynamic_date(url):
    """
    从动态加载的网页中抓取日期信息。

    Args:
        url (str): 目标网页的URL。

    Returns:
        tuple: 包含月份、日期、年份的元组，如果失败则返回None。
    """
    driver = None
    try:
        # 配置Chrome浏览器为无头模式（不显示浏览器界面，提高效率）
        chrome_options = webdriver.ChromeOptions()
        chrome_options.add_argument("--headless")
        chrome_options.add_argument("--disable-gpu") # 某些Linux系统需要
        chrome_options.add_argument("--window-size=1920,1080") # 设置窗口大小，避免某些元素在小窗口不加载
        chrome_options.add_argument("--no-sandbox") # Docker等环境可能需要

        # 初始化Chrome WebDriver
        service = Service(ChromeDriverManager().install())
        driver = webdriver.Chrome(service=service, options=chrome_options)
        driver.get(url)

        # 设置显式等待对象
        wait = WebDriverWait(driver, 20) # 最长等待20秒

        print(f"正在访问: {url}")
        print("等待动态内容加载...")

        # 等待并获取月份信息
        month_element = wait.until(EC.element_to_be_clickable((By.XPATH, "//span[@class='month ng-binding']")))
        month = month_element.text

        # 等待并获取日期信息
        date_element = wait.until(EC.element_to_be_clickable((By.XPATH, "//span[@class='date ng-binding']")))
        date = date_element.text.strip(', ') # 清除可能的逗号

        # 等待并获取年份信息
        year_element = wait.until(EC.element_to_be_clickable((By.XPATH, "//span[@class='year ng-binding']")))
        year = year_element.text

        print("数据抓取成功！")
        print(f"月份: {month}")
        print(f"日期: {date}")
        print(f"年份: {year}")

        return month, date, year

    except Exception as e:
        print(f"抓取过程中发生错误: {e}")
        return None
    finally:
        if driver:
            driver.quit() # 确保关闭浏览器

if __name__ == "__main__":
    # 替换为你的实际目标URL
    target_url = "http://example.com" # 请务必替换为一个包含动态日期信息的实际URL进行测试

    # 假设你的目标页面URL是这样的，但你需要替换为实际可用的URL
    # 例如，如果有一个页面在加载后才显示日期，你可以尝试用它来测试
    # target_url = "https://www.some-dynamic-website.com/auction-details" 

    date_data = scrape_dynamic_date(target_url)
    if date_data:
        print(f"\n抓取到的完整日期: {date_data[0]} {date_data[1]}, {date_data[2]}")
    else:
        print("\n未能成功抓取日期信息。")

注意事项与最佳实践

选择合适的等待条件:
- EC.presence_of_element_located(): 只要元素存在于DOM中即可。
- EC.visibility_of_element_located(): 元素不仅存在，而且可见（非display: none或visibility: hidden）。
- EC.element_to_be_clickable(): 元素可见且可点击，通常是获取动态内容的最稳妥选择。
- 根据实际需求选择最合适的条件，避免不必要的等待。
XPath或CSS选择器:
- 本教程使用了XPath (//span[@class='month ng-binding'])，因为它在定位具有特定属性的元素时非常灵活。
- CSS选择器通常更简洁、性能稍好，例如 span.month.ng-binding。选择哪种取决于个人偏好和网页结构。
无头模式 (Headless Mode):
- 在生产环境中，推荐使用无头浏览器（如Chrome的--headless选项），这样浏览器不会实际打开窗口，可以节省资源并提高执行效率。
- chrome_options.add_argument("--headless")
- chrome_options.add_argument("--disable-gpu") (某些系统可能需要)
- chrome_options.add_argument("--window-size=1920,1080") (模拟标准屏幕大小，避免某些响应式设计导致元素不加载)
错误处理:
- 使用try...except块来捕获TimeoutException（如果元素在规定时间内未加载）或其他可能发生的异常，增强程序的健壮性。
资源管理:
- 务必在抓取完成后调用driver.quit()来关闭浏览器实例，释放系统资源。否则，可能会导致大量浏览器进程在后台运行。
网站的抓取策略:
- 遵守网站的robots.txt协议。
- 设置合理的请求间隔（time.sleep()），避免对网站造成过大压力，防止IP被封禁。
- 使用User-Agent伪装成普通浏览器请求，降低被识别为爬虫的风险。

总结

当BeautifulSoup无法获取到动态加载的网页内容时，Selenium结合其显式等待机制是解决此类问题的强大工具。通过WebDriverWait和expected_conditions，我们可以精确地等待目标元素在DOM中渲染完成，从而可靠地提取所需数据。理解动态内容的加载机制并选择正确的工具和策略，是高效、稳定进行网页数据抓取的关键。

以上就是掌握Selenium与BeautifulSoup协同抓取动态加载数据的详细内容，更多请关注其它相关文章！

# 是一个 # 一起推广网站怎么做 # 邮政广告推广营销案例 # 三门峡网站优化哪家专业 # 苹果网络营销推广策划书 # 龙岩网站推广威欣hfqjwl下拉 # 奉化seo网站优化 # 视频网站推流量怎么推广 # 沈阳seo推广团队 # 产品推广营销策划ppt # 外包企业推广网站有哪些 # 发生错误 # 我们可以 # 所需 # 单选框 # 关闭浏览器 # css # 无头 # 选择器 # 表单 # 加载 # 工 # 浏览器 # vue.js # docker # 前端 # js # html # java # javascript # vue # linux