如何使用Python爬取动态网站中由按钮控制的数据

新闻中心 NEWS CENTER

您当前位置：首页 > 新闻中心 > 网络学院

如何使用Python爬取动态网站中由按钮控制的数据

2025-11-13

浏览次数：次

返回列表

如何使用python爬取动态网站中由按钮控制的数据

本教程详细介绍了如何使用Python爬取由交互式按钮（如切换开关）控制的动态网页内容。文章首先解释了传统`requests`和`BeautifulSoup`组合在处理J*aScript渲染内容时的局限性，随后引入了`Selenium`作为解决方案，通过模拟浏览器行为来点击按钮并获取更新后的页面HTML。最终，结合`BeautifulSoup`解析动态加载的数据，并提供了完整的代码示例和注意事项。

动态网页爬取挑战与Selenium的引入

在进行网页数据抓取时，我们经常会遇到内容并非直接包含在初始HTML响应中的情况。许多现代网站利用J*aScript动态加载数据、渲染页面元素，或根据用户交互（如点击按钮、滚动页面）来更新内容。对于这类动态网页，仅仅使用requests库获取原始HTML并结合BeautifulSoup进行解析是不足以获取到所有数据的，因为requests只获取服务器返回的静态HTML，而不会执行页面上的J*aScript。

本教程将以一个具体的场景为例：从一个体育统计网站抓取“每场比赛”数据。该网站的统计数据在“总计”和“每场比赛”之间通过一个切换按钮进行切换。为了获取“每场比赛”的数据，我们需要模拟用户点击这个切换按钮，让页面加载或显示相应的动态内容。此时，Selenium就成为了一个强大的工具。

Selenium是一个自动化测试工具，它能够模拟用户在浏览器中的各种操作，包括打开网页、点击按钮、填写表单、执行J*aScript等。通过Selenium，我们可以驱动一个真实的浏览器（如Chrome、Firefox）来加载网页、执行J*aScript，并等待页面内容更新，然后获取到浏览器渲染后的完整HTML内容，再交由BeautifulSoup进行解析。

环境准备与依赖安装

在开始之前，请确保你的Python环境中安装了以下库：

selenium: 用于浏览器自动化。
beautifulsoup4: 用于HTML解析。
pandas: （可选）用于数据处理和导出。

此外，由于Selenium需要驱动真实的浏览器，你还需要下载对应浏览器的WebDriver。例如，如果你使用Chrome浏览器，需要下载ChromeDriver，并将其可执行文件放置在系统PATH中，或者在代码中指定其路径。

Perplexity

Perplexity是一个ChatGPT和谷歌结合的超级工具，可以让你在浏览互联网时提出问题或获得即时摘要

302 查看详情 Perplexity

你可以通过以下命令安装这些库：

pip install selenium beautifulsoup4 pandas

爬取动态数据的核心步骤

爬取由切换按钮控制的动态数据通常遵循以下步骤：

初始化Selenium WebDriver：启动一个浏览器实例。
导航到目标URL：使用WebDriver打开目标网页。
定位并模拟点击切换按钮：等待按钮加载完成，然后通过Selenium的API模拟用户点击操作。
等待页面内容更新：由于点击操作可能触发数据加载或页面渲染，需要等待一段时间，确保目标数据已经显示在页面上。
获取动态HTML内容：从WebDriver中获取浏览器当前渲染的完整HTML源代码。
使用BeautifulSoup解析HTML：将获取到的动态HTML传递给BeautifulSoup进行解析。
提取所需数据：根据HTML结构定位并提取目标数据。
关闭WebDriver：完成爬取后关闭浏览器实例。

示例代码：抓取体育网站“每场比赛”数据

我们将以https://www.sports-reference.com/cbb/seasons/men/2025-school-stats.html为例，抓取其中“每场比赛”的统计数据。

import pandas as pd
from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from bs4 import BeautifulSoup
import csv
import time

def scrape_dynamic_team_stats(url, output_filename='team_per_game_stats.csv'):
    """
    使用Selenium和BeautifulSoup从动态网站爬取“每场比赛”的球队统计数据。

    Args:
        url (str): 目标网页的URL。
        output_filename (str): 数据保存的CSV文件名。
    """
    # 1. 初始化Selenium WebDriver
    # 配置Chrome选项，例如最大化窗口，可以根据需要添加headless模式等
    options = webdriver.ChromeOptions()
    options.add_argument('--start-maximized')
    # options.add_argument('--headless') # 如果不需要显示浏览器窗口，可以使用无头模式
    # options.add_argument('--disable-gpu') # 无头模式下建议禁用GPU

    driver = None
    try:
        driver = webdriver.Chrome(options=options)
        print(f"正在打开网页: {url}")
        driver.get(url)

        # 2. 定位并模拟点击切换按钮
        # 目标网站的“每场比赛”切换按钮的ID是 'basic_school_stats_per_match_toggle'
        # 使用WebDriverWait等待元素加载完成，最多等待20秒
        print("等待切换按钮加载...")
        toggle_button = WebDriverWait(driver, 20).until(
            EC.presence_of_element_located((By.ID, 'basic_school_stats_per_match_toggle'))
        )

        # 使用J*aScript点击按钮，因为有时Selenium的click()方法可能被元素遮挡
        print("点击'每场比赛'切换按钮...")
        driver.execute_script("arguments[0].click();", toggle_button)

        # 3. 等待页面内容更新
        # 给予页面足够的时间来加载或显示新的“每场比赛”数据
        # 实际等待时间可能需要根据网站响应速度调整
        print("等待数据更新...")
        time.sleep(5) # 简单等待，更健壮的方法是等待特定元素出现或数据变化

        # 4. 获取动态HTML内容
        html_source = driver.page_source
        print("已获取页面HTML源代码。")

        # 5. 使用BeautifulSoup解析HTML
        soup = BeautifulSoup(html_source, 'html.parser')

        # 6. 提取所需数据
        # 目标表格通常有一个特定的ID或class
        # 在这个网站，主要的统计表格是 'basic_school_stats'
        table = soup.find('table', id='basic_school_stats')
        if not table:
            print("未找到统计表格。")
            return []

        team_stats = []
        # 提取表头
        headers = [th.text.strip() for th in table.find('thead').find_all('th') if th.text.strip()]
        # 清理表头，例如移除排名列等
        # headers = ['Rk', 'School', 'G', 'W', 'L', 'W-L%', 'SRS', 'SOS', 'ORtg', 'DRtg', 'NRtg', 'Pace', 'FTr', '3PAr', 'TS%', 'TRB%', 'AST%', 'STL%', 'BLK%', 'eFG%', 'TOV%', 'ORB%', 'FT/FGA']
        # 简化为我们关注的列
        target_headers = ['School', 'FG%', 'ORB', 'AST', 'STL', 'BLK', 'TOV', 'PF'] # 对应data-stat属性

        team_stats.append(target_headers) # 添加处理后的表头

        # 遍历表格的每一行
        for row in table.find('tbody').find_all('tr'):
            if 'class' in row.attrs and 'thead' in row.attrs['class']: # 跳过重复的表头行
                continue

            # 提取每列数据，通过data-stat属性定位
            school_name_tag = row.find('td', {'data-stat': 'school_name'})
            fg_pct_tag = row.find('td', {'data-stat': 'fg_pct'})
            orb_tag = row.find('td', {'data-stat': 'orb'})
            ast_tag = row.find('td', {'data-stat': 'ast'})
            stl_tag = row.find('td', {'data-stat': 'stl'})
            blk_tag = row.find('td', {'data-stat': 'blk'})
            tov_tag = row.find('td', {'data-stat': 'tov'})
            pf_tag = row.find('td', {'data-stat': 'pf'})

            if school_name_tag: # 确保找到球队名称
                team_data = [
                    school_name_tag.text.strip(),
                    fg_pct_tag.text.strip() if fg_pct_tag else 'N/A',
                    orb_tag.text.strip() if orb_tag else 'N/A',
                    ast_tag.text.strip() if ast_tag else 'N/A',
                    stl_tag.text.strip() if stl_tag else 'N/A',
                    blk_tag.text.strip() if blk_tag else 'N/A',
                    tov_tag.text.strip() if tov_tag else 'N/A',
                    pf_tag.text.strip() if pf_tag else 'N/A'
                ]
                team_stats.append(team_data)

        # 7. 将数据写入CSV文件
        with open(output_filename, 'w', newline='', encoding='utf-8') as file:
            writer = csv.writer(file)
            writer.writerows(team_stats)

        print(f"数据已成功写入到 {output_filename}")
        return team_stats

    except Exception as e:
        print(f"爬取过程中发生错误: {e}")
        return []
    finally:
        # 8. 关闭WebDriver
        if driver:
            driver.quit()
            print("浏览器已关闭。")

# 执行爬取
url_to_scrape = 'https://www.sports-reference.com/cbb/seasons/men/2025-school-stats.html'
scraped_data = scrape_dynamic_team_stats(url_to_scrape)

if scraped_data:
    # 打印前几行数据以供检查
    print("\n抓取到的部分数据:")
    for row in scraped_data[:5]:
        print(row)

注意事项与最佳实践

WebDriver路径：确保你的ChromeDriver（或其他浏览器驱动）与浏览器版本匹配，并且其路径已正确配置。如果不在系统PATH中，你需要在webdriver.Chrome()中指定executable_path参数。
等待机制：使用WebDriverWait和expected_conditions是处理动态加载元素的最佳实践。简单的time.sleep()虽然可以工作，但效率较低且不够健壮，因为它无法保证在指定时间内元素一定加载完成。对于更复杂的动态内容，可能需要等待特定的数据元素出现，而不仅仅是按钮。
Headless模式：在生产环境中或服务器上运行爬虫时，通常会使用--headless选项，让浏览器在后台运行，不显示图形界面，以节省资源。
错误处理：在实际应用中，应添加更完善的错误处理机制，例如try-except-finally块来捕获异常并确保WebDriver被正确关闭。
网站服务条款与robots.txt：在爬取任何网站之前，务必查阅其服务条款（Terms of Service）和robots.txt文件，了解网站的爬取政策。遵守这些规定是负责任的爬虫行为。
反爬机制：许多网站有反爬机制，例如IP封禁、验证码、请求频率限制等。Selenium在一定程度上可以规避一些简单的反爬，但对于复杂的机制，可能需要结合代理IP、User-Agent轮换、验证码识别等技术。
资源消耗：Selenium会启动一个完整的浏览器实例，相比requests，其资源消耗（CPU、内存）更高。在大规模爬取时，需要谨慎考虑。
CSS选择器与XPath：除了By.ID，Selenium还支持通过CSS选择器（By.CSS_SELECTOR）或XPath（By.XPATH）来定位元素，这在处理没有唯一ID或复杂结构的元素时非常有用。

总结

通过本教程，我们学习了如何利用Selenium和BeautifulSoup的组合来有效爬取动态网页内容。Selenium负责模拟用户交互并获取浏览器渲染后的HTML，而BeautifulSoup则专注于从这些HTML中高效地提取所需数据。掌握这种技术组合，将使你能够应对绝大多数现代网站的爬取挑战，从而获取到传统方法无法触及的宝贵数据。在实践中，请务必遵守网站的爬取政策，并采用健壮的编程实践来构建你的爬虫。

以上就是如何使用Python爬取动态网站中由按钮控制的数据的详细内容，更多请关注其它相关文章！

# javascript # css # webdriv # 爬虫 # ai # csv # 工具 # app # 浏览器 # html # java # python # 网站界面设计优化 # 阜康外包网络推广营销 # 安徽咨询网站建设商家 # 页面渲染seo # 学seo需要掌握的技能 # 成都红酒网站建设 # 技术好的优化网站排名 # 网站建设作业心得感悟 # 运城seo公司都选火星 # 清远百度推广网站有哪些 # 验证码 # 将以 # 为例 # 选择器 # 动态网站 # 动态网页 # 是一个 # 所需 # 如何使用 # 加载