使用Selenium自动化展开所有动态下拉菜单并抓取子类别链接

新闻中心 NEWS CENTER

您当前位置：首页 > 新闻中心 > 网络学院

使用Selenium自动化展开所有动态下拉菜单并抓取子类别链接

2025-11-15

浏览次数：次

返回列表

使用Selenium自动化展开所有动态下拉菜单并抓取子类别链接

本教程详细介绍了如何使用selenium自动化处理动态网页上的下拉菜单，以展开所有隐藏的子类别并提取其链接。通过识别并迭代点击“展开”图标，结合有效的元素定位和链接过滤策略，我们能够高效地从复杂网页结构中抓取所需数据，特别适用于需要深入导航多层级内容的场景。

在进行网页数据抓取时，经常会遇到动态加载或折叠的菜单和列表。为了访问这些隐藏的内容，特别是其中的链接，我们需要模拟用户交互，例如点击“展开”按钮或图标。本教程将以一个具体的案例为例，演示如何使用Python和Selenium库，自动化地展开网页上所有的下拉菜单，并从中提取所需的子类别链接。

1. 环境准备与初始化

首先，确保您已安装Python、Selenium库以及相应的WebDriver（如ChromeDriver）。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time # 仅用于演示，实际项目中推荐使用显式等待

# 目标网页URL
URL = "https://albiononline2d.com/en/item"

# 初始化Chrome WebDriver
driver = webdriver.Chrome()
# 设置隐式等待，在查找元素时，如果元素未立即出现，WebDriver会等待指定时间
driver.implicitly_wait(5)
# 访问目标URL
driver.get(URL)
# 初始化ActionChains，用于执行更复杂的交互，如鼠标悬停
action = webdriver.ActionChains(driver)

2. 自动化展开所有下拉菜单

对于动态网页，展开菜单通常涉及到点击一个“加号”或“展开”图标。关键在于，当一个菜单被展开后，页面结构可能会发生变化，导致之前找到的元素变得“陈旧”（StaleElementReferenceException）或列表顺序改变。因此，一种稳健的方法是在每次点击后重新查找所有可展开的图标。

在本例中，我们观察到展开图标具有 icon expand-icon ion-plus-round 类。我们将通过CSS选择器 span[class="icon expand-icon ion-plus-round"] 来定位它们。

Reachout.ai

一个AI驱动的视频开发平台，专为忙碌的企业家和销售团队打造

142 查看详情 Reachout.ai

# 循环点击所有“展开”图标
# 注意：这里使用了一个循环，每次都重新查找所有可展开的图标，
# 并点击第一个找到的图标。这是因为点击一个图标可能会改变页面DOM，
# 使得之前的元素列表失效，或者新的可展开图标会出现在列表的起始位置。
# 这种策略确保我们总是点击当前可用的、尚未展开的第一个图标。
try:
    # 使用显式等待，直到至少有一个展开图标出现
    WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, 'span[class="icon expand-icon ion-plus-round"]'))
    )

    # 持续查找并点击，直到没有可点击的展开图标为止
    while True:
        # 重新查找所有可展开的图标
        pluses = driver.find_elements(By.CSS_SELECTOR, 'span[class="icon expand-icon ion-plus-round"]')
        if not pluses:
            # 如果没有找到任何展开图标，说明所有菜单已展开
            print("所有下拉菜单已展开。")
            break

        # 点击第一个找到的展开图标
        # 使用try-except来处理可能出现的元素不可交互的情况
        try:
            pluses[0].click()
            # 短暂等待，确保页面有时间响应点击并更新DOM
            time.sleep(0.5) 
        except Exception as e:
            print(f"点击展开图标时发生错误: {e}")
            # 如果无法点击第一个，尝试移除它并继续，或者跳出循环
            break 
except Exception as e:
    print(f"初始化查找展开图标时发生错误: {e}")

3. 提取所有子类别链接

在所有下拉菜单都展开后，我们可以开始提取目标链接。在本例中，所有类别和子类别链接都位于一个 list-group 类的元素内，并且子类别链接的 href 属性中包含 subcat 字符串。

# 定位包含所有类别和子类别的父容器
# 假设只有一个主要的 list-group
item_categories_container = driver.find_elements(By.CLASS_NAME, 'list-group')[0]

# 查找容器内所有的<a>标签（链接）
all_links = item_categories_container.find_elements(By.TAG_NAME, 'a')

# 过滤出所有子类别链接
subcat_links = []
for link_element in all_links:
    href = link_element.get_attribute('href')
    if href and 'subcat' in href: # 检查href是否存在且包含'subcat'
        subcat_links.append(href)

# 打印或处理提取到的子类别链接
print("\n提取到的子类别链接:")
for link in subcat_links:
    print(link)

# 完成操作后关闭浏览器
driver.quit()

完整代码示例

将以上所有代码片段整合，形成一个完整的自动化脚本：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time

URL = "https://albiononline2d.com/en/item"

driver = webdriver.Chrome()
driver.implicitly_wait(5) # 设置隐式等待
driver.get(URL)

print("正在尝试展开所有下拉菜单...")

try:
    # 使用显式等待，直到至少有一个展开图标出现
    WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, 'span[class="icon expand-icon ion-plus-round"]'))
    )

    while True:
        pluses = driver.find_elements(By.CSS_SELECTOR, 'span[class="icon expand-icon ion-plus-round"]')
        if not pluses:
            print("所有下拉菜单已展开。")
            break

        try:
            # 点击第一个可展开的图标
            pluses[0].click()
            time.sleep(0.5) # 短暂等待页面更新
        except Exception as e:
            print(f"点击展开图标时发生错误或无更多可点击图标: {e}")
            break # 出现错误或无法点击时退出循环

except Exception as e:
    print(f"初始化查找展开图标时发生错误: {e}")

print("开始提取子类别链接...")

subcat_links = []
try:
    # 再次使用显式等待，确保主类别列表加载完成
    item_categories_container = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CLASS_NAME, 'list-group'))
    )

    all_links = item_categories_container.find_elements(By.TAG_NAME, 'a')

    for link_element in all_links:
        href = link_element.get_attribute('href')
        if href and 'subcat' in href:
            subcat_links.append(href)

    print("\n提取到的子类别链接:")
    for link in subcat_links:
        print(link)

except Exception as e:
    print(f"提取链接时发生错误: {e}")

finally:
    driver.quit() # 确保最后关闭浏览器

注意事项与最佳实践

元素定位器的选择： 优先使用稳定且唯一的定位器，如ID、CSS选择器或XPath。对于本例，span[class="icon expand-icon ion-plus-round"] 是一个有效的CSS选择器。
动态元素处理： 对于会改变DOM结构的交互，务必在每次交互后重新查找相关元素。本教程中 while True 循环内重新调用 driver.find_elements() 是处理动态内容的有效策略。
等待机制：
- 隐式等待 (implicitly_wait)：设置一个全局的等待时间，WebDriver会在查找元素时等待这段时间。适用于大多数元素加载场景。
- 显式等待 (WebDriverWait + expected_conditions)：更精确和健壮的等待方式，可以等待特定条件（如元素可见、可点击）达成。例如，EC.presence_of_element_located 用于等待元素出现在DOM中。在处理动态内容时，推荐结合使用显式等待以提高脚本的稳定性。
- time.sleep()：应尽量避免使用，因为它会无条件暂停脚本，浪费时间且可能导致不稳定。仅在调试或确定需要固定延迟时少量使用。
错误处理： 使用 try-except 块来捕获可能发生的异常（如 StaleElementReferenceException、NoSuchElementException），使脚本更健壮。
目标网站结构： 在编写自动化脚本前，务必通过浏览器开发者工具仔细分析目标网页的DOM结构和元素属性，这有助于选择正确的定位器和交互策略。
资源管理： 始终在脚本结束时调用 driver.quit() 来关闭浏览器并释放资源。

总结

通过本教程，我们学习了如何使用Selenium自动化处理动态网页上的下拉菜单。核心策略是：利用CSS选择器定位“展开”图标，并通过循环和在每次点击后重新查找元素的方式，确保所有菜单被成功展开。随后，我们通过过滤链接的 href 属性来准确提取目标子类别链接。掌握这些技术，将使您能够更有效地从复杂的、交互式的网页中抓取所需数据。

以上就是使用Selenium自动化展开所有动态下拉菜单并抓取子类别链接的详细内容，更多请关注其它相关文章！

# css # 定位器 # 鄂州网站首页推荐优化 # 产品包装方案网站推广 # 上海seo接入 # 一对一关键词排名费用 # 品牌营销推广文案图片 # 崇安网站建设 # 哪个网站营销推广 # 网站建设如何选择空间 # 网站建设品牌策 # 郴州网络新闻营销推广 # 适用于 # 出现在 # 关闭浏览器 # 所需 # 子类 # 发生错误 # 如何使用 # 选择器 # 第一个 # css选择器 # webdriver # ai # 工具 # app # 浏览器 # go # python