Python爬取动态加载内容的隐藏电话号码：API请求方法详解

新闻中心 NEWS CENTER

您当前位置：首页 > 新闻中心 > 网络学院

Python爬取动态加载内容的隐藏电话号码：API请求方法详解

2025-11-13

浏览次数：次

返回列表

Python爬取动态加载内容的隐藏电话号码：API请求方法详解

本教程旨在解决使用beautifulsoup无法直接爬取动态加载内容中隐藏电话号码的问题。当目标网站通过j*ascript异步请求（如graphql api）动态更新dom时，传统的html解析器将失效。文章详细介绍了如何利用浏览器开发者工具分析网络请求，识别数据源api，并使用python的`requests`库模拟这些api请求，从而高效准确地获取所需数据。

在现代网页中，许多内容并非直接嵌入在初始HTML文档中，而是通过J*aScript在用户交互（例如点击按钮）后异步加载。对于这类动态内容，仅依赖于BeautifulSoup这样的静态HTML解析库是不足以获取到完整信息的。本文将以从弹出按钮中抓取隐藏电话号码为例，详细讲解如何通过模拟API请求来解决这一挑战。

1. 理解动态内容加载的挑战

当你尝试使用requests库获取网页内容并用BeautifulSoup解析时，如果目标数据（如电话号码）只有在点击某个按钮后才显示，那么你获取到的HTML将不包含这些数据。这是因为BeautifulSoup只能处理服务器返回的原始HTML。而按钮点击后触发的数据加载通常是通过浏览器执行J*aScript代码，向后端API发送请求，然后将返回的数据动态插入到网页DOM中。

在我们的例子中，点击“التواصل”按钮后弹出的电话号码，就是通过J*aScript向一个GraphQL API发送POST请求获取的。

2. 利用浏览器开发者工具分析网络请求

要获取动态加载的数据，我们首先需要找出是哪个API提供了这些数据。浏览器开发者工具（通常按F12键打开）的“网络”（Network）选项卡是关键。

打开目标网页： 访问你想要爬取的页面，例如 https://haraj.com.sa/1194697687。
打开开发者工具： 在浏览器中按F12，切换到“网络”（Network）选项卡。
筛选XHR/Fetch请求： 在网络面板中，通常会有筛选器，选择“XHR”或“Fetch/XHR”，这样可以只显示J*aScript发起的异步请求。
触发数据加载： 点击网页上的“التواصل”按钮。
识别API请求： 在网络面板中观察新出现的请求。通常，你会看到一个POST请求，其URL可能包含“graphql”或“api”等字样。点击该请求，查看其详细信息：
- URL： 请求的目标地址（例如 https://graphql.haraj.com.sa）。
- 请求方法： 通常是POST。
- 请求头（Request Headers）： 包含User-Agent等信息。
- 请求载荷（Request Payload）： 这是最重要的部分，它包含了发送给API的数据，通常是JSON格式。对于GraphQL，你会看到query和variables等字段。
- 响应（Response）： API返回的数据，通常也是JSON格式，其中包含我们所需的电话号码。

通过分析，我们可以发现当点击按钮时，浏览器向 https://graphql.haraj.com.sa 发送了一个POST请求，请求载荷中包含一个GraphQL查询，以及一个postId变量。

3. 提取关键参数：postId

在分析请求载荷时，我们注意到一个名为postId的变量是动态的。这个postId通常可以从原始网页的URL中提取。例如，如果页面URL是 https://haraj.com.sa/1194697687，那么postId可能就是URL末尾的数字部分，但可能需要去除某些前缀。

Tanka

具备AI长期记忆的下一代团队协作沟通工具

146 查看详情 Tanka

根据观察，URL中的1194697687对应的postId是94697687，这意味着需要去除前两位数字11。

以下是一个提取postId的示例函数：

import re

def extract_post_id_from_url(url):
    """
    从Haraj网站的URL中提取postId。
    示例: "https://haraj.com.sa/1194697687" -> 94697687
    """
    match = re.search(r'/(\d+)$', url)
    if match:
        full_id_str = match.group(1)
        # 根据观察，postId是URL末尾数字去除前两位"11"后的部分
        if full_id_str.startswith('11') and len(full_id_str) > 2:
            return int(full_id_str[2:])
        return int(full_id_str) # 如果没有"11"前缀，则直接返回
    return None

# 示例用法
target_url = "https://haraj.com.sa/1194697687"
post_id = extract_post_id_from_url(target_url)
if post_id:
    print(f"提取到的 Post ID: {post_id}")
else:
    print("无法从URL中提取 Post ID。")

4. 模拟API请求获取数据

一旦我们识别了API请求的URL、方法、头部和载荷，就可以使用Python的requests库来模拟这个请求。

import requests
import re

def extract_post_id_from_url(url):
    """
    从Haraj网站的URL中提取postId。
    示例: "https://haraj.com.sa/1194697687" -> 94697687
    """
    match = re.search(r'/(\d+)$', url)
    if match:
        full_id_str = match.group(1)
        # 根据观察，postId是URL末尾数字去除前两位"11"后的部分
        if full_id_str.startswith('11') and len(full_id_str) > 2:
            return int(full_id_str[2:])
        return int(full_id_str) # 如果没有"11"前缀，则直接返回
    return None

def get_hidden_phone_number(page_url):
    """
    通过模拟API请求获取隐藏的电话号码。
    """
    # 1. 从页面URL中提取 postId
    post_id = extract_post_id_from_url(page_url)
    if post_id is None:
        print(f"错误: 无法从URL '{page_url}' 中提取有效的 postId。")
        return None

    # 2. 定义API请求参数
    api_url = "https://graphql.haraj.com.sa"

    # 根据浏览器网络分析，这些参数可能为空或特定值
    params = {
        "queryName": "postContact",
        "token": "",
        "clientId": "",
        "version": ""
    }

    headers = {
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.0.0 Safari/537.36",
        "accept": "*/*",
        "accept-language": "en-US,en;q=0.9",
        "content-type": "application/json",
        "origin": "https://haraj.com.sa",
        "referer": page_url # 设置referer以模拟真实浏览器行为
    }

    # GraphQL请求的Payload
    payload = {   
        "query": "query postContact($postId: Int!) {postContact(postId: $postId){contactText}}",
        "variables": {
            "postId": post_id # 使用动态获取的postId
        }
    }

    try:
        # 3. 发送POST请求
        response = requests.post(api_url, params=params, headers=headers, json=payload)
        response.raise_for_status() # 检查HTTP请求是否成功

        # 4. 解析JSON响应
        data = response.json()

        # 提取电话号码
        contact_text = data.get('data', {}).get('postContact', {}).get('contactText')
        return contact_text

    except requests.exceptions.RequestException as e:
        print(f"请求失败: {e}")
        return None
    except KeyError as e:
        print(f"解析响应数据失败: 缺少键 {e}")
        return None

# 主函数调用示例
if __name__ == "__main__":
    target_page_url = "https://haraj.com.sa/1194697687" # 替换为实际的页面URL
    phone_number = get_hidden_phone_number(target_page_url)

    if phone_number:
        print(f"成功获取到电话号码: {phone_number}")
    else:
        print("未能获取电话号码。")

    # 另一个示例URL
    another_page_url = "https://haraj.com.sa/1199808969"
    phone_number_2 = get_hidden_phone_number(another_page_url)
    if phone_number_2:
        print(f"成功获取到另一个电话号码: {phone_number_2}")
    else:
        print("未能获取另一个电话号码。")

代码解释：

extract_post_id_from_url(url): 这个函数负责从给定的Haraj网站URL中解析出postId。它使用正则表达式匹配URL末尾的数字，并根据观察到的模式（去除前缀11）进行处理。
get_hidden_phone_number(page_url):
- 首先调用extract_post_id_from_url获取当前页面的postId。
- api_url：这是通过开发者工具识别出的GraphQL API的端点。
- params：查询字符串参数，即使为空也应包含，以模拟浏览器行为。
- headers：模拟浏览器请求头，特别是User-Agent、Content-Type、Origin和Referer，这有助于避免被网站识别为爬虫。
- payload：这是一个字典，会被requests.post自动转换为JSON格式发送。它包含了GraphQL查询语句和动态的postId变量。
- requests.post(...)：发送POST请求。json=payload参数会自动设置Content-Type为application/json并序列化payload。
- response.raise_for_status()：这是一个好习惯，如果HTTP请求返回的状态码表示错误（例如4xx或5xx），它会抛出一个HTTPError。
- response.json()：将API返回的JSON响应解析为Python字典。
- 通过字典的get方法安全地访问嵌套数据，提取contactText，即电话号码。
- 增加了错误处理机制，捕获requests请求异常和JSON解析异常。

5. 注意事项与总结

动态参数： 许多API请求中可能包含动态生成的令牌（token）、客户端ID（clientId）或会话ID。如果这些参数是必需的，你可能需要先爬取主页面，通过J*aScript代码或隐藏字段来提取它们。本例中的token、clientId和version在当前场景下似乎不是必需的，但实际情况可能不同。
User-Agent： 始终设置一个合理的User-Agent头部，以模拟真实浏览器，降低被网站封禁的风险。
错误处理： 编写健壮的代码，处理网络请求失败、JSON解析失败或预期数据结构缺失等情况。
频率限制与道德： 遵守网站的robots.txt协议，不要发送过高的请求频率，避免对目标网站造成不必要的负担。
GraphQL的优势： GraphQL允许客户端精确地指定所需的数据，这在某些情况下比REST API更高效，但也意味着你需要理解其查询语法。

通过上述方法，我们成功绕过了BeautifulSoup在处理动态加载内容时的局限性，直接与网站的后端API交互，高效准确地获取了隐藏的电话号码。这种模拟API请求的技术是爬取现代动态网站的关键技能之一。

以上就是Python爬取动态加载内容的隐藏电话号码：API请求方法详解的详细内容，更多请关注其它相关文章！

# python # html建设网站 # 潍坊seo网站优化 # 推广网站有什么好的方法 # 泸西网站搜索优化平台 # 出海网站建设 # seo资源vip # 网站建设教学点 # 扬州关键词排名工作室 # 柳州营销推广效果好 # 如果没有 # 这是一个 # 你会 # 鼠标 # 这是 # 数据结构 # 所需 # 两位 # 加载 # 工具 # app # 浏览器 # windows # 正则表达式 # json # js # html # java # javascript # 微信营销推广注意事项