Python爬取Yahoo Finance财报数据：API调用实践指南

新闻中心 NEWS CENTER

您当前位置：首页 > 新闻中心 > 网络学院

Python爬取Yahoo Finance财报数据：API调用实践指南

2025-11-09

浏览次数：次

返回列表

Python爬取Yahoo Finance财报数据：API调用实践指南

本教程详细介绍了如何通过直接调用yahoo finance的内部api来高效、准确地抓取特定日期的公司财报数据。针对传统html解析在动态加载页面上失效的问题，文章提供了基于`requests`库的api请求方法，包括请求头、参数、json查询体的构建，以及如何处理动态cookie和crumb值，确保稳定获取财报信息。

1. 理解传统爬取方法的局限性

在使用Python进行网页数据抓取时，requests库结合BeautifulSoup是常见的组合。然而，对于许多现代网站，尤其是那些大量依赖J*aScript动态加载内容的网站，这种方法会遇到瓶颈。

以Yahoo Finance的财报日历页面为例，如果尝试直接请求其URL（例如https://finance.yahoo.com/calendar/earnings?day=YYYY-MM-DD）并使用BeautifulSoup解析返回的HTML，可能会发现无法获取到预期的财报数据，或者获取到的数据并非指定日期的最新信息。这通常是因为页面上的财报列表是通过J*aScript在浏览器端异步请求后端API后渲染的，而requests库只获取了初始的静态HTML内容，并未执行J*aScript。

例如，以下尝试获取“昨天”财报的初始代码片段，可能会因为上述原因而失败，导致获取到非预期日期（如周末）的数据：

import requests
from bs4 import BeautifulSoup as bs
from datetime import date, timedelta

today = date.today()
# 假设我们想获取上一个交易日的财报
# 如果今天是周日，timedelta(days=2) 会得到周五
# 但这种简单计算不总是可靠，特别是在处理周末和节假日时
yesterday_attempt = today - timedelta(days=2)

url = f"https://finance.yahoo.com/calendar/earnings?day={yesterday_attempt}"
page = requests.get(url)
soup = bs(page.text, 'html.parser')

# 尝试从soup中查找财报符号，可能会得到错误日期的数据
# print(soup.find('a', 'Fw(600) C($linkColor)').text)

这种方法的失败表明，我们需要一种更深入的方式来与网站交互。

2. 发现并利用Yahoo Finance的内部API

当传统的HTML解析方法失效时，通常意味着网站通过API进行数据交换。我们可以通过浏览器的开发者工具（通常按F12打开）来监控网络请求，从而发现这些隐藏的API。

在Yahoo Finance的财报日历页面，通过观察网络请求，可以发现它向一个特定的API端点发送POST请求来获取财报数据：https://query2.finance.yahoo.com/v1/finance/visualization。这个API返回的数据是JSON格式，结构清晰，非常适合程序化抓取。

易标AI

告别低效手工，迎接AI标书新时代！3分钟智能生成，行业唯一具备查重功能，自动避雷废标项

135 查看详情易标AI

3. 构建API请求获取财报数据

要成功调用这个API，我们需要模拟浏览器发送的POST请求，包括正确的请求头、查询参数和JSON请求体。

3.1 确定目标日期

首先，我们需要一个健壮的方法来确定要查询的日期，例如“上一个交易日”。

from datetime import date, timedelta

def get_last_trading_day(current_date: date) -> date:
    """
    获取给定日期之前的最近一个交易日。
    如果给定日期是周末，则回溯到上一个周五。
    """
    target_date = current_date
    # 0=Monday, 1=Tuesday, ..., 4=Friday, 5=Saturday, 6=Sunday
    while target_date.weekday() >= 5: # 如果是周六或周日
        target_date -= timedelta(days=1)
    return target_date

# 示例：获取今天的上一个交易日
today = date.today()
last_trading_day = get_last_trading_day(today)

# API查询需要一个日期范围，通常是目标日期当天
start_date_str = last_trading_day.strftime("%Y-%m-%d")
end_date_str = (last_trading_day + timedelta(days=1)).strftime("%Y-%m-%d") # 范围是 [start_date, end_date)

3.2 构造请求参数和数据

API请求主要由以下几部分组成：

请求头（Headers）: 模拟浏览器行为，User-Agent是必需的。
URL参数（Params）: 包含一些元数据，如crumb、lang、region等。其中crumb是一个动态值，通常用于防止CSRF攻击，需要从Yahoo Finance的其他页面（如主页或任何股票详情页）的HTML中提取，或者通过观察API请求获取。
JSON请求体（Query Payload）: 这是核心部分，定义了我们想要查询的数据类型、字段、日期范围、分页和排序方式。

import requests
from datetime import date, timedelta

# 1. 确定目标日期
today = date.today()
last_trading_day = get_last_trading_day(today) # 使用上面定义的函数

start_date_str = last_trading_day.strftime("%Y-%m-%d")
end_date_str = (last_trading_day + timedelta(days=1)).strftime("%Y-%m-%d")

# 2. 定义请求头
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
    "Accept": "application/json, text/j*ascript, */*; q=0.01",
    "Content-Type": "application/json",
    "X-Requested-With": "XMLHttpRequest",
    "Referer": "https://finance.yahoo.com/calendar/earnings",
}

# 3. 定义URL和URL参数
url = "https://query2.finance.yahoo.com/v1/finance/visualization"
params = {
    "crumb": "YOUR_CRUMB_VALUE_HERE", # 此值通常是动态的，需要从浏览器开发者工具中获取
    "lang": "en-US",
    "region": "US",
    "corsDomain": "finance.yahoo.com",
}

# 4. 定义JSON请求体 (query payload)
query_payload = {
    "entityIdType": "earnings",
    "includeFields": [
        "ticker",
        "companyshortname",
        "eventname",
        "startdatetime",
        "startdatetimetype",
        "epsestimate",
        "epsactual",
        "epssurprisepct",
        "timeZoneShortName",
        "gmtOffsetMilliSeconds",
    ],
    "offset": 0,
    "query": {
        "operands": [
            {"operands": ["startdatetime", start_date_str], "operator": "gte"}, # 大于等于开始日期
            {"operands": ["startdatetime", end_date_str], "operator": "lt"},    # 小于结束日期
            {"operands": ["region", "us"], "operator": "eq"},
        ],
        "operator": "and",
    },
    "size": 100, # 每页获取条目数
    "sortField": "companyshortname",
    "sortType": "ASC",
}

# 5. 定义Cookie
# 'A3' cookie 通常也包含会话信息，是动态且必需的。
# 同样需要从浏览器开发者工具中获取。
cookie_a3 = "YOUR_A3_COOKIE_VALUE_HERE" # 示例: "d=AQABBK8KXmQCEA8-VE0dBLqG5QEpQ7OglmEFEgABCAHCeWWpZfNtb2UB9qMAAAcIqgpeZJj7vK8&S=AQAAAqhyTAOrxcxONc4ktfzCOkg"

# 6. 发送POST请求并处理响应
with requests.Session() as s:
    s.headers.update(headers)
    s.cookies["A3"] = cookie_a3 # 设置A3 cookie

    try:
        response = s.post(url, params=params, json=query_payload)
        response.raise_for_status() # 如果HTTP请求失败（非200状态码），则抛出异常
        data = response.json()

        # 解析并打印结果
        if data and "finance" in data and "result" in data["finance"] and \
           data["finance"]["result"] and "documents" in data["finance"]["result"][0] and \
           data["finance"]["result"][0]["documents"] and "rows" in data["finance"]["result"][0]["documents"][0]:

            print(f"--- 抓取 {last_trading_day.strftime('%Y年%m月%d日')} 的财报数据 ---")
            for r in data["finance"]["result"][0]["documents"][0]["rows"]:
                company_name = r[1] if len(r) > 1 else "N/A"
                event_name = r[2] if len(r) > 2 and r[2] else "N/A"
                start_time = r[3] if len(r) > 3 else "N/A"
                print(f"{company_name:<40} {event_name:<40} {start_time:<30}")
        else:
            print("未能获取到财报数据，请检查API响应结构或查询参数。")

    except requests.exceptions.RequestException as e:
        print(f"请求失败: {e}")
    except ValueError:
        print("响应内容不是有效的JSON格式。")
    except Exception as e:
        print(f"发生未知错误: {e}")

3.3 示例输出（部分）

运行上述代码，如果crumb和A3 cookie正确，将输出类似以下格式的财报数据：

--- 抓取 2025年12月15日 的财报数据 ---
Lewis and Clark Bank                      Q3 2025  Earnings Release                2025-12-15T13:10:00.000Z      
Alzamend Neuro, Inc.                                                              2025-12-15T16:32:00.000Z      
ATIF Holdings Ltd                         Q1 2025  Earnings Release                2025-12-15T21:00:00.000Z      
Barnwell Industries Inc                   Q4 2025  Earnings Release                2025-12-15T23:05:13.000Z      
Quanex Building Products Corp             Q4 20

以上就是Python爬取Yahoo Finance财报数据：API调用实践指南的详细内容，更多请关注其它相关文章！

# 有效地 # 寿光书店网站建设公示网 # seo下拉词在哪里做 # 独立站营销推广系统系统 # seo原理和优化 # seo网络推广公司好 # 网站建设销售技巧话术 # 网站建设建站网 # 新上线网站怎么优化好 # 2017seo必备工具 # 纳雍seo优化哪家便宜 # 是在 # 这是 # 是一个 # 周日 # 高分 # javascript # 周末 # 加载 # 交易日 # 财报 # 工 # app # 浏览器 # cookie # windows # json # js # html # java # python