Python API数据提取：解决字典追加不完整问题_石家庄创泽智能科技有限公司

新闻中心 NEWS CENTER

您当前位置：首页 > 新闻中心 > 网络学院

Python API数据提取：解决字典追加不完整问题

2025-11-30

浏览次数：次

返回列表

Python API数据提取：解决字典追加不完整问题

在从嵌套json api响应中提取数据时，常见的错误是由于循环缩进不当导致数据字典追加不完整。本文将详细解析python中处理api数据时，特别是涉及多层嵌套结构时，如何确保所有预期数据（如球员列表）被正确提取并追加到列表中。通过纠正字典创建和追加操作的缩进位置，我们可以确保每个循环迭代都能独立地捕获并存储数据，从而避免只获取到最后一个元素的常见陷阱。

1. 问题背景与现象分析

在从外部API（例如ESPN的PGA赛事API）获取数据时，我们经常需要处理包含多层嵌套信息的JSON结构。一个典型场景是，我们希望从一个赛事中提取所有参赛选手的详细信息。然而，在实际操作中，开发者可能会遇到一个常见问题：尽管API响应中包含多个选手的数据，最终提取结果却只显示了每个赛事中的最后一个选手信息，或者数据量远少于预期。

例如，当我们尝试从PGA赛事API提取球员列表时，可能会发现输出的Pandas DataFrame只包含每个赛事中的最后一位球员，如下所示：

     game_id               date        name playerName
0  401580329  2025-01-04T05:00Z  The Sentry  Sam Burns

这表明程序可能在处理循环和数据追加时存在逻辑缺陷，导致之前的选手数据被后续数据覆盖或未被正确追加。

2. 原始代码分析与问题定位

为了理解上述现象的原因，我们首先审视原始的代码实现：

import requests
import pandas as pd

# 定义API端点
api = 'https://site.web.api.espn.com/apis/site/v2/sports/golf/leaderboard?league=pga'

# 发送GET请求并获取JSON响应
response = requests.get(api)
data = response.json()

# 提取赛事数据
events = data['events']

# 创建一个空列表存储游戏数据
games = []

# 遍历每个赛事并获取相关信息
for event in events:
    game_id = event['id']
    date = event['date']
    name = event['name']
    for competition in event['competitions']:
        for competitor in competition['competitors']:
            athlete = competitor['athlete']
            playerName = athlete['displayName'] # playerName 在这里被赋值

    # 创建一个字典，包含游戏数据
    # 注意：此处的缩进！
    game = {
        'game_id': game_id,
        'date': date,
        'name': name,
        'playerName': playerName
    }

    # 将游戏字典追加到games列表
    # 注意：此处的缩进！
    games.append(game)

df = pd.DataFrame(games)
print(df)

问题分析：

代码的核心问题在于game字典的创建和games.append(game)操作的缩进位置。它们被放置在最内层for competitor in competition['competitors']:循环的外部，但仍在for event in events:循环的内部。

这意味着：

对于每个event，程序会遍历其所有competition和competitor。
在遍历competitor时，playerName变量会不断被更新，直到循环结束。
当for competitor循环完全结束后，playerName将只保留该event中最后一个competitor的值。
此时，game字典才被创建，并使用这个“最后一个”playerName。
这个包含“最后一个”球员信息的game字典被追加到games列表中。

因此，对于每个event，无论有多少个competitor，最终都只会有一个包含最后一个球员信息的字典被追加到games列表中。这正是导致数据不完整，只显示“Sam Burns”等最后一个球员的原因。

GoEnhance

全能AI视频制作平台：通过GoEnhance AI让视频创作变得比以往任何时候都更简单。

347 查看详情 GoEnhance

3. 解决方案：调整循环与字典操作的缩进

要解决此问题，我们需要确保在每次迭代competitor时，都独立地创建game字典并将其追加到games列表中。这要求将字典的创建和追加操作移动到最内层循环的内部。

以下是修正后的代码：

import requests
import pandas as pd

# 定义API端点
api = 'https://site.web.api.espn.com/apis/site/v2/sports/golf/leaderboard?league=pga'

# 发送GET请求并获取JSON响应
response = requests.get(api)
data = response.json()

# 提取赛事数据
events = data['events']

# 创建一个空列表存储游戏数据
games = []

# 遍历每个赛事并获取相关信息
for event in events:
    game_id = event['id']
    date = event['date']
    name = event['name']
    for competition in event['competitions']:
        for competitor in competition['competitors']:
            athlete = competitor['athlete']
            playerName = athlete['displayName']

            # 关键修正：将字典创建和追加移到最内层循环内部
            game = {
                'game_id': game_id,
                'date': date,
                'name': name,
                'playerName': playerName
            }
            games.append(game) # 每次找到一个competitor就追加

df = pd.DataFrame(games)
print(df)

修正后的逻辑：

通过将game字典的创建和games.append(game)操作移动到for competitor in competition['competitors']:循环的内部，我们确保了：

每当程序识别并处理一个competitor时，
就会立即使用该competitor的playerName以及当前event的game_id、date和name来创建一个新的game字典。
这个新创建的game字典随后被追加到games列表中。

这样，每个competitor的数据都会被独立地捕获并存储，最终games列表将包含所有赛事中所有选手的完整信息。

4. 最佳实践与注意事项

Python缩进的重要性： Python的缩进不仅仅是为了美观，更是语法的一部分。错误的缩进会导致程序逻辑错误，甚至语法错误。在处理循环和条件语句时，务必仔细检查缩进级别。
处理嵌套数据结构： 当处理多层嵌套的JSON数据时，理解数据结构至关重要。建议使用工具（如在线JSON格式化工具或IDE的JSON查看器）来可视化JSON结构，从而更好地规划循环和数据提取路径。
增量式构建数据： 在循环中逐步构建数据（例如，每次迭代创建一个字典并追加到列表中）是处理大量数据的有效策略。
错误处理： 在实际生产环境中，API响应可能不总是完美的。考虑添加try-except块来处理潜在的KeyError，以防某些键在API响应中缺失。例如：
```
try:
    playerName = athlete['displayName']
except KeyError:
    playerName = "N/A" # 或者其他默认值
```
Pandas的优势： 一旦数据被正确地提取并存储在列表中，使用Pandas DataFrame可以极大地简化后续的数据分析、清洗和转换工作。