Pandas DataFrame中按分组均值填充缺失值的专业指南

新闻中心 NEWS CENTER

您当前位置：首页 > 新闻中心 > 网络学院

Pandas DataFrame中按分组均值填充缺失值的专业指南

2025-11-06

浏览次数：次

返回列表

pandas dataframe中按分组均值填充缺失值的专业指南

本教程详细介绍了如何在Pandas DataFrame中高效地按分组均值填充缺失值。通过结合`groupby()`和`transform('mean')`方法，可以为每个缺失值动态计算其所属分组的均值，并使用`fillna()`进行精确填充，从而避免常见错误，确保数据完整性和准确性。

在数据分析和预处理过程中，处理缺失值（NaN）是一项常见且重要的任务。当需要根据数据中某个分类列的分组统计量（如均值）来填充另一个数值列的缺失值时，Pandas提供了强大而灵活的工具。本文将深入探讨如何使用groupby()与transform()结合fillna()方法，有效地完成这一任务。

理解按分组填充缺失值的需求

假设我们有一个DataFrame，其中包含一个分类列（例如InternetService）和一个数值列（例如Bandwidth_GB_Year），并且Bandwidth_GB_Year列中存在缺失值。我们的目标是根据每个InternetService类型计算其Bandwidth_GB_Year的均值，然后用这个均值来填充该类型下所有对应的缺失值。

直接使用df["col"].fillna(df.groupby("group_col")["col"].mean())往往无法达到预期效果，甚至可能导致数据丢失。这是因为df.groupby("group_col")["col"].mean()返回的是一个Series，其索引是group_col的唯一值，而非原始DataFrame的索引。fillna()方法在接收Series作为参数时，会尝试根据索引进行对齐，如果索引不匹配，则可能无法正确填充或填充为NaN。此外，在赋值操作中同时使用inplace=True参数也是一个常见的陷阱，因为inplace=True会原地修改DataFrame并返回None，导致列被赋为None。

解决方案：groupby().transform('mean')

解决这一问题的关键在于使用transform()方法。transform()与apply()类似，都是对分组数据执行操作，但transform()的独特之处在于它会将结果“广播”回原始DataFrame的形状，即返回一个与原始DataFrame（或Series）索引对齐的Series。这使得它非常适合与fillna()结合使用。

当与mean()一起使用时，df.groupby('group_col')['value_col'].transform('mean')会为原始DataFrame中的每一行计算其所属group_col的value_col均值，并返回一个与value_col长度和索引完全一致的Series。

示例代码

让我们通过一个具体的例子来演示如何实现按分组均值填充。

刺鸟创客

一款专业高效稳定的AI内容创作平台

110 查看详情刺鸟创客

import pandas as pd
import numpy as np

# 模拟一个包含缺失值的DataFrame
data = {
    'InternetService': ['DSL', 'Fiber Optic', 'DSL', 'None', 'Fiber Optic', 'DSL', 'None', 'Fiber Optic', 'DSL', 'None'],
    'Bandwidth_GB_Year': [3500, 3100, np.nan, 3200, np.nan, 3900, 3300, 3000, np.nan, 3150]
}
df = pd.DataFrame(data)

print("原始DataFrame:")
print(df)
print("-" * 30)

# 1. 计算每个InternetService类型的Bandwidth_GB_Year均值
# 注意：这里只是为了展示transform的工作原理，实际填充时无需单独存储
group_means_transformed = df.groupby('InternetService')['Bandwidth_GB_Year'].transform('mean')
print("\ntransform('mean')后的Series (与原始DataFrame索引对齐):")
print(group_means_transformed)
print("-" * 30)

# 2. 使用transform('mean')的结果来填充缺失值
# fillna会根据索引匹配，将缺失值替换为对应分组的均值
df['Bandwidth_GB_Year'] = df['Bandwidth_GB_Year'].fillna(group_means_transformed)

print("\n填充缺失值后的DataFrame:")
print(df)

代码解析：

创建DataFrame: 我们首先创建一个包含InternetService和Bandwidth_GB_Year列的DataFrame，并在Bandwidth_GB_Year中引入np.nan表示缺失值。
groupby().transform('mean'):
- df.groupby('InternetService')：根据InternetService列对DataFrame进行分组。
- ['Bandwidth_GB_Year']：选择Bandwidth_GB_Year列进行操作。
- .transform('mean')：对每个分组的Bandwidth_GB_Year计算均值，并将结果扩展回原始DataFrame的形状。这意味着，如果“DSL”组的均值是X，那么原始DataFrame中所有InternetService为“DSL”的行，在group_means_transformed中对应位置的值都将是X。
fillna():
- df['Bandwidth_GB_Year'].fillna(group_means_transformed)：将Bandwidth_GB_Year列中的所有NaN值，替换为group_means_transformed中对应索引位置的值。由于group_means_transformed已经与原始列完美对齐，因此填充会非常准确。
- df['Bandwidth_GB_Year'] = ...：将填充后的Series重新赋值回原列，完成数据更新。

运行结果示例：

原始DataFrame:
  InternetService  Bandwidth_GB_Year
0             DSL             3500.0
1     Fiber Optic             3100.0
2             DSL                NaN
3            None             3200.0
4     Fiber Optic                NaN
5             DSL             3900.0
6            None             3300.0
7     Fiber Optic             3000.0
8             DSL                NaN
9            None             3150.0
------------------------------

transform('mean')后的Series (与原始DataFrame索引对齐):
0    3700.0
1    3050.0
2    3700.0
3    3216.666667
4    3050.0
5    3700.0
6    3216.666667
7    3050.0
8    3700.0
9    3216.666667
Name: Bandwidth_GB_Year, dtype: float64
------------------------------

填充缺失值后的DataFrame:
  InternetService  Bandwidth_GB_Year
0             DSL        3500.000000
1     Fiber Optic        3100.000000
2             DSL        3700.000000
3            None        3200.000000
4     Fiber Optic        3050.000000
5             DSL        3900.000000
6            None        3300.000000
7     Fiber Optic        3000.000000
8             DSL        3700.000000
9            None        3150.000000

可以看到，原始DataFrame中索引为2、4、8的缺失值被成功地填充了其对应InternetService分组的均值。例如，DSL的均值为(3500+3900)/2 = 3700，Fiber Optic的均值为(3100+3000)/2 = 3050，None的均值为(3200+3300+3150)/3 = 3216.666667。

注意事项与最佳实践

避免inplace=True与赋值同时使用： 如原问题所示，df["col"] = df["col"].fillna(mean_values, inplace = True)是一个常见的错误。当inplace=True时，fillna()方法会原地修改df["col"]并返回None。将None赋值回列会导致该列所有值变为None。正确的做法是：
- 不使用inplace=True并重新赋值：df['col'] = df['col'].fillna(values_to_fill) (推荐)
- 直接使用inplace=True但不进行赋值：df['col'].fillna(values_to_fill, inplace=True) (适用于不希望创建新Series的情况)
数据类型： 当填充数值列时，如果原始列是整数类型且包含NaN，Pandas会自动将其转换为浮点数类型（因为NaN是浮点数）。填充后，列的数据类型通常会保持为浮点数。如果需要整数类型，需要进行显式转换，但请注意，包含NaN的整数列无法直接表示。
其他聚合函数：transform()不仅可以与mean()结合，还可以与median()、min()、max()、sum()等其他聚合函数结合使用，以满足不同的填充策略。例如，按组中位数填充：
```
df['Bandwidth_GB_Year'] = df['Bandwidth_GB_Year'].fillna(df.groupby('InternetService')['Bandwidth_GB_Year'].transform('median'))
```
处理空组或全NaN组： 如果某个分组的所有值都是NaN，那么transform('mean')将返回NaN。这意味着，如果一个分组本身没有有效数据来计算均值，那么该分组内的缺失值仍然会保持为NaN。在实际应用中，可能需要进一步处理这些情况，例如用全局均值或特定默认值填充。

总结

通过结合使用Pandas的groupby()和transform('mean')方法，我们可以优雅且高效地实现按分组均值填充DataFrame中的缺失值。这种方法确保了填充值的准确性，并且生成的Series与原始DataFrame的索引完美对齐，从而避免了常见的对齐问题和inplace参数误用导致的错误。掌握这一技巧是进行数据清洗和预处理的关键一步。

以上就是Pandas DataFrame中按分组均值填充缺失值的专业指南的详细内容，更多请关注其它相关文章！

# 的是 # 赤峰网站网络推广服务商 # 粉丝号如何推广营销策略 # 磐安网络营销推广公司 # 温州seo排名收费 # 磁县整合营销推广招聘网 # 百度推广链接查询网站 # 将公司网站建设成 # 服装营销推广和内容运营 # 青海安徽抖音关键词排名 # 沈阳网络推广网站运营 # 还可以 # 是一个 # app # 如何用 # 浮点数 # 都是 # 这一 # 自定义 # 均值 # 聚合函数 # 数据丢失 # 数据清洗 # 工具 # internet