Pandas数据重塑教程：高效堆叠多列的多种方法

新闻中心 NEWS CENTER

您当前位置：首页 > 新闻中心 > 网络学院

Pandas数据重塑教程：高效堆叠多列的多种方法

2025-11-19

浏览次数：次

返回列表

Pandas数据重塑教程：高效堆叠多列的多种方法

本文详细介绍了在pandas dataframe中将多列堆叠并重塑为更简洁结构的三种高效方法。通过实例代码，分别演示了如何利用multiindex、`melt`与`pivot`组合以及`janitor`库的`pivot_longer`函数来实现数据从宽格式到长格式的转换，旨在帮助用户根据具体场景选择最合适的重塑策略，提升数据处理效率。

在数据分析和处理中，经常需要对DataFrame的结构进行调整，以适应不同的分析需求或模型输入。其中一个常见场景是将多个具有相似语义的列堆叠（stack）成少数几列，同时引入一个标识原始列来源的新列。例如，将包含左右侧（left_和right_）计数（_count）和总和（_sum）的列重塑为包含side、count和sum的更紧凑格式。

考虑以下初始DataFrame：

import pandas as pd

df = pd.DataFrame({
    'date': ['2025-12-01', '2025-12-05', '2025-12-07'],
    'other_col': ['a', 'b', 'c'],
    'right_count': [4, 7, 9],
    'right_sum': [2, 3, 5],
    'left_count': [1, 8, 5],
    'left_sum': [0, 8, 4]
})

print("原始DataFrame:")
print(df)

期望的输出格式如下：

         date other_col   side  count  sum
0  2025-12-01         a  right      4    2
1  2025-12-05         b  right      7    3
2  2025-12-07         c  right      9    5
3  2025-12-01         a   left      1    0
4  2025-12-05         b   left      8    8
5  2025-12-07         c   left      5    4

下面将介绍三种实现此重塑目标的方法。

方法一：利用MultiIndex和stack进行自定义重塑

这种方法通过巧妙地构建一个临时的MultiIndex（多级索引）来组织列，然后使用stack操作将数据从宽格式转换为长格式。

CA.LA

第一款时尚产品在线设计平台，服装设计系统

94 查看详情 CA.LA

设置索引：首先，将不需要重塑的列（如date, other_col）设置为DataFrame的索引。
创建MultiIndex列：将剩余的列名（如right_count, left_sum）通过下划线_拆分，创建两级列索引，其中第一级表示side（如right, left），第二级表示度量类型（如count, sum）。
重命名列轴：为MultiIndex的列轴命名，使其更具可读性。
堆叠：使用stack('side')将第一级列索引（side）堆叠到行索引中。
重置索引：最后，将所有索引重置为列，并清理生成的列名。

out_multiindex = (df
    .set_index(['date', 'other_col']) # 1. 设置索引
    .pipe(lambda x: x.set_axis(x.columns.str.split('_', expand=True), axis=1)) # 2. 创建MultiIndex列
    .rename_axis(columns=['side', None]) # 3. 重命名列轴
    .stack('side') # 4. 堆叠'side'层
    .reset_index() # 5. 重置索引
)

print("\n方法一：使用MultiIndex和stack")
print(out_multiindex)

注意事项：这种方法非常灵活，适用于列名具有清晰分隔符，并且需要将特定层级的列名转换为新列的场景。它要求对Pandas的MultiIndex操作有一定理解。

方法二：结合melt和pivot操作

melt和pivot是Pandas中进行数据重塑的两个核心函数，它们组合起来可以实现复杂的宽长格式转换。

melt操作：首先，使用melt函数将所有需要重塑的列“融化”到一个新的value列中，同时创建一个side（这里暂时命名为var_name）列来存储原始的列名。
拆分列名：将melt生成的side列（如right_count）拆分为两部分：实际的side（right或left）和度量类型（count或sum）。
pivot操作：最后，使用pivot函数，将拆分出的度量类型作为新的列名，value列的数据填充到这些新列中，并以date、other_col和side作为新的行索引。
重置索引和清理：重置索引并清理pivot操作可能留下的MultiIndex列名。

tmp = df.melt(['date', 'other_col'], var_name='temp_col') # 1. melt操作

# 2. 拆分列名
tmp[['side', 'col_type']] = tmp['temp_col'].str.split('_', n=1, expand=True)

out_melt_pivot = (tmp.pivot(index=['date', 'other_col', 'side'],
                            columns='col_type', values='value') # 3. pivot操作
                     .reset_index() # 4. 重置索引
                     .rename_axis(columns=None) # 清理列名
                 )

print("\n方法二：结合melt和pivot")
print(out_melt_pivot)

注意事项： melt和pivot是Pandas中非常常用的重塑工具，理解它们的工作原理对于处理各种数据格式至关重要。这种方法通常更易于理解和调试，因为它将重塑过程分解为几个逻辑步骤。

方法三：使用janitor库的pivot_longer函数

对于更复杂的重塑任务，或者当需要更简洁的语法时，可以考虑使用第三方库pyjanitor。它提供了类似R语言tidyr包的pivot_longer功能，能够以更声明式的方式处理宽长格式转换。

安装janitor：如果尚未安装，需要先安装pyjanitor库。
```
pip install pyjanitor
```
导入janitor：在代码中导入janitor。
使用pivot_longer：指定不变的索引列（index），以及如何将原始列名映射到新的列（names_to）和如何解析原始列名（names_pattern）。names_pattern使用正则表达式来捕获列名的不同部分。

# pip install pyjanitor
import janitor

out_janitor = df.pivot_longer(index=['date', 'other_col'],
                              names_to=('side', '.value'),
                              names_pattern=r'([^_]+)_([^_]+)')

print("\n方法三：使用janitor库的pivot_longer")
print(out_janitor)

注意事项： janitor库的pivot_longer函数提供了强大的正则表达式匹配能力，使得处理具有复杂命名模式的列变得非常简单。.value占位符指示匹配到的部分应该直接作为新的列名，而不是作为新列的值。虽然引入了外部依赖，但对于频繁进行复杂重塑的用户来说，它可以显著提高代码的可读性和开发效率。

总结

本文介绍了在Pandas DataFrame中将多列堆叠并重塑为更简洁结构的三种主要方法：

MultiIndex与stack：适用于列名具有清晰分隔符，且希望通过构建多级列索引来灵活控制堆叠过程的场景。它提供了底层控制的强大能力。
melt与pivot组合：这是一种经典且通用的方法，通过将数据先“融化”再“透视”，分步实现重塑。它逻辑清晰，易于理解和调试，是Pandas数据重塑的基石。
janitor.pivot_longer：对于追求简洁和声明式语法的用户，特别是当列名模式复杂时，pyjanitor库提供的pivot_longer是一个非常高效且直观的选择，它利用正则表达式简化了列名解析过程。

选择哪种方法取决于具体的数据结构、个人偏好以及对库的熟悉程度。在实际应用中，建议根据数据的复杂性和团队的习惯，选择最适合的工具来高效完成数据重塑任务。

以上就是Pandas数据重塑教程：高效堆叠多列的多种方法的详细内容，更多请关注其它相关文章！

# 应用技巧 # SEO工作室沙发 # 商铺出租推广网站有哪些 # 海纳网站建设 # 松原seo推广推荐招聘 # 康平网站建设包括什么 # 网络推广和网站推广计划 # 威海seo的工作流程 # 沭阳手机网站建设 # 家政行业信息流推广营销 # 沂源seo优化资讯 # 正则表达式 # 重命名 # 移除 # 中非 # 转换为 # 这种方法 # 适用于 # 三种 # 数据结构 # 工具