本教程将指导如何在pandas dataframe中高效地将多列数据聚合为行级别的列表，并进一步利用`pivot`函数将特定列的值转换为新的列名，从而实现复杂的数据重塑。文章通过详细的代码示例和解析，展示了如何避免传统循环，以简洁且高性能的方式完成这一转换，适用于需要将宽格式数据转换为特定聚合透视结构的应用场景。

在数据分析和处理过程中，我们经常会遇到需要将DataFrame中的多列数据聚合到一行中的一个新列（例如列表），并在此基础上对数据进行重塑（透视）的需求。这种转换能够将宽格式数据转换为更适合特定分析或与其他数据合并的结构。本文将详细介绍如何利用Pandas库的强大功能，以高效且简洁的方式实现这一复杂的数据重塑。

原始数据结构与目标转换

假设我们有一个Pandas DataFrame，其中包含一个唯一标识符（id）、一个名称列（name）、多个数值列（value1, value2, value3）以及一个类型列（Type）。

原始DataFrame示例：

id	name	value1	value2	value3	Type
1	AAA	1.0	1.5	1.8	NEW
2	BBB	2.0	2.3	2.5	NEW
3	CCC	3.0	3.6	3.7	NEW

我们的目标是将value1、value2、value3这几列的数据，针对每个name聚合为一个列表，并以name作为新的列名，Type作为索引（或普通列），形成一个新的DataFrame。

目标DataFrame示例：

Type	AAA	BBB	CCC
NEW	[1.0, 1.5, 1.8]	[2.0, 2.3, 2.5]	[3.0, 3.6, 3.7]

这种转换在需要将多个相关属性打包成一个集合，并按某个维度进行交叉分析时非常有用。

核心解决方案步骤

实现上述转换主要分为两个核心步骤：

1. 聚合多列为列表: 将指定的多个数值列在行级别上合并为一个列表，并存储在一个新的列中。
2. 数据透视: 利用新生成的列表列和name列进行数据透视，将name转换为列名。

我们将通过Pandas的链式操作来实现这一过程，避免使用低效的循环。

1. 聚合多列为列表

首先，我们需要选择value1到value3这些列，并将它们在每一行上转换为一个列表。Pandas的apply函数结合axis=1可以实现对行进行操作，而df.assign()则可以方便地添加新列而不修改原始DataFrame。

Tunee AI

新一代AI音乐智能体

1104 查看详情

import pandas as pd
import io

# 示例数据
data = """id,name,value1,value2,value3,Type
1,AAA,1.0,1.5,1.8,NEW
2,BBB,2.0,2.3,2.5,NEW
3,CCC,3.0,3.6,3.7,NEW
"""
df = pd.read_csv(io.StringIO(data))

# 聚合多列为列表
df_with_list = df.assign(
    value=df.loc[:, 'value1':'value3'].apply(list, axis=1)
)

print("步骤1：聚合后的DataFrame")
print(df_with_list)

代码解析：

• df.loc[:, 'value1':'value3']: 选取从value1到value3（包含value3）的所有列。
• .apply(list, axis=1): 对选定的这些列的每一行应用list函数。axis=1表示按行操作，将每一行的这些列的值打包成一个列表。
• df.assign(value=...): 创建一个新的DataFrame，其中包含一个名为value的新列，其内容就是上一步生成的列表。

经过这一步，df_with_list DataFrame将新增一个value列，每行包含一个列表，例如：[1.0, 1.5, 1.8]。

2. 数据透视

有了包含列表的新列后，我们就可以使用pivot函数进行数据透视。pivot函数需要三个关键参数：

• index: 用于构建新DataFrame的索引的列。在这里是Type。
• columns: 用于构建新DataFrame的列名的列。在这里是name。
• values: 用于填充新DataFrame的数据的列。在这里是新创建的value列。

# 步骤2：数据透视
pivoted_df = df_with_list.pivot(
    index='Type', 
    columns='name', 
    values='value'
)

print("\n步骤2：透视后的DataFrame（初步）")
print(pivoted_df)

此时，pivoted_df的列索引可能包含name这个名称，为了使输出更简洁，我们可以使用rename_axis(None, axis=1)来移除列索引的名称。如果希望Type也作为一个普通列而不是索引，可以再调用reset_index()。

完整解决方案代码

将上述两个步骤以及后续的清理操作链式组合起来，可以得到一个简洁高效的完整解决方案：

import pandas as pd
import io

# 示例数据
data = """id,name,value1,value2,value3,Type
1,AAA,1.0,1.5,1.8,NEW
2,BBB,2.0,2.3,2.5,NEW
3,CCC,3.0,3.6,3.7,NEW
"""
df = pd.read_csv(io.StringIO(data))

# 完整解决方案
transformed_df = (
    df.assign(value=df.loc[:, 'value1':'value3'].apply(list, axis=1)) # 聚合多列为列表
    .pivot(index='Type', columns='name', values='value')             # 数据透视
    .rename_axis(None, axis=1)                                       # 清理列索引名称
    .reset_index()                                                   # 将Type从索引转为普通列
)

print("\n最终转换结果：")
print(transformed_df)

输出结果：

最终转换结果：
  Type              AAA              BBB              CCC
0  NEW  [1.0, 1.1, 1.2]  [2.0, 2.1, 2.2]  [3.0, 3.1, 3.2]

(注：输出示例中的值已根据问题中的原始数据进行了调整)

注意事项与最佳实践

1. 效率: 这种方法是高度矢量化的，避免了显式循环，因此对于大型数据集具有出色的性能。
2. pivot与pivot_table:
   • df.pivot()要求index和columns的组合必须是唯一的。如果存在重复组合，它将抛出ValueError。在我们的例子中，Type和name的组合是唯一的（因为name在每个Type下是唯一的），所以pivot适用。
   • 如果index和columns的组合不唯一，并且需要聚合重复项，则应使用pd.pivot_table()，它提供了aggfunc参数来指定聚合函数（例如sum, mean, first等）。
3. 动态列选择: 如果要聚合的value列名不是固定的，可以通过编程方式生成列名列表，例如value_cols = [f'value{i}' for i in range(1, 4)]，然后将其用于df.loc[:, value_cols]。
4. 错误处理: 在实际应用中，应考虑name列可能不唯一的情况。如果name不唯一，pivot操作将失败。在执行透视前，可以进行数据校验或预聚合。

总结

本文详细介绍了如何利用Pandas的assign、apply和pivot函数，将DataFrame中的多列数据高效地聚合为列表，并进行数据透视。这种方法不仅代码简洁，而且执行效率高，是处理复杂数据重塑任务的强大工具。掌握这些技巧，将有助于您更灵活、高效地进行数据分析和预处理。

以上就是Pandas DataFrame高效重塑：将多列聚合为列表并进行透视的详细内容，更多请关注其它相关文章！

# 如何用  # 营销推广比较实惠的公司  # seo网安备案流程  # 深圳长沙网站建设  # 网站推广岗位调研  # 百度seo关键词排名查询软件  # 京东关键词排名波动大  # 网站建设视频格式  # 娄底网站建设步骤  # 淘宝里seo是什么  # seo难吗知乎  # 是唯一  # app  # 详细介绍  # 数据结构  # 多个  # 在这里  # 链式  # 这一  # 转换为  # 自定义  # 聚合函数  # csv  # 工具 

相关栏目： 【 科技资讯46185 】 【 网络学院92790 】

相关推荐： Composer如何解决json扩展缺失的错误  护手霜蹭到袖口上了如何清洗？ 怎样避免留下一圈油印？  C++如何打印当前代码行号与文件名_C++预定义宏FILE与LINE的使用  Safari怎么安装扩展程序 浏览器插件安装与管理方法【详解】  零跑汽车11月交付量达70327台 实现连续9个月正增长  VS Code远程开发时如何处理文件权限问题  谷歌google账号注册详细步骤 谷歌账号注册官方教程  Node.js CSV 数据处理：基于字段空值条件过滤整条记录的策略  深入理解Go语言中Map值与方法接收器的交互：为什么需要临时变量  消息称三星明年 2 月正式发布 HBM4，与 SK 海力士同台竞技  如何将HTML表格多行数据保存到Google Sheets  J*a中实现Go语言select通道多路复用机制  微信怎么把收藏的内容分类管理 微信收藏内容标签分类方法  搜狗浏览器如何使用密码生成器创建强密码 搜狗浏览器内置密码安全工具  抖音未来赚钱的新趋势 2025年值得关注的变现风口分析  ExcelARRAYTOTEXT函数怎么自定义分隔符输出数组文本_ARRAYTOTEXT实现动态生成SQL语句  葱吃多了会怎样 葱吃多了会伤胃吗  steam官方入口大全 steam账号注册及操作指南  虫虫漫画精品漫画官网_虫虫漫画精品漫画官网进入精品漫画  Sublime Text怎么显示空格和制表符_Sublime显示不可见字符设置  PDF怎么合并PDF并保持格式_PDF合并文件保持排版教程  Yandex搜索引擎一键访问入口_俄罗斯Yandex官网免登录  解决macOS上安装pyhdf时‘hdf.h’文件缺失的编译错误  蛙漫正版漫画平台入口_蛙漫免费阅读全站漫画资源  Python模块化编程：有效管理依赖与避免循环引用  抓大鹅解压小游戏 抓大鹅摸鱼解压入口  痛风发作了怎么办？ 快速止痛和后期饮食调理  html怎么在cmd下运行php文件_cmd运行html中php文件方法【教程】  Python中高效且防溢出的双曲正弦计算：基于对数空间的优化策略  电脑安装程序提示“错误1722”怎么办_Windows Installer服务问题解决【教程】  AWS EC2实例间SQL Server连接超时：安全组配置与故障排除指南  Win10自动更新怎么关闭 Win10永久关闭系统更新的两种方法【终极版】  如何使用 Excel 发布器与 Power BI 分享 Excel 洞察  qq游戏网页版直接玩_qq游戏免下载快速入口  微信网页版官方入口直达 微信网页版网页版登录使用方法  钉钉视频会议声音异常如何处理 钉钉会议音频修复技巧  Python多线程中正确使用sigwait处理SIGALRM信号  俄罗斯搜索引擎Yandex指南 附2025年免登录官网入口  使用Pandas转换并合并DataFrame：多列映射至统一结构  深入理解J*aScript中的B样条曲线与节点向量生成  C++ map遍历方法大全_C++ map迭代器使用总结  快手官方唯一登录入口 谨防山寨钓鱼网站  CSS Box Model与弹性按钮：维持布局稳定的动画实践  CSS Grid如何控制元素对齐_align-items与justify-items组合使用  小红书网页版入口链接分享 小红书官网直接进  Mudbox图层蒙版怎么用_Mudbox图层蒙版数字雕刻应用技巧  win11专注助手在哪 Win11免打扰模式设置与自动化规则【指南】  妖精动漫免费平台 妖精动漫官网资源观看网址  汽水音乐在线解析 汽水音乐在线解析入口  Win11怎么开启卓越性能模式 Win11电源选项启用高性能释放硬件潜力【方法】