当在 pandas dataframe 中通过循环或重复赋值创建大量新列时，可能会遇到 `performancewarning: dataframe is highly fragmented` 警告。此警告表明 dataframe 内存布局变得碎片化，导致性能下降。本文将深入探讨此警告的成因，并提供使用 `pd.concat` 方法高效、批量创建新列的专业解决方案，从而避免碎片化并提升数据处理效率。

理解 DataFrame 碎片化警告

PerformanceWarning: DataFrame is highly fragmented 警告通常在您对现有 DataFrame 反复执行列插入操作时出现。在 Pandas 中，DataFrame 的内存布局通常是为连续性访问优化的。当您使用 df['new_col'] = ... 这种方式逐个添加大量新列时，Pandas 可能会在底层执行多次内存重新分配操作。每次重新分配都可能导致数据在内存中的存储不再连续，从而形成“碎片”。

这种碎片化现象会带来两个主要问题：

1. 性能下降： 内存碎片化会增加数据访问的开销，因为处理器需要花费更多时间来查找和读取非连续存储的数据块。这在处理大型 DataFrame 时尤为明显。
2. 内存效率降低： 碎片化的内存可能导致实际使用的内存量高于理论值，因为一些小的空闲块可能无法被有效利用。

考虑一个常见场景：从一个包含长字符串的列中，根据不同位置切片并生成数百甚至近千个新列。以下是导致警告的典型代码模式：

import pandas as pd
import numpy as np
import string

# 模拟一个包含长字符串的DataFrame
np.random.seed(0)
df_fragmented = pd.DataFrame({
    "long_string": ["".join(np.random.choice(
        [*string.printable[:62]], size=5000)) for _ in range(10000)]
})

def parse_long_string_fragmented(df):
    # 假设需要从 long_string 中切片出 972 个新列
    # 这是一个简化示例，实际可能需要更多列
    df['a001'] = df['long_string'].str[0:2]
    df['a002'] = df['long_string'].str[2:4]
    df['a003'] = df['long_string'].str[4:13]
    # ... 更多类似的列赋值操作，直到 a972
    df['a972'] = df['long_string'].str[4994:]
    return df

# 调用此函数时，会触发 PerformanceWarning
# result_fragmented = parse_long_string_fragmented(df_fragmented.copy())

上述代码中，每次 df['aXXX'] = ... 都会尝试在现有 DataFrame 中插入新列。当列数非常多时，这种重复的插入操作会显著增加 DataFrame 的碎片化程度，并最终触发 PerformanceWarning。

解决方案：使用 pd.concat 批量创建新列

为了避免 DataFrame 碎片化并提高性能，最佳实践是批量创建所有新列，然后一次性将它们添加到原始 DataFrame 中。pd.concat 函数是实现这一目标的高效工具。

Motiff妙多

Motiff妙多是一款AI驱动的界面设计工具，定位为“AI时代设计工具”

334 查看详情

核心思想是：

1. 预先定义所有需要切片的起始和结束位置。
2. 利用 Pandas 的字符串切片功能 (.str[start:end])，为每个新列生成一个 Series。
3. 将所有这些 Series 收集起来，使用 pd.concat(..., axis=1) 将它们合并成一个新的 DataFrame。
4. 最后，使用 df.join() 或 pd.concat 将这个包含所有新列的 DataFrame 与原始 DataFrame 合并。

以下是使用 pd.concat 解决上述问题的具体实现：

import pandas as pd
import numpy as np
import string

# 1. 准备示例数据
np.random.seed(0)
df = pd.DataFrame({
    "long_string": ["".join(np.random.choice(
        [*string.printable[:62]], size=5000)) for _ in range(10000)]
})

# 2. 定义切片规则 (使用字典更具可读性)
# 这是一个包含 972 个切片规则的字典
slices_mapper = {f"a{i+1:03d}": (i*2, (i+1)*2) for i in range(249)} # 简化到249个，避免过长的输出
# 假设实际场景中，最后几列可能不是固定长度，例如：
slices_mapper["a250"] = (498, 500) # 模拟最后几列
slices_mapper["a251"] = (500, None) # 从500到字符串末尾

# 3. 定义解析函数，使用 pd.concat
def parse_long_string_optimized(df_input, mapper):
    """
    高效解析长字符串列并创建多个新列，避免 DataFrame 碎片化。

    Args:
        df_input (pd.DataFrame): 包含 'long_string' 列的 DataFrame。
        mapper (dict): 字典，键为新列名，值为元组 (start, end) 表示切片范围。

    Returns:
        pd.DataFrame: 包含原始列和所有新列的 DataFrame。
    """
    # 使用字典推导式为每个新列生成一个 Series，然后通过 pd.concat 沿列方向合并
    new_cols_df = pd.concat(
        {
            col_name: df_input["long_string"].str[start:end]
            for col_name, (start, end) in mapper.items()
        },
        axis=1 # 沿列方向合并
    )

    # 将新生成的 DataFrame 与原始 DataFrame 进行连接
    return df_input.join(new_cols_df)

# 4. 调用优化后的函数
result_optimized = parse_long_string_optimized(df, slices_mapper)

# 打印结果 DataFrame 的信息
print(result_optimized.head())
print(f"\nDataFrame 形状: {result_optimized.shape}")
print(f"DataFrame 列数: {len(result_optimized.columns)}")

代码解释：

• slices_mapper: 这是一个字典，其键是您希望创建的新列的名称（例如 a001），值是一个元组 (start, end)，表示从 long_string 列中切片的起始和结束索引。使用 None 作为结束索引表示切片到字符串末尾。
• 字典推导式 for col_name, (start, end) in mapper.items(): 这会遍历 slices_mapper 字典中的每一个键值对。对于每个键值对，它会从 df_input["long_string"] 中使用 .str[start:end] 方法提取相应的子字符串，生成一个新的 Pandas Series。
• pd.concat({...}, axis=1):
  • 花括号 {...} 中的内容创建了一个字典，其中键是新列名，值是对应的 Series。
  • pd.concat 接收一个 Series 或 DataFrame 对象的列表或字典。当传入字典时，字典的键将成为新 DataFrame 的列名。
  • axis=1 参数指示 pd.concat 沿着列方向（水平方向）进行连接，将所有的 Series 组合成一个全新的 DataFrame new_cols_df。
• df_input.join(new_cols_df): 最后，使用 df.join() 方法将原始 DataFrame df_input 与包含所有新列的 new_cols_df 进行合并。join 方法默认基于索引进行合并，这里两个 DataFrame 的索引是匹配的，因此可以无缝连接。

总结与最佳实践

• 避免逐列添加： 当需要创建大量新列时，应避免使用 df['new_col'] = ... 这种逐列赋值的方式，因为它会导致 DataFrame 碎片化和性能下降。
• 优先批量操作： 采用 pd.concat、df.assign() (适用于少量列) 或其他批量操作来一次性创建和添加多列。
• pd.concat 的优势： 适用于从现有列派生出大量新列的场景，它通过构建一个全新的、非碎片化的 DataFrame 来避免性能问题。
• 数据结构设计： 在设计数据处理流程时，预先考虑如何高效地生成和整合新数据，以减少不必要的中间操作和内存重分配。
• 必要时使用 df.copy()： 如果一个 DataFrame 已经变得高度碎片化，并且您需要对其进行大量后续操作，可以考虑使用 new_df = old_df.copy() 来创建一个全新的、内存连续的副本，从而“整理”DataFrame 的内存。但这通常是亡羊补牢，更好的方法是在一开始就避免碎片化。

通过采纳 pd.concat 这种批量处理策略，您可以显著提升 Pandas 数据处理的效率和稳定性，尤其是在处理大规模数据集和复杂特征工程任务时。

以上就是解决 Pandas DataFrame 高度碎片化警告：高效创建多列的策略的详细内容，更多请关注其它相关文章！

# 移除  # 新业务营销推广总结  # 西安官网网站推广  # 三门峡网络营销推广方法  # 德阳seo关键词精准  # 定制网站seo优势  # 衡阳网站建设策略  # 延庆门户网站建设方案  # 衡阳网站建设优势  # 南京印刷网站建设  # 灶具营销推广方案  # 是一个  # 串列  # 处理器  # 它会  # 数据结构  # 适用于  # 数据处理  # 这是一个  # 键值  # 递归  # 键值对  # 数据访问  # 工具  # app 

相关栏目： 【 科技资讯46185 】 【 网络学院92790 】

相关推荐： C++的std::forward_list怎么用_C++ STL中单向链表容器的特点与应用  C++如何比较两个字符串_C++ string compare函数与操作符对比  CSS条件样式无法按设备触发怎么排查_media条件语句正确设置解决触发问题  GemBox Document HTML转PDF垂直文本渲染问题及解决方案  在J*a中如何使用Stream.map转换元素_Stream映射操作解析  Go语言中对Map值调用带指针接收者方法：原理与最佳实践  抖音极速版最新版本 抖音极速版官方下载地址  谷歌学术网站直达地址 谷歌学术搜索网页版一键进入  Python：递归比较文件夹内容并找出特定类型文件的差异  Golang如何实现状态模式管理对象状态_Golang State模式实现技巧  J*aScript实现动态背景色下的文本与按钮颜色自适应调整  怎么在html里运行vbs脚本_html中运行vbs脚本方法【教程】  神庙逃亡小游戏在线玩 神庙逃亡小游戏入口  腾讯视频怎么举报不良内容_腾讯视频内容举报流程与违规信息处理方法  QQ邮箱在线使用入口 QQ邮箱个人账号网页版登录  163邮箱网页版入口导航平台 163邮箱网页版登录入口官网导航  c++ 获取系统当前时间 c++时间戳获取方法  c++中的std::basic_string的SSO优化_c++短字符串优化深度解析  树莓派传感器触发：通过Twilio API发送WhatsApp消息教程  漫蛙2在线漫画入口 漫蛙正版漫画网页版直达  AO3网页版最新入口合集 Archive of Our Own在线访问指南  优化HTML表单样式：解决输入框焦点跳动与元素间距问题  Win11怎么查看电脑配置_Win11硬件配置检测工具使用  Django表单验证失败时保留用户输入数据的最佳实践  NetBeans Ant项目：自动化将资源文件复制到dist目录的教程  如何优雅地解决Livewire文件上传难题？SpatieLivewireFilepond让一切变得简单  Golang如何实现容器化日志收集与分析_Golang容器日志收集分析方法  C++如何实现线程池_C++11手动实现一个简单的固定大小线程池  搜狗浏览器如何使用密码生成器创建强密码 搜狗浏览器内置密码安全工具  J*aScript实现单选按钮与关联输入框的联动禁用教程  Sublime Text怎么显示空格和制表符_Sublime显示不可见字符设置  Windows10怎么开启夜间模式 Windows10系统设置调整色温与亮度缓解夜间用眼疲劳【教程】  Django AJAX 文件上传教程：解决图片无法保存到模型的常见问题  Mudbox图层蒙版怎么用_Mudbox图层蒙版数字雕刻应用技巧  Lar*el如何正确地在控制器和模型之间分配逻辑_Lar*el代码职责分离与架构建议  钉钉视频会议声音异常如何处理 钉钉会议音频修复技巧  C++如何连接MySQL数据库_C++使用Connector/C++操作MySQL数据库教程  百度浏览器字体显示异常偏小_百度浏览器字体渲染修复方案  LINQ to XML为何解析失败？ 深入理解C# XDocument的异常处理  深入理解J*aScript Promise异步执行与微任务队列  优化LangChain文档加载与ChromaDB集成：解决多文档处理与分块问题  12306选座怎么选到临时改签座_12306改签选座策略与步骤  抖音网页版平台入口 抖音网页版官网在线访问教程  支付宝解绑银行卡步骤_支付宝如何解除绑定银行卡  Node.js 中使用 node-cron 实现定时 API 数据抓取与处理  J*a如何使用AtomicInteger控制计数_J*a无锁计数器性能分析  荣耀Play7TPro怎样在信息App置顶客服对话_iPhone荣耀Play7TPro信息App置顶客服对话【优先查看】  QQ邮箱官方网页版登录 QQ邮箱个人邮箱快速访问  单12V-2×6实现为RTX 5090供电750W！甚至都没敢跑分  如何使用CaptainHook和Composer管理Git钩子_在提交前自动运行代码检查的Composer配置