本教程详细讲解如何在pandas dataframe中根据复杂条件动态创建新列。核心方法是利用`df.filter()`结合正则表达式精确选择目标列，然后使用`.any(axis=1)`检查行内是否存在满足条件的非零值，最后通过`np.where()`将布尔结果映射为自定义的字符串（如'y'/'n'），从而高效、灵活地完成数据转换任务。

在数据分析和预处理过程中，我们经常需要基于DataFrame中现有列的特定条件来生成新的列。尤其当条件涉及多列，且这些列需要根据某种模式动态选择时，传统的逐一列指定方法会显得冗长且不易维护。本教程将介绍一种高效且灵活的方法，利用Pandas的filter功能结合正则表达式，实现根据指定列范围（并排除特定列）的条件判断来创建新列。

场景描述

假设我们有一个包含动物实验数据的DataFrame，其中记录了不同实验日期的事件计数（例如 events_d1, events_d2, events_d3, events_d4 等）。我们的目标是创建一个名为 "responder" 的新列，根据以下规则填充：如果某个动物在 events_d1 到 events_d3 这些列中（但不包括 events_d4）至少有一个事件计数大于0，则其 "responder" 值为 'y'，否则为 'n'。关键在于，我们希望能够通过模式匹配而不是手动列出所有相关列来完成筛选。

以下是示例数据：

import pandas as pd
import numpy as np

data = {
    'Animal_ID': ['a1', 'a2', 'a3', 'a4'],
    'weight': [50, 52, 75, 53],
    'Project': ['p1', 'p2', 'p1', 'p2'],
    'Exp_type': ['Acute', 'chronic', 'Acute', 'chronic'],
    'researcher': ['alex', 'mat', 'alex', 'mat'],
    'events_d1': [0, 0, 1, 0],
    'events_d2': [0, 1, np.nan, np.nan], # 示例中空值用NaN表示
    'events_d3': [0, 1, 2, np.nan],
    'events_d4': [4, 5, np.nan, 0]
}
df = pd.DataFrame(data)
print("原始DataFrame:")
print(df)

原始DataFrame:

  Animal_ID  weight Project Exp_type researcher  events_d1  events_d2  events_d3  events_d4
0        a1      50      p1    Acute       alex          0        0.0        0.0        4.0
1        a2      52      p2  chronic        mat          0        1.0        1.0        5.0
2        a3      75      p1    Acute       alex          1        NaN        2.0        NaN
3        a4      53      p2  chronic        mat          0        NaN        NaN        0.0

核心解决方案

解决这个问题的关键在于三个Pandas和NumPy的功能组合：

1. df.filter()：用于根据列名模式选择子集。
2. 正则表达式：在filter中使用regex参数，实现灵活的模式匹配，包括排除特定列。
3. .any(axis=1)：检查所选行中是否存在任何满足条件的非零值。
4. np.where()：根据布尔条件 Series 生成新的列值。

步骤一：动态筛选目标列

首先，我们需要选择所有形如 events_d 且其数字后缀不是 4 的列。这可以通过 df.filter() 方法结合正则表达式来实现。

• df.filter(regex="...")：regex 参数允许我们传入一个正则表达式来匹配列名。
• "events_d[^4]"：这个正则表达式的含义是：
  • events_d：匹配字面字符串 "events_d"。
  • [^4]：这是一个字符集，表示匹配除了数字 4 之外的任何单个字符。 结合起来，它会匹配 events_d1, events_d2, events_d3，但不会匹配 events_d4。

# 筛选出目标列
target_columns_df = df.filter(regex="events_d[^4]")
print("\n筛选出的目标列子集:")
print(target_columns_df)

筛选出的目标列子集:

独响

一个轻笔记+角色扮演的app

249 查看详情

   events_d1  events_d2  events_d3
0          0        0.0        0.0
1          0        1.0        1.0
2          1        NaN        2.0
3          0        NaN        NaN

步骤二：检查每行是否存在非零值

筛选出目标列后，我们需要检查每一行在这些列中是否存在至少一个大于0的事件。Pandas的 any() 方法非常适合此任务。

• target_columns_df.any(axis=1)：
  • any() 方法默认会将非零值视为 True，零值视为 False。
  • axis=1 表示沿着行的方向进行操作，即对每一行检查其所有列。
  • 对于包含 NaN 值的列，any() 默认会跳过 NaN（skipna=True），这意味着 NaN 不会被视为 True 或 False，只有当行中有实际的 True 或 False 值时才会被考虑。这在本例中是符合预期的行为。

# 检查每行是否存在非零值
# 结果是一个布尔Series
condition_met = target_columns_df.any(axis=1)
print("\n每行是否满足条件的布尔Series:")
print(condition_met)

每行是否满足条件的布尔Series:

0    False
1     True
2     True
3    False
dtype: bool

步骤三：创建新列并赋值

最后，我们使用 numpy.where() 函数根据上一步生成的布尔 Series 来创建 "responder" 列。

• np.where(condition, value_if_true, value_if_false)：
  • condition：布尔 Series condition_met。
  • value_if_true：当条件为 True 时赋的值，这里是 'y'。
  • value_if_false：当条件为 False 时赋的值，这里是 'n'。

# 使用np.where创建新列
df['responder'] = np.where(condition_met, 'y', 'n')
print("\n添加'responder'列后的DataFrame:")
print(df)

添加'responder'列后的DataFrame:

  Animal_ID  weight Project Exp_type researcher  events_d1  events_d2  events_d3  events_d4 responder
0        a1      50      p1    Acute       alex          0        0.0        0.0        4.0         n
1        a2      52      p2  chronic        mat          0        1.0        1.0        5.0         y
2        a3      75      p1    Acute       alex          1        NaN        2.0        NaN         y
3        a4      53      p2  chronic        mat          0        NaN        NaN        0.0         n

完整代码示例

将上述步骤整合，可以得到如下简洁的代码：

import pandas as pd
import numpy as np

# 原始数据
data = {
    'Animal_ID': ['a1', 'a2', 'a3', 'a4'],
    'weight': [50, 52, 75, 53],
    'Project': ['p1', 'p2', 'p1', 'p2'],
    'Exp_type': ['Acute', 'chronic', 'Acute', 'chronic'],
    'researcher': ['alex', 'mat', 'alex', 'mat'],
    'events_d1': [0, 0, 1, 0],
    'events_d2': [0, 1, np.nan, np.nan],
    'events_d3': [0, 1, 2, np.nan],
    'events_d4': [4, 5, np.nan, 0]
}
df = pd.DataFrame(data)

# 1. 使用正则表达式筛选目标列
# "events_d[^4]" 匹配 'events_d' 后跟非 '4' 的任意字符，即 events_d1, events_d2, events_d3
m = df.filter(regex="events_d[^4]").any(axis=1)

# 2. 根据布尔 Series 创建新列 'responder'
df['responder'] = np.where(m, 'y', 'n')

print("最终DataFrame:")
print(df)

注意事项与拓展

1. 正则表达式的灵活性：regex 参数是 filter 方法的强大之处。你可以根据需要调整正则表达式来匹配更复杂的列名模式，例如：
   • regex="^event_"：匹配所有以 "event_" 开头的列。
   • regex="^event_d[1-3]$"：精确匹配 event_d1, event_d2, event_d3。
   • regex="^(?!.*_d4$)event_d.*"：更复杂的负向先行断言，确保不包含 _d4。
2. 缺失值处理：any() 方法默认会忽略 NaN 值。如果你的业务逻辑要求 NaN 也参与条件判断（例如，将 NaN 视为不满足条件），你可能需要在 any() 之前使用 fillna() 方法将 NaN 替换为0或其他特定值。
3. 其他条件判断：除了 any()，你还可以使用 all(axis=1)（所有列都满足条件）、sum(axis=1)（计算满足条件的列数）、mean(axis=1) 等方法来构建更复杂的条件。
4. 性能考虑：对于非常大的DataFrame，这种基于Pandas内置函数和NumPy的操作通常比使用 apply() 结合 lambda 函数或循环要高效得多。

总结

通过本教程，我们学习了如何利用Pandas的filter()方法结合正则表达式动态选择列，并利用.any(axis=1)和np.where()高效地基于这些列的条件创建新的DataFrame列。这种方法不仅代码简洁，易于理解和维护，而且在处理具有相似命名模式的多个列时，展现出极高的灵活性和效率，是Pandas数据处理中一项非常实用的技巧。掌握这一技术将大大提升你在数据清洗和特征工程方面的能力。

以上就是Pandas 数据处理：使用正则表达式动态筛选列并基于条件创建新列的详细内容，更多请关注其它相关文章！

# 特殊字符  # 黄石运维网站建设推荐  # 洛阳百度网站优化排名  # 江西网站建设哪家有  # 平凉抖音关键词优化排名  # 金坛抖音seo软件  # 爱站seo助手  # 莒南网站优化多少钱  # 宜丰网站优化排名  # 沧州关键词自然排名优化  # 大型网站建设服务中心  # 正则表达式  # 是一个  # 有一个  # 移除  # 关键在于  # 自定义  # 是否存在  # 数据处理  # 布尔  # 数据清洗  # app 

相关栏目： 【 科技资讯46185 】 【 网络学院92790 】

相关推荐： 在J*aScript中复现SciPy的B样条拟合与求值：关键考量  如何在Promise链中有效终止错误处理后的执行  Win11 BitLocker密码忘了怎么办 Win11找回BitLocker恢复密钥方法【解决】  Basecamp怎样用留言钉固定重点_Basecamp用留言钉固定重点【重点标记】  在python-socketio事件处理器中安全访问Flask应用上下文  腾讯视频怎么举报不良内容_腾讯视频内容举报流程与违规信息处理方法  composer的"require-dev"部分是用来做什么的？  UC浏览器官网入口2025最新 UC浏览器网页版正式地址  Lar*el表单中优雅地处理“返回”按钮以规避验证：最佳实践指南  2306选座时如何选靠窗位置_12306选座靠窗座位查看方法解析  Win11怎么开启高性能模式_Windows 11电源计划优化设置  Go语言中Map存储的结构体如何调用指针方法：深入解析与实践  PostgreSQL海量数据高效导入策略：Python与Django实践指南  fishbowl官网免费版 fishbowl养鱼网站入口  C++ vector二维数组定义_C++ vector of vector用法  AO3访问入口汇总 AO3网页版同人作品一键直达  C#如何安全地从用户上传的XML文件中读取数据？ 验证与清理策略  荣耀Play7T运行卡顿解决_荣耀Play7T性能优化  Go语言中JSON数据解码与字段访问指南  三星ZFold5多任务卡顿_Samsung ZFold5流畅度提升  Pandas DataFrame 多条件优先级排序与排名  CKEditor 5 自定义构建在React应用中渲染失败的调试与解决  包子漫画官方网站阅读入口-包子漫画在线漫画官网直达链接  解决深度学习模型训练初期异常高损失与完美验证准确率问题  DLsite中文平台入口 DLsite官网内容在线查看  c++20的std::jthread是什么_c++可中断线程与RAII式管理  J*a TimerTask文件监控：HashMap状态管理与常见陷阱规避指南  葱吃多了会怎样 葱吃多了会伤胃吗  在Go Martini框架中高效服务动态生成图像的实践指南  汽水音乐车机版8.9下载 汽水音乐车机版8.9版本安装入口  Win11怎么用U盘重装系统 Win11制作启动盘并重装系统完整教程【详解】  如何优雅地解决Livewire文件上传难题？SpatieLivewireFilepond让一切变得简单  漫蛙漫画官方主页入口 漫蛙MANWA网页直达访问链接  Mac终端命令大全_Mac常用Terminal指令速查  谷歌学术网站直达地址 谷歌学术搜索网页版一键进入  纯CSS与HTML网格布局的HTML精简策略：SVG与JS方案解析  J*aScript数据结构转换：将对象数组按类别分组  漫蛙网页登录入口 漫蛙漫画官方授权网址  深入理解rpy2中的类型转换：优化Python对象到R矩阵的映射  Windows7怎么硬盘安装 Windows7提取ISO镜像到非系统盘并运行setup.exe实现硬盘直装【教程】  c++如何使用TBB库进行任务并行_c++ Intel线程构建模块  服务端验证_j*ascript输入检查  Composer如何在生产环境安全地执行composer update  12306选座如何查看座位示意图_12306座位示意图解读与使用  AO3镜像入口大全 AO3网页版内容访问全集  Centos/Linux 系统下安装 composer 的完整步骤  小米汽车11月交付量突破40000台！雷军：将继续努力  Go语言中对Map值调用带指针接收者方法：原理与最佳实践  豆包手机助手发布技术预览版：直接嵌入手机系统！努比亚样机发售  修复二维数组索引越界异常：一维循环到二维坐标的正确映射