新闻中心
使用 Polars 条件替换 DataFrame 列中的 NaN 值

本教程详细介绍了如何在 Polars DataFrame 中,根据某一列的 NaN (Not a Number) 值条件性地替换另一列
的值。文章从 Pandas 的常见做法入手,逐步过渡到 Polars 的表达式系统,重点讲解了 `pl.when().then().otherwise().alias()` 链式方法,并提供了清晰的代码示例和专业解释,帮助用户高效地进行数据清洗和转换。
在数据分析和处理中,我们经常需要对缺失值(NaN 或 Null)进行处理。一个常见的场景是,当某一列(例如 col_x)中存在 NaN 值时,我们希望用同一 DataFrame 中另一列(例如 col_z)的值来填充或替换目标列(例如 col_y)中对应位置的值。本教程将深入探讨如何在高性能的 Polars 库中实现这一操作,并与 Pandas 的实现方式进行对比。
Pandas 中的条件替换方法
在 Pandas 中,实现这种条件替换通常有多种方式,其中一种是使用 .loc 结合布尔索引:
import pandas as pd
import numpy as np
# 示例 Pandas DataFrame
data = {'col_x': [1.0, np.nan, 3.0, np.nan, 5.0],
'col_y': [10, 20, 30, 40, 50],
'col_z': [100, 200, 300, 400, 500]}
df_pandas = pd.DataFrame(data)
print("原始 Pandas DataFrame:")
print(df_pandas)
# 条件替换操作
df_pandas.loc[df_pandas['col_x'].isna(), 'col_y'] = df_pandas['col_z']
print("\n替换后的 Pandas DataFrame:")
print(df_pandas)另一种更简洁的 Pandas 方法是使用 np.where:
import pandas as pd
import numpy as np
# 示例 Pandas DataFrame
data = {'col_x': [1.0, np.nan, 3.0, np.nan, 5.0],
'col_y': [10, 20, 30, 40, 50],
'col_z': [100, 200, 300, 400, 500]}
df_pandas_np = pd.DataFrame(data)
# 使用 np.where 进行条件替换
df_pandas_np["col_y"] = np.where(pd.isnull(df_pandas_np['col_x']), df_pandas_np['col_z'], df_pandas_np['col_y'])
print("\n使用 np.where 替换后的 Pandas DataFrame:")
print(df_pandas_np)这两种方法在 Pandas 中都非常有效,能够根据 col_x 是否为 NaN 来决定 col_y 的值是保持原样还是替换为 col_z 的值。
Musho
AI网页设计Figma插件
76
查看详情
Polars 中的条件替换方法
Polars 作为新一代高性能数据处理库,其设计哲学是基于表达式(expressions)而非直接的元素级操作。因此,将 Pandas 的思维模式直接移植到 Polars 中可能不会立即奏效。在 Polars 中,实现上述条件替换任务的最佳实践是使用 pl.when().then().otherwise().alias() 链式表达式。
核心概念:pl.when().then().otherwise()
Polars 的 when().then().otherwise() 结构提供了一种声明式的方式来表达条件逻辑。它的工作方式类似于 SQL 中的 CASE WHEN 语句或 Python 中的三元运算符。
- pl.when(condition): 定义一个条件表达式。当这个条件为真时,将执行 .then() 后面的表达式。
- .then(true_expression): 当 when 中的条件为真时,所采用的值或表达式。
- .otherwise(false_expression): 当 when 中的条件为假时,所采用的值或表达式。
- .alias(new_column_name): 将整个条件表达式的结果命名为一个新的列,通常用于覆盖现有列。
示例代码
让我们在 Polars 中实现相同的条件替换逻辑:
import polars as pl
import numpy as np
# 示例 Polars DataFrame
data = {'col_x': [1.0, np.nan, 3.0, np.nan, 5.0],
'col_y': [10, 20, 30, 40, 50],
'col_z': [100, 200, 300, 400, 500]}
df_polars = pl.DataFrame(data)
print("原始 Polars DataFrame:")
print(df_polars)
# 条件替换操作
df_polars = (
df_polars
.with_columns(
pl.when(pl.col('col_x').is_nan()) # 当 'col_x' 中的值为 NaN 时
.then(pl.col('col_z')) # 则使用 'col_z' 中的对应值
.otherwise(pl.col('col_y')) # 否则保持 'col_y' 中的原始值
.alias('col_y') # 将此表达式的结果命名为 'col_y',以覆盖原列
)
)
print("\n替换后的 Polars DataFrame:")
print(df_polars)代码详解
- df_polars.with_columns(...): 这是 Polars 中添加或修改列的标准方法。它接受一个或多个表达式,并返回一个新的 DataFrame。
-
pl.when(pl.col('col_x').is_nan()):
- pl.col('col_x'): 引用 DataFrame 中的 col_x 列。
- .is_nan(): 这是一个 Polars 表达式方法,用于检查列中的每个元素是否为 NaN。它返回一个布尔序列,作为 when 的条件。
- .then(pl.col('col_z')): 如果 col_x 的对应值为 NaN,那么新 col_y 的值将取自 col_z 的对应值。
- .otherwise(pl.col('col_y')): 如果 col_x 的对应值不是 NaN,那么新 col_y 的值将保持为原 col_y 的对应值。
- .alias('col_y'): 这一步至关重要。when().then().otherwise() 表达式会生成一个新的系列(Series)。为了让这个新系列替换掉 DataFrame 中现有的 col_y 列,我们需要使用 .alias('col_y') 将其命名为 col_y。如果省略 .alias(),with_columns 将会创建一个名为 literal 或其他默认名称的新列。
注意事项与最佳实践
- NaN 与 Null 的区别: 在 Polars 中,NaN 通常特指浮点数类型中的“非数字”值,而 null 是更通用的缺失值概念,可以应用于任何数据类型。对于浮点数,is_nan() 是正确的检查方法。如果你的列可能包含其他类型的 null 值(例如整数列中的 null),你可能需要使用 pl.col('your_column').is_null()。
- 表达式驱动: Polars 的核心是其表达式系统。尽可能使用链式表达式进行数据转换,这使得 Polars 能够进行查询优化,并通常提供更好的性能。
- 不可变性: Polars DataFrame 默认是不可变的。with_columns() 方法不会修改原始 DataFrame,而是返回一个包含更改的新 DataFrame。因此,需要将结果重新赋值给变量(例如 df_polars = df_polars.with_columns(...))。
- 性能: 对于大型数据集,Polars 的表达式系统和并行处理能力通常比 Pandas 提供更高的性能。
总结
通过 pl.when().then().otherwise().alias() 结构,Polars 提供了一种强大而灵活的方式来执行条件逻辑,包括根据某一列的 NaN 值替换另一列的数据。这种声明式的方法不仅代码可读性强,而且与 Polars 的高性能计算引擎完美契合,是进行复杂数据转换时的首选模式。掌握这一模式,将极大地提升你在 Polars 中的数据处理效率。
以上就是使用 Polars 条件替换 DataFrame 列中的 NaN 值的详细内容,更多请关注其它相关文章!
# 重写
# seo需要天赋吗
# 网站建设讲究和体会
# 律师网站推广价格
# 茶楼棋牌室营销推广策略
# 企业抖音seo运营方案
# 博乐抖音营销推广怎么做
# 外贸网站建设特点
# 滨州排名关键词优化
# 虹口营销推广投放公司招聘
# 门头沟网站推广包年
# 解决方法
# python
# 数据处理
# 自定义
# 布尔
# 这一
# 命名为
# 高性能
# 运算符
# 链式
# 代码可读性
# 区别
# 数据清洗
相关栏目:
【
科技资讯46185 】
【
网络学院92790 】
相关推荐:
Yandex浏览器官方网页版入口 Yandex浏览器最新版官网
俄罗斯搜索引擎Yandex指南 附2025年免登录官网入口
QQ邮箱官方网页版登录 QQ邮箱个人邮箱快速访问
创客贴用户入口官网登录 创客贴网页版电脑版系统
Windows10怎么开启存储感知 Windows10系统设置自动清理临时文件释放C盘空间【教程】
win11如何卸载Windows更新补丁 Win11解决更新导致系统不稳定的问题【修复】
taptap防沉迷怎么解除 taptap解除健康系统限制说明【2025最新】
Angular中单选按钮的正确使用与常见陷阱解析
J*a中实现Go语言select通道多路复用机制
Win10怎么设置静态IP地址 Win10手动配置IP地址步骤【指南】
Selenium Python中处理点击后新窗口加载冻结问题的策略与实践
蛙漫官方正版入口 蛙漫网页在线全集免费观看
Win11怎么关闭快速启动_Win11彻底关机设置教程
Tabulator表格中精确实现日期时间排序的指南
百度浏览器字体显示异常偏小_百度浏览器字体渲染修复方案
Mudbox图层蒙版怎么用_Mudbox图层蒙版数字雕刻应用技巧
抖音隐秘迷城小游戏入口_ 抖音冒险解谜小游戏秒玩
百度网盘网页版入口 百度网盘网页版官方登录网址
KFC早餐时段怎么领特惠代码_KFC早餐订餐优惠代码获取与使用说明
铁路12306改签能改到更早的车次吗_铁路12306改签提前车次规则
使用 Pandas 高效处理 .dat 文件:字符清理与数据计算
qq浏览器如何查看和导出已保存的密码 qq浏览器密码管理器数据备份教程
美团外卖商家服务中心入口 美团商家版官网入口
神庙逃亡小游戏在线玩 神庙逃亡小游戏入口
J*aScript数据结构转换:将对象数组按类别分组
深入理解字体排版:Adobe光学字偶距与CSS字偶距的差异与实现
Win10如何恢复误删的快捷方式_Win10重建常用软件快捷方式
PrimeNG Sidebar背景色自定义指南:CSS覆盖与主题化实践
三星ZFold5多任务卡顿_Samsung ZFold5流畅度提升
微博网页版怎么开启两步验证_微博网页版账号安全两步验证设置方法
AO3网页版最新入口合集 Archive of Our Own在线访问指南
iCloud登录入口网页版 苹果iCloud官网登录
J*aScript打印功能_j*ascript输出控制
React Router v6 教程:构建认证保护的私有路由与重定向策略
sublime怎么进行远程开发编辑_配置rsub/rmate实现sublime编辑服务器文件
Safari浏览器输入栏卡顿如何解决 Safari搜索建议与缓存清理
Odoo 16:在表单视图中基于当前记录动态修改Tree视图属性
excel怎么制作工资条 excel快速生成工资条的方法
XML中包含HTML标签导致解析错误? 正确嵌入非XML数据的两种方法
Spring Boot嵌入式服务器与J*a EE:功能支持深度解析
使用J*aScript检测输入元素是否包含在特定类中
win11开机启动修复循环怎么办 Win11无法进入系统高级启动解决方法【修复】
c++ dfs和bfs代码 c++深度广度优先搜索算法
J*aScript中如何高效提取对象指定属性
Yandex搜索引擎一键访问入口_俄罗斯Yandex官网免登录
在Runstone环境中高效处理TasteDive API的JSON数据
Golang如何通过reflect操作map_Golang reflect map操作与遍历技巧
J*aScript动态修改指定div内所有a标签样式指南
《明末:渊虚之羽》设计师谈设计角色:那会刚毕业 充满激情
win11如何加载ICC颜色配置文件 Win11校色文件安装与显示器色彩管理【指南】


2025-11-02
浏览次数:次
返回列表