新闻中心

解决Pandas DataFrame行求和为0的常见问题:混合数据类型处理指南

2025-11-19
浏览次数:
返回列表

解决pandas dataframe行求和为0的常见问题:混合数据类型处理指南

在Pandas DataFrame中对包含混合数据类型的行进行求和时,直接使用`df.sum(axis=1, numeric_only=True)`可能因列中存在非纯数值类型而返回0。本文将详细介绍如何通过`pd.to_numeric(errors='coerce')`将非数值条目转换为`NaN`,然后进行精确求和,并进一步展示如何将总秒数格式化为更易读的时间间隔。

理解numeric_only参数的局限性

当我们在Pandas DataFrame中尝试对行进行求和,并期望只计算数值列时,一个常见的做法是使用df.sum(axis=1, numeric_only=True)。然而,如果DataFrame中的某些列虽然包含看起来像数字的字符串(例如'29160'),但也混杂了其他非数值字符串(例如'No hours logged')甚至列表(例如[10:02, Odd number: missing entry]),那么numeric_only=True参数的行为可能与预期不符。

根据Pandas的官方文档,numeric_only=True的含义是“仅包含浮点、整数、布尔列”。这意味着,如果一整列中哪怕只有一个非数值类型的值(例如字符串),Pandas就会将该列视为非数值列,从而在求和时完全排除该列。在本例中,所有日期列都包含至少一个字符串值(如'No hours logged'),因此它们都被numeric_only=True排除,导致最终的total_hours列全部为0.0。

正确处理混合数据类型并进行行求和

要解决这个问题,我们需要在求和之前,显式地将目标列中的非数值条目转换为可计算的数值类型。

步骤1:数据预处理——将非数值转换为NaN

Pandas提供了pd.to_numeric()函数,它能够尝试将Series或DataFrame中的值转换为数值类型。结合errors='coerce'参数,我们可以优雅地处理转换失败的情况:任何无法转换为数字的值都将被替换为NaN(Not a Number)。

import pandas as pd

# 示例数据准备 (与原文提供的数据一致)
data = {
    'id': {0: 514, 1: 2414, 2: 3225, 3: 3434, 4: 3864, 5: 4716, 6: 5793},
    'name': {0: 'alexis', 1: 'donald', 2: 'mackenzie', 3: 'louisa', 4: 'olga', 5: 'rick', 6: 'roberta'},
    '2025-11-28': {0: 'No hours logged', 1: '29160', 2: '28500', 3: '25380', 4: '15600', 5: '30180', 6: '29220'},
    '2025-11-29': {0: 'No hours logged', 1: '29160', 2: '28620', 3: '18840', 4: '19080', 5: '28800', 6: '29220'},
    '2025-11-30': {0: 'No hours logged', 1: '28860', 2: '28560', 3: '26040', 4: '14400', 5: '28740', 6: '29460'},
    '2025-12-01': {0: 'No hours logged', 1: '28620', 2: '28620', 3: 'No hours logged', 4: '13800', 5: '28620', 6: '29280'},
    '2025-12-02': {0: 'No hours logged', 1: '[10:02, Odd number: missing entry]', 2: '28980', 3: '25560', 4: '5220', 5: '28680', 6: '29340'},
    '2025-12-03': {0: 'No hours logged', 1: 'No hours logged', 2: 'No hours logged', 3: 'No hours logged', 4: '17820', 5: 'No hours logged', 6: 'No hours logged'},
    '2025-12-04': {0: 'No hours logged', 1: 'No hours logged', 2: 'No hours logged', 3: 'No hours logged', 4: 'No hours logged', 5: 'No hours logged', 6: 'No hours logged'},
    '2025-12-05': {0: 'No hours logged', 1: '28860', 2: '28740', 3: '24900', 4: '14400', 5: '28680', 6: '29040'},
}
df = pd.DataFrame(data)

# 假设daily_logs列已经展开,如果未展开,需要先执行类似 df = pd.concat([df,pd.DataFrame(list(df['daily_logs']))],axis=1).drop(columns='daily_logs') 的操作
# 在本示例中,我们直接使用已展开的df

# 选择需要求和的列(从索引为2的列开始,即跳过'id'和'name')
# 对这些列应用pd.to_numeric,并将无法转换的值设为NaN
# 然后对转换后的结果进行行求和
df['total_hours'] = (
    df.iloc[:, 2:]
      .apply(lambda x: pd.to_numeric(x, errors='coerce'))
      .sum(axis=1)
)

print(df[['id', 'name', 'total_hours']])

输出结果:

     id       name  total_hours
0   514     alexis          0.0
1  2414     donald     144660.0
2  3225  mackenzie     172025.0
3  3434     louisa     120720.0
4  3864       olga     100320.0
5  4716       rick     173700.0
6  5793    roberta     175560.0

现在,total_hours列正确地显示了每行中所有可转换数值的总和。sum()函数在默认情况下会忽略NaN值,这正是我们想要的行为。

小云雀 小云雀

剪映出品的AI视频和图片创作助手

小云雀 1949 查看详情 小云雀

关键点:

  • df.iloc[:, 2:]: 确保只选择包含工作时间数据的列。iloc是基于整数位置的索引,[:, 2:]表示选择所有行,并从第3列(索引为2)开始到最后一列。请根据实际DataFrame的结构调整起始列索引。
  • .apply(lambda x: pd.to_numeric(x, errors='coerce')): 这会遍历选定DataFrame中的每一列(x代表一个Series),并对该列应用pd.to_numeric函数。errors='coerce'是这里的关键,它将所有无法解析为数字的条目(如'No hours logged'或'[10:02, Odd number: missing entry]')转换为NaN。
  • .sum(axis=1): 在所有相关列都被成功转换为数值类型(或NaN)之后,对这些列进行行方向(axis=1)的求和。

优化时间格式显示

原始数据中的工作时间以秒为单位记录。为了提高可读性,我们可以将总秒数转换为更友好的时间格式,例如HH:MM:SS。Pandas的pd.to_timedelta()函数非常适合这个任务。

# 将总秒数转换为timedelta对象
df['total_duration'] = pd.to_timedelta(df['total_hours'], unit='s')

print(df[['id', 'name', 'total_hours', 'total_duration']])

输出结果:

     id       name  total_hours total_duration
0   514     alexis          0.0 0 days 00:00:00
1  2414     donald     144660.0 1 days 16:11:00
2  3225  mackenzie     172025.0 1 days 23:47:00
3  3434     louisa     120720.0 1 days 09:32:00
4  3864       olga     100320.0 1 days 03:52:00
5  4716       rick     173700.0 2 days 00:15:00
6  5793    roberta     175560.0 2 days 00:46:00

total_duration列现在以timedelta64[ns]类型存储,并以天、小时、分钟和秒的格式显示,极大地提升了数据的可读性。

完整的解决方案函数

将上述步骤封装到一个函数中,可以方便地应用于任何类似的DataFrame:

def calculate_total_working_hours(df_input):
    """
    计算DataFrame中每行的总工作时间(秒),并添加一个格式化的时间持续时间列。

    参数:
    df_input (pd.DataFrame): 包含工作时间数据的DataFrame。
                             假设工作时间数据从第三列(索引2)开始。

    返回:
    pd.DataFrame: 包含 'total_hours' (总秒数) 和 'total_duration' (时间持续时间) 列的DataFrame。
    """
    df = df_input.copy() # 避免修改原始DataFrame

    # 1. 选择需要求和的列并转换为数值,将非数值强制转换为NaN
    # 注意:这里假设 'id' 和 'name' 是前两列,实际使用时请根据DataFrame结构调整列索引
    df['total_hours'] = (
        df.iloc[:, 2:]
          .apply(lambda x: pd.to_numeric(x, errors='coerce'))
          .sum(axis=1)
    )

    # 2. 将总秒数转换为timedelta格式
    df['total_duration'] = pd.to_timedelta(df['total_hours'], unit='s')

    return df

# 使用示例
df_results = calculate_total_working_hours(df.copy()) # 传入原始df的副本
print(df_results[['id', 'name', 'total_hours', 'total_duration']])

注意事项

  • 列索引的准确性: 在使用df.iloc[:, 2:]时,请务必确认2是您希望开始求和的列的正确索引。如果您的DataFrame结构不同,例如有更多的非数值前置列,您需要调整这个索引。
  • errors='coerce'的副作用: errors='coerce'会将所有无法转换为数值的值替换为NaN。这意味着,如果您的数据中存在其他有意义的非数值字符串(例如,表示特殊状态的文本,而非简单的“未记录”),并且您希望保留这些信息或以不同方式处理它们,那么这种方法可能需要进一步细化。但对于本例中的“No hours logged”和格式错误的列表,这是一种非常有效的处理方式。
  • 数据类型一致性: 理想情况下,数据在加载到DataFrame之前就应该进行清理,确保数值列只包含数值。但在面对真实世界中的混合数据时,上述方法提供了强大的弹性。

总结

在Pandas中对DataFrame行进行求和时,如果遇到因混合数据类型导致numeric_only=True失效并返回0的情况,核心解决方案是:

  1. 精确选择需要求和的列。
  2. 使用pd.to_numeric(errors='coerce')将这些列中的非数值条目统一转换为NaN。
  3. 然后对转换后的结果执行sum(axis=1),Pandas会自动忽略NaN值。
  4. 对于时间数据,可以进一步利用pd.to_timedelta()进行格式化,提升数据可读性。

掌握这些技巧,将使您在处理真实世界中复杂且不一致的数据时,能够更高效、更准确地进行数据分析和计算。

以上就是解决Pandas DataFrame行求和为0的常见问题:混合数据类型处理指南的详细内容,更多请关注其它相关文章!


# mac  # ai  # app  # 本例  # 情况下  # 持续时间  # 如何用  # 中对  # 我们可以  # 您的  # 工作时间  # 自定义  # 转换为  # 常见问题  # 有什么政府类网站推广  # seo图片外链制作  # 开化全网营销推广怎么做  # 专业网络推广营销哪家好  # 产品营销策划新媒体推广  # 阜阳公司网站优化如何做  # seo的中文排名  # seo优化用的标签  # 武汉做营销型网站推广  # 网站如何seo推广业务 


相关栏目: 【 科技资讯46185 】 【 网络学院92790


相关推荐: c++ dfs和bfs代码 c++深度广度优先搜索算法  J*aScript中赋值与自增运算符的复杂交互与执行机制  yandex入口引擎手机版 yandex安卓版下载入口  Typer应用中动态命令行参数的解析与处理  高德地图家和公司地址在哪设置 高德地图通勤路线设置方法【超详细】  不同用户不同价格! 索尼开启账户个性化定价测试  Lar*el表单中优雅地处理“返回”按钮以规避验证:最佳实践指南  CSS自定义字体样式被系统字体替换怎么办_font-face方式指定font-display控制渲染策略  抖音网页版平台入口 抖音网页版官网在线访问教程  Go语言中的*string:深入理解字符串指针  迅雷下载到U盘速度很慢怎么办_迅雷U盘下载慢优化方法  PHP中高效并行检查多链接状态的教程  Go语言JSON解析深度指南:动态访问与结构体映射实践  CSS Flexbox如何实现多行排列_flex-wrap wrap自动换行显示  b站如何看历史记录_b站观看历史找回方法  学习通网页版官方登录 超星学习通电脑端入口指南  响应式容器内容自动缩放与宽高比维持教程  抖音网页版怎么|直播|_抖音网页版开播操作指南  海棠账号登录入口_登录海棠账户同步阅读记录  Win11网速慢怎么解决 Win11网络设置优化解除限速  俄罗斯浏览器官网直达链接 俄罗斯浏览器最新在线入口导航  J*a 递归快速排序中静态变量的状态管理与陷阱  Python自定义类排序:解决lambda键值访问TypeError的实践指南  自定义Bag-of-Words实现:处理带负号的词汇权重  Node.js中HTML按钮与J*aScript函数交互的正确姿势  C++如何实现一个智能指针_手动实现C++ shared_ptr的引用计数功能  Lar*el用户头像管理:实现图片缩放、存储与旧文件安全删除的最佳实践  PowerPoint如何制作滚动字幕结尾彩蛋_PowerPoint路径动画实现平滑滚动字幕效果  J*aScript中在Map循环中检测并处理空数组元素  千牛数据看板网页版_千牛数据看板网页版访问方法  Mac怎么查看崩溃日志_Mac控制台错误报告分析  免费抖音短视频入口_抖音网页版短视频免费通道  《马克思佩恩3》早期版本曝光 UI设计曾多次调整!  漫蛙manwa官网登录界面_漫蛙漫画网页版主站入口  漫蛙漫画登录站点 漫蛙2正版漫画快速访问  夸克浏览器桌面版同步不了书签怎么处理 夸克浏览器跨设备同步异常解决方案  德邦快递查询平台 德邦快递物流信息查询入口  如何优雅地扩展SprykerGlue后端API授权逻辑,使用spryker/glue-backend-api-application-authorization-connector-extension  KFC套餐升级怎么获取优惠代码_KFC套餐升级活动与优惠代码获取方法  Yandex官网搜索引擎免登录_俄罗斯Yandex一键直达入口  c++中的std::basic_string的SSO优化_c++短字符串优化深度解析  拼多多购物车商品数量无法修改如何处理 拼多多购物车操作优化方法  Win11蓝牙耳机断连怎么解决 Win11蓝牙设置重新配对与驱动更新【技巧】  NRF24L01数据传输深度解析:解决大载荷接收异常与分包策略  React/Next.js中实现列表项的动态移动与状态管理:兼论唯一键的重要性  C++ explicit关键字防止隐式转换_C++构造函数安全规范  2025俄罗斯Yandex最新入口 官方网站地址及浏览器下载指南  解决Bootstrap卡片顶部边距导致背景图下移的问题  iwriter统一登录平台 iwrite账号密码登录页面  CSS响应式网页如何实现主次模块比例自适应_flex-grow与flex-shrink调整 

搜索