新闻中心

如何将对数转换后的预测值还原为原始数据尺度

2025-12-03
浏览次数:
返回列表

如何将对数转换后的预测值还原为原始数据尺度

本文旨在详细阐述在机器学习模型中,如何将经过对数(log)转换的预测结果还原为原始数据尺度。通过对数转换可以改善数据分布,但在模型预测后,需要使用指数函数(`np.exp()`)进行逆转换,以确保结果的直观性和可解释性。文章将涵盖对数转换的背景、逆转换的实现方法,并强调在评估模型性能时,如何正确处理转换后的数据。

理解对数转换及其应用

在数据预处理阶段,对数转换(如自然对数 np.log())是一种常用的技术,尤其适用于处理具有高度偏斜分布(如右偏)的数值型数据。其主要目的包括:

  1. 正态化数据分布: 许多统计模型和机器学习算法假设数据服从正态分布,对数转换有助于将偏斜数据转换为更接近正态分布的形态。
  2. 稳定方差: 对于方差随均值增大的数据,对数转换可以帮助稳定方差,减少异方差性。
  3. 线性化关系: 在某些情况下,非线性关系经过对数转换后可能变为线性关系,从而使线性模型更有效。

例如,在处理金融、收入或某些物理量数据时,这些变量往往呈现长尾分布,少量高值会严重影响模型的训练。以下代码片段展示了如何对数据集中的 value_eur 和 wage_eur 列进行对数转换:

import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_absolute_error
# 假设 dtd 和 dtk 是您的DataFrame,这里仅为示例创建
# dtd = pd.DataFrame({'value_eur': [100, 2000, 50000, 10, 300000], 'wage_eur': [50, 1000, 20000, 5, 150000], 'feature1': [1,2,3,4,5]})
# dtk = dtd.copy() # 假设 dtk 是原始数据

# 为了演示,我们先创建一个示例 DataFrame
data = {
    'value_eur': [100, 2000, 50000, 10, 300000, 0, 15000],
    'wage_eur': [50, 1000, 20000, 5, 150000, 0, 7500],
    'feature1': [1, 2, 3, 4, 5, 6, 7],
    'feature2': [10, 20, 30, 40, 50, 60, 70]
}
dtd = pd.DataFrame(data)
dtk = dtd.copy() # 假设 dtk 存储原始值

# 创建布尔掩码以处理非正值,避免对数运算错误
mask_value = dtd['value_eur'] > 0
mask_wage = dtd['wage_eur'] > 0

# 对数转换
dtd.loc[mask_value, 'value_eur'] = np.log(dtk.loc[mask_value, 'value_eur'])
dtd.loc[mask_wage, 'wage_eur'] = np.log(dtk.loc[mask_wage, 'wage_eur'])

# 定义特征X和目标y
X = dtd.drop(['value_eur'], axis=1)
y = dtd['value_eur']

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 假设 regressor 是一个已训练好的模型
# 这里使用一个简单的线性回归模型作为示例
from sklearn.linear_model import LinearRegression
regressor = LinearRegression()
regressor.fit(X_train, y_train)

# 进行预测
regs = regressor.predict(X_test)

print("对数转换后的预测值 (regs) 和真实值 (y_test) 的前几行:")
results_log_scale = pd.DataFrame({
    'grids predicted values (log)': regs,
    'true values (log)': y_test
})
print(results_log_scale.head())

输出可能类似:

对数转换后的预测值 (regs) 和真实值 (y_test) 的前几行:
   grids predicted values (log)  true values (log)
5                     10.231222          8.779557
3                      8.528407          2.302585

可以看到,预测值和真实值都处于对数尺度。

逆转换:还原预测值到原始尺度

当模型在对数转换后的目标变量上进行训练并生成预测时,这些预测值同样处于对数尺度。为了使这些预测值具有实际意义和可解释性,我们需要将其逆转换为原始数据尺度。自然对数(np.log())的逆运算是指数函数(np.exp())。

要将模型的预测结果 regs 还原到原始尺度,只需对 regs 应用 np.exp() 函数。

独响 独响

一个轻笔记+角色扮演的app

独响 249 查看详情 独响
# 对预测值进行逆转换
y_pred_original_scale = np.exp(regs)

# 如果要评估原始尺度的误差,y_test也需要逆转换
# 注意:y_test 此时是 log 转换后的真实值
y_test_original_scale = np.exp(y_test)

# 计算原始尺度下的平均绝对误差 (MAE)
mae_original_scale = mean_absolute_error(y_test_original_scale, y_pred_original_scale)
print(f"\n原始尺度下的平均绝对误差 (MAE): {mae_original_scale}")

# 展示原始尺度下的预测值和真实值
results_original_scale = pd.DataFrame({
    'grids predicted values (original)': y_pred_original_scale,
    'true values (original)': y_test_original_scale
})

print("\n原始尺度下的预测值和真实值的前几行:")
print(results_original_scale.head())

输出可能类似:

原始尺度下的平均绝对误差 (MAE): 2588.541170044563

原始尺度下的预测值和真实值的前几行:
   grids predicted values (original)  true values (original)
5                       27757.258673             6500.000000
3                         5058.070624               10.000000

通过上述步骤,我们成功地将模型在对数尺度上的预测结果还原到了原始数据尺度,使其更具业务可读性和实用价值。

注意事项与总结

  1. 评估指标: 在对数转换后,模型通常会在对数尺度上进行优化。因此,评估指标(如MAE、RMSE)如果在对数尺度上计算,反映的是对数误差。如果需要评估原始尺度上的误差,务必在计算指标前对预测值和真实值都进行逆转换。如上述示例所示,mean_absolute_error(np.exp(y_test), np.exp(regs)) 才是原始尺度上的MAE。
  2. 处理零值或负值: 对数函数只对正数有定义。如果原始数据包含零或负值,在进行对数转换前需要进行特殊处理,例如:
    • 加一个小的常数:np.log(x + C),其中 C 是一个很小的正数。
    • 使用其他转换方法,如 Box-Cox 转换,它可以处理零值和负值。
    • 仅对正值进行对数转换,并对零值或负值进行单独处理或建模。
  3. 对数类型: np.log() 默认是自然对数(底数为 e)。如果使用了其他底数的对数(例如 np.log10()),则逆转换需要使用相应的幂函数(例如 10**x)。
  4. 模型解释性: 虽然对数转换有助于模型训练,但模型系数的解释性会变得复杂。逆转换后的预测值则直接反映了原始数据的量级,更便于业务人员理解。

总结

在机器学习流程中,对数转换是处理偏斜数据和改善模型性能的强大工具。然而,为了确保模型预测结果的直观性和可解释性,对预测值进行逆转换是必不可少的步骤。通过简单地应用 np.exp() 函数,我们可以将对数尺度上的预测还原为原始数据尺度,从而提供更具实际意义的洞察。在执行此操作时,请务必注意评估指标的计算方式以及原始数据中零值或负值的处理。

以上就是如何将对数转换后的预测值还原为原始数据尺度的详细内容,更多请关注其它相关文章!


# ai  # 营销推广的话语技巧  # 如何实现  # 更具  # 在对  # 正态分布  # 指数函数  # 是一个  # 几行  # 如何将  # 原为  # 原始数据  # red  # 金融  # 工具  # 外贸营销网站建设价格  # 重庆seo优化排名意思  # 网站建设专业宣传片  # 营销的品牌推广是什么工作  # 包河网站推广公司有哪些  # 永泰seo介绍  # 电商网站建设需求分析  # 盘锦短视频seo  # 界首公司网站建设 


相关栏目: 【 科技资讯46185 】 【 网络学院92790


相关推荐: C++ map遍历方法大全_C++ map迭代器使用总结  TikTok网页版直接登录 TikTok网页端官方平台入口  电脑屏幕颜色不舒服怎么办_Windows夜间模式与色彩校准教程【护眼技巧】  优酷会员付费后没到账怎么办_优酷会员充值异常及解决方法  AO3官方镜像站点汇总 AO3同人作品网页版直达链接  Win10如何开启蓝牙功能_Windows10找不到蓝牙开关解决方法  学习通网页版快速入口 学习通官网网页版直接打开  2026年CSGO开箱网站推荐 CSGO开箱平台精选  服务端验证_j*ascript输入检查  J*a里如何实现线程安全的懒加载单例_懒加载单例实现方法解析  抖音未来赚钱的新趋势 2025年值得关注的变现风口分析  谷歌浏览器怎么给标签页静音_Chrome标签静音快捷操作  LINQ to XML为何解析失败? 深入理解C# XDocument的异常处理  写好的html代码怎么运行出来_运行写好的html代码方法【教程】  12306选座怎么选到临时改签座_12306改签选座策略与步骤  1688商家版怎样分析买家画像精准供货_1688商家版分析买家画像精准供货【供货策略】  优化 Jest 模拟:强制未实现函数抛出错误以提升测试效率  PySpark中从现有列右侧提取可变长度字符创建新列的教程  Sublime怎么配置Nim语言环境_Sublime Nim代码高亮与补全  微信语音通话掉线如何解决 微信语音通话稳定优化方法  品牌机怎么重装系统 联想/戴尔/惠普笔记本恢复出厂系统教程  vivo手机参数配置怎么增强信号_vivo手机参数配置信号增强方法  在Qt QML中通过Python字典动态更新TextEdit内容的教程  如何高效处理PHP中的Excel数据导入导出?PortPHP/Spreadsheet助你轻松搞定!  QQ邮箱电脑版登录入口_QQ邮箱官方网站登录平台  高德地图沿途添加点失败如何解决 高德多点规划方法  钉钉视频会议声音异常如何处理 钉钉会议音频修复技巧  深入理解Go语言中的指针类型:以*string为例  《噬血代码2》新预告片发布 展示游戏剧情  J*aScript中向JSON对象添加新属性的正确姿势  LocoySpider如何部署到云服务器_LocoySpider云部署的远程配置  QQ网页版官方账号入口 QQ网页版网页版登录指南  Golang如何使用new_Go new分配内存机制讲解  双系统安装时,如何设置默认启动系统? msconfig命令了解一下!  解决 Express.js 中 PUT 请求密码修改失败的路由配置指南  Adobe PDF表单中利用J*aScript解析与格式化日期组件的教程  XML中包含HTML标签导致解析错误? 正确嵌入非XML数据的两种方法  漫蛙2正版漫画站 漫蛙2网页版快速访问入口  Win11怎么设置开机NumLock亮 Win11修改注册表InitialKeyboardIndicators值  解决深度学习模型训练初期异常高损失与完美验证准确率问题  Composer中的^和~符号代表什么_精通Composer版本号语义化约束  Win11怎么查看显卡显存 Win11显示适配器属性及专用视频内存查询  Excel如何用迷你图显趋势_Excel用迷你图显趋势【趋势小图】  特斯拉自动驾驶房车计划曝光 原型车将于2027年亮相  谷歌邮箱网页版官方页面入口 谷歌邮箱网页端快速访问  mysql如何设置表访问权限_mysql表访问权限配置  如何在复杂的电商平台中优雅地管理共享资源并确保正确重定向,使用spryker-shop/resource-share-page模块助你一臂之力  微信客户端如何收红包_微信客户端接收红包使用教程  ArrayList与LinkedList核心操作的Big-O复杂度分析  Go调试环境为何无法启动_Go调试器启动失败原因与解决策略 

搜索