LangChain.js中追踪OpenAI模型Token用量与成本的实现指南

新闻中心 NEWS CENTER

您当前位置：首页 > 新闻中心 > 网络学院

LangChain.js中追踪OpenAI模型Token用量与成本的实现指南

2025-11-24

浏览次数：次

返回列表

langchain.js中追踪openai模型token用量与成本的实现指南

本教程详细介绍了如何在LangChain.js项目中准确追踪OpenAI模型（如GPT-3.5-turbo）的Token用量和运行成本。针对LangChain.py中`get_openai_callback()`在J*aScript框架中缺失的问题，我们将重点讲解如何利用LangChain.js的`callbacks`属性，通过实现`handleLLMEnd`回调函数来实时捕获并累计每次LLM运行的提示词和完成Token，从而有效管理和分析模型消耗。

引言：LangChain.js中Token用量追踪的挑战

在开发基于大型语言模型（LLM）的应用时，准确追踪Token的消耗至关重要，它直接关系到成本控制和性能优化。在LangChain的Python版本中，get_openai_callback()提供了一个便捷的方式来获取LLM调用的Token用量和成本。然而，在LangChain.js框架中，并没有一个直接对应的getOpenAICallback()函数，这使得许多开发者在尝试获取这些数据时遇到了困难。

例如，一些开发者可能会尝试使用如下代码（由一些AI助手提供），但会发现chain.getOpenAICallback等方法并不存在于LangChain.js的实际API中：

// 这是一个错误的尝试，该函数在LangChain.js中不存在
const { Chain } = require("langchain");

async function getChainRunCost(chainRunId) {
  const chain = new Chain();
  const callback = await chain.getOpenAICallback(chainRunId); // ❌ 此函数不存在
  const cost = callback.cost;
  return cost;
}

本文将深入探讨LangChain.js中正确追踪OpenAI模型Token用量的方法，核心在于利用其强大的回调（Callbacks）机制。

理解LangChain.js中的回调机制

LangChain.js提供了一个灵活的回调系统，允许开发者在LLM或链（Chain）执行过程中的不同阶段插入自定义逻辑。这些回调函数可以在LLM开始、结束、错误发生时被触发，从而提供了一个观察和干预执行流程的窗口。对于Token用量追踪，我们主要关注handleLLMEnd这个回调事件，它在每次LLM调用完成时触发，并提供该次调用的详细输出信息，包括Token用量。

实现Token用量追踪

要在LangChain.js中追踪Token用量，我们需要在初始化LLM实例时，通过callbacks属性配置一个回调处理器。在这个处理器中，我们将实现handleLLMEnd方法来捕获Token数据。

核心代码示例

以下代码展示了如何使用ChatOpenAI模型，并配置handleLLMEnd回调函数来累计Prompt Token、Completion Token和总Token用量：

Avatar AI

AI成像模型，可以从你的照片中生成逼真的4K头像

92 查看详情 Avatar AI

import { ChatOpenAI } from 'langchain/chat_models/openai';
import { HumanMessage } from 'langchain/schema'; // 用于构造Chat模型输入

// 定义全局变量用于累计Token用量
// 在实际应用中，这些变量可能需要存储在更持久的存储中，或与用户会话关联
let totalCompletionTokens = 0;
let totalPromptTokens = 0;
let totalExecutionTokens = 0;

// 初始化ChatOpenAI模型实例，并配置回调
const llm = new ChatOpenAI({
    // 配置回调函数数组
    callbacks: [
      {
        /**
         * 在LLM调用结束时触发
         * @param {object} output - LLM调用的输出结果
         * @param {string} runId - 当前运行的唯一ID
         * @param {string} [parentRunId] - 父级运行的ID
         * @param {string[]} [tags] - 与运行相关的标签
         */
        handleLLMEnd: (output, runId, parentRunId, tags) => {
          // 从输出中提取Token用量信息
          // 注意：llmOutput?.tokenUsage 结构可能因模型和版本而异，建议进行空值检查
          const { completionTokens, promptTokens, totalTokens } = output.llmOutput?.tokenUsage || {};

          // 累计Token用量
          totalCompletionTokens += completionTokens ?? 0;
          totalPromptTokens += promptTokens ?? 0;
          totalExecutionTokens += totalTokens ?? 0;

          console.log(`--- LLM Run ID: ${runId} ---`);
          console.log(`  Prompt Tokens (本次): ${promptTokens ?? 0}`);
          console.log(`  Completion Tokens (本次): ${completionTokens ?? 0}`);
          console.log(`  Total Tokens (本次): ${totalTokens ?? 0}`);
          console.log(`  累计 Prompt Tokens: ${totalPromptTokens}`);
          console.log(`  累计 Completion Tokens: ${totalCompletionTokens}`);
          console.log(`  累计 Total Tokens: ${totalExecutionTokens}`);
        },
      },
    ],
    modelName: 'gpt-3.5-turbo-0613', // 推荐使用此模型版本以确保Token追踪的准确性
    temperature: 0.7, // 其他LLM配置，例如温度
    // openaiApiKey: process.env.OPENAI_API_KEY, // 确保您的API Key已配置
});

// 示例：如何使用这个LLM实例进行多次调用
async function runTokenTrackingExample() {
    console.log("--- 第一次LLM调用 ---");
    const response1 = await llm.call([
        new HumanMessage('请用一句话介绍大型语言模型。')
    ]);
    console.log("Response 1:", response1.content);

    console.log("\n--- 第二次LLM调用 ---");
    const response2 = await llm.call([
        new HumanMessage('请简述LangChain框架的核心作用。')
    ]);
    console.log("Response 2:", response2.content);

    console.log("\n--- 所有LLM调用结束 ---");
    console.log(`最终累计 Prompt Tokens: ${totalPromptTokens}`);
    console.log(`最终累计 Completion Tokens: ${totalCompletionTokens}`);
    console.log(`最终累计 Total Tokens: ${totalExecutionTokens}`);

    // 根据Token用量估算成本 (示例，实际成本请参考OpenAI定价)
    // 以下价格基于GPT-3.5 Turbo 0613模型，请查阅最新官方定价
    const promptCostPerKToken = 0.0015; // 每千个输入Token的价格 (美元)
    const completionCostPerKToken = 0.002; // 每千个输出Token的价格 (美元)

    const estimatedCost = 
        (totalPromptTokens / 1000) * promptCostPerKToken + 
        (totalCompletionTokens / 1000) * completionCostPerKToken;

    console.log(`估算总成本: $${estimatedCost.toFixed(6)}`);
}

// 运行示例函数
runTokenTrackingExample();

代码解析

全局变量： totalCompletionTokens, totalPromptTokens, totalExecutionTokens 用于在多次LLM调用之间累计Token用量。在实际应用中，这些变量可能需要与特定的用户会话或请求上下文绑定。
ChatOpenAI初始化： 在创建ChatOpenAI实例时，传入一个callbacks数组。数组中的每个元素都是一个回调对象。
handleLLMEnd方法： 这是关键所在。当LLM完成一次响应后，handleLLMEnd会被调用。
- output参数包含了LLM调用的结果，其中output.llmOutput?.tokenUsage对象存储了本次调用的completionTokens（完成Token）、promptTokens（提示词Token）和totalTokens（总Token）。
- 我们通过解构赋值获取这些值，并使用空值合并运算符?? 0确保在tokenUsage不存在时默认为0，提高代码健壮性。
- 将获取到的Token用量累加到全局变量中。
modelName: 'gpt-3.5-turbo-0613'： 原始问题提到，在特定版本（如0.0.116）的LangChain.js中，使用ChatOpenAI和gpt-3.5-turbo-0613模型能够更可靠地返回Token用量。对于其他模型或LLM类型，可能需要进行测试验证。
成本估算： 示例中包含了基于OpenAI官方定价的简单成本估算逻辑。请务必参考OpenAI最新的定价信息。

注意事项与最佳实践

模型与版本兼容性：
- ChatOpenAI与特定模型： 原始问题中提到，在LangChain.js的0.0.116版本中，使用ChatOpenAI结合modelName: 'gpt-3.5-turbo-0613'可以稳定地获取Token用量。对于其他模型或LLM类型（如OpenAI而非ChatOpenAI），或不同版本的LangChain.js，Token用量报告的准确性可能会有所不同，甚至可能无法获取。建议开发者在实际项目中进行测试验证。
- 框架更新： LangChain.js是一个快速迭代的框架，API可能会发生变化。务必查阅最新官方文档，以确保回调机制和Token用量报告的兼容性。
集成到复杂链中：
- 即使您使用的是ConversationalRetrievalQAChain、BufferMemory和向量搜索等复杂组件，只要最终调用的底层LLM实例（例如ChatOpenAI）配置了callbacks，handleLLMEnd函数就能够捕获到每次LLM交互的Token用量。这是因为这些高级链的执行流程中，仍然会触发其内部LLM实例的调用。
成本估算：
- 获取Token用量是进行成本估算的基础。您可以根据OpenAI官方公布的定价模型（通常按每千个输入/输出Token计费）来计算每次LLM调用或整个会话的预估成本。
- 示例成本计算公式：总成本 = (累计提示词Token / 1000) * 提示词单价 + (累计完成Token / 1000) * 完成单价请注意，OpenAI的定价会根据模型版本和类型有所不同，务必参考最新的官方价格表。
数据持久化与监控：
- 在生产环境中，简单地使用全局变量累计Token可能不足。您可能需要将这些数据发送到日志系统、监控平台或数据库中，以便进行长期分析、生成报告和设置成本预警。
健壮性与错误处理：
- 在handleLLMEnd回调函数中，始终对output.llmOutput?.tokenUsage进行空值或未定义检查（例如使用?.操作符和|| {}默认值），以防止因某些特殊情况（如LLM调用失败或响应格式不一致）导致程序崩溃。

总结

通过利用LangChain.js提供的回调机制，特别是handleLLMEnd函数，开发者可以有效地追踪OpenAI模型在每次运行中的Token用量。这种方法不仅解决了LangChain.py中get_openai_callback()在J*aScript框架中缺失的问题，还提供了一个灵活且强大的方式来监控和管理LLM应用的资源消耗。掌握这一技术，对于构建成本效益高、可观测性强的LLM应用至关重要。

以上就是LangChain.js中追踪OpenAI模型Token用量与成本的实现指南的详细内容，更多请关注其它相关文章！

# 不存在 # 网站二维码推广怎么做 # 浏览器网站推广 # 惠山区seo优化 # seo好的连锁 # 网站建设项目验收模板 # 京东全站营销推广效果怎么样 # 滁州网站建设及优化 # 日日做夜夜SEO # 杭州抖音营销推广有哪些 # 海南seo全网推广 # 如何用 # 在实际 # 至关重要 # 管理器 # javascript # 有所不同 # 运算符 # 全局变量 # 如何使用 # 回调 # cos # gpt # openai # ai # 回调函数 # 处理器 # js # java # python