LangChain.js中OpenAI模型Token使用量及成本追踪实践

新闻中心 NEWS CENTER

您当前位置：首页 > 新闻中心 > 网络学院

LangChain.js中OpenAI模型Token使用量及成本追踪实践

2025-11-25

浏览次数：次

返回列表

langchain.js中openai模型token使用量及成本追踪实践

本文将详细介绍如何在LangChain.js项目中，利用`handleLLMEnd`回调函数，准确追踪OpenAI语言模型的Token使用量，包括提示词和完成词的消耗。通过集成此机制，开发者可以有效监控每次模型运行的资源开销，为成本估算和性能优化提供数据支持。

引言：LangChain.js中Token追踪的挑战

在开发基于LangChain和OpenAI的项目时，有效追踪每次模型调用（LLM run）的Token使用量和估算成本是至关重要的。这不仅有助于成本控制，也能为性能优化提供数据依据。然而，与LangChain Python版本中方便的get_openai_callback()方法不同，LangChain.js框架中并没有直接对应的内置函数来获取这些信息，这使得开发者在J*aScript环境中面临挑战。尝试使用一些看似合理的代码（例如由聊天机器人提供的chain.getOpenAICallback()）往往会因为方法不存在而失败。

解决方案核心：使用handleLLMEnd回调

LangChain.js提供了一个强大的回调系统，允许开发者在链（Chain）或语言模型（LLM）生命周期的特定事件发生时执行自定义逻辑。要追踪OpenAI模型的Token使用量，最有效的方法是利用LLM的回调机制，特别是handleLLMEnd函数。当语言模型完成其执行并返回结果时，handleLLMEnd会被触发，并提供包含Token使用详情的输出数据。

实现步骤与代码示例

以下是如何在LangChain.js中设置ChatOpenAI模型以追踪Token使用量的具体步骤和代码示例：

语鲸

AI智能阅读辅助工具

314 查看详情

导入必要的模块：首先，确保从langchain/chat_models/openai导入ChatOpenAI。
定义Token计数器：在模型初始化之前，定义全局或作用域内的变量来累积不同类型的Token使用量。
配置ChatOpenAI实例：在创建ChatOpenAI实例时，通过callbacks属性传入一个包含handleLLMEnd函数的数组。

import { ChatOpenAI } from 'langchain/chat_models/openai';

// 定义全局变量来累积Token使用量
let totalCompletionTokens = 0; // 累积的完成词Token数
let totalPromptTokens = 0;     // 累积的提示词Token数
let totalExecutionTokens = 0;  // 累积的总Token数

// 初始化ChatOpenAI模型，并配置回调函数
const llm = new ChatOpenAI({
    callbacks: [
      {
        /**
         * 当LLM执行结束时触发的回调函数
         * @param {Object} output - LLM执行的输出，包含tokenUsage信息
         * @param {string} runId - 当前运行的ID
         * @param {string} [parentRunId] - 父运行的ID（如果存在）
         * @param {string[]} [tags] - 与运行相关的标签
         */
        handleLLMEnd: (output, runId, parentRunId, tags) => {
          // 从输出中提取Token使用详情
          const { completionTokens, promptTokens, totalTokens } = output.llmOutput?.tokenUsage;

          // 累加Token数量，确保处理undefined情况
          totalCompletionTokens += completionTokens ?? 0;
          totalPromptTokens += promptTokens ?? 0;
          totalExecutionTokens += totalTokens ?? 0;

          // 可以在此处打印每次运行的Token详情
          console.log(`--- LLM Run ${runId} Ended ---`);
          console.log(`Prompt Tokens: ${promptTokens ?? 0}`);
          console.log(`Completion Tokens: ${completionTokens ?? 0}`);
          console.log(`Total Tokens for this run: ${totalTokens ?? 0}`);
          console.log(`Current Accumulated Prompt Tokens: ${totalPromptTokens}`);
          console.log(`Current Accumulated Completion Tokens: ${totalCompletionTokens}`);
          console.log(`Current Accumulated Total Tokens: ${totalExecutionTokens}`);
        },
      },
    ],
    // 必须使用支持Token计数的模型，例如gpt-3.5-turbo系列
    modelName: 'gpt-3.5-turbo-0613', 
    // 其他OpenAI配置，例如temperature, openAIApiKey等
    temperature: 0.7,
    openAIApiKey: process.env.OPENAI_API_KEY, 
});

// 示例：如何使用配置了回调的LLM实例
async function runExampleChain() {
    console.log("Starting example chain run...");
    const result = await llm.call("What is the capital of France?");
    console.log("LLM Call Result:", result);

    const result2 = await llm.call("What is the highest mountain in the world?");
    console.log("LLM Call Result 2:", result2);

    console.log("\n--- Final Accumulated Token Usage ---");
    console.log(`Total Prompt Tokens Across All Runs: ${totalPromptTokens}`);
    console.log(`Total Completion Tokens Across All Runs: ${totalCompletionTokens}`);
    console.log(`Total Execution Tokens Across All Runs: ${totalExecutionTokens}`);
}

// 调用示例函数
runExampleChain();

在上述代码中：

output.llmOutput?.tokenUsage 是获取Token使用详情的关键路径。它包含 completionTokens（模型生成的Token数）、promptTokens（输入给模型的提示词Token数）和 totalTokens（本次调用的总Token数）。
我们使用 ?? 0 来处理可能出现的 undefined 情况，确保累加操作的健壮性。
modelName: 'gpt-3.5-turbo-0613' 是一个重要的配置。经验表明，对于ChatOpenAI，使用gpt-3.5-turbo或更新的聊天模型版本（如gpt-3.5-turbo-0613）才能正确返回tokenUsage信息。

注意事项

模型兼容性：在LangChain.js（特别是版本0.0.116左右）中，tokenUsage信息似乎主要通过ChatOpenAI实例与gpt-3.5-turbo系列模型一起工作。直接使用OpenAI（基础LLM类）或旧版模型可能无法获取到这些数据。
成本估算：获取到Token使用量后，可以根据OpenAI的官方定价页面（通常以每千个Token的价格计算）来估算每次运行或整个应用的成本。这需要将累积的Token数除以1000，然后乘以对应的模型价格。
作用域管理：上述示例使用了全局变量来累积Token。在更复杂的应用中，你可能需要将这些计数器封装在类或特定上下文中，以便更好地管理和区分不同会话或任务的Token使用。
异步性：handleLLMEnd是同步执行的，但它发生在异步LLM调用完成之后。确保你的Token累积逻辑能够正确处理多次异步调用。
错误处理：在实际应用中，应考虑output.llmOutput?.tokenUsage可能为undefined的情况，并添加适当的错误处理或默认值。

总结

通过巧妙地利用LangChain.js提供的回调机制，特别是ChatOpenAI的handleLLMEnd函数，开发者可以有效地追踪OpenAI语言模型的Token使用量。这种方法虽然不如Python版本直接，但功能强大且灵活，能够为LangChain.js项目的成本监控、性能分析和资源优化提供关键数据支持。理解并正确实现这一机制，是构建健壮和可控的LangChain.js应用的重要一步。

以上就是LangChain.js中OpenAI模型Token使用量及成本追踪实践的详细内容，更多请关注其它相关文章！

# 能为 # seo软件玉米社 # 关键词排名优化实惠mars12下拉 # 金山网站推广哪家强 # 文化校园网站建设流程 # 重庆哪里可以学习seo # 株洲网站建设平台 # 随县谷歌seo公司 # 淘宝创建新关键词排名 # 武汉整合网络营销推广 # 玉田专业网站优化 # 加载 # 是一个 # 按需 # 如何用 # javascript # 管理器 # 全局变量 # 如何使用 # 使用量 # 回调 # 资源优化 # 作用域 # gpt # openai # ai # 回调函数 # js # java # python