LangChain.js 实战教程：学会如何统计大模型 Token 使用情况

2023-07-18 02:38:49

利用 LangChain.js 统计大模型 Token 使用量和账单花费

摘要

在使用大语言模型时，密切监控 Token 使用量和账单花费至关重要。LangChain.js 提供了两种方便的方法来统计这些关键指标：方法返回和回调函数。本文将深入探讨这两种方法，并提供详细的示例代码供参考。

方法返回

步骤：

创建 LangChain.js 实例：

import langchain
client = langchain.Client()

调用大模型：

response = client.call(
    model_name="text-bison-001",
    prompt="你好，世界！",
    return_tokens=True
)

获取 Token 使用量：
```
tokens = response["tokens"]
```

这种方法直接返回一个包含 Token 使用量的字典。

回调函数

步骤：

创建 LangChain.js 实例：

import langchain
client = langchain.Client()

定义回调函数：

def callback(response):
    # 获取 Token 使用量
    tokens = response["tokens"]

调用大模型：

client.call(
    model_name="text-bison-001",
    prompt="你好，世界！",
    callback=callback
)

在这种方法中，一个回调函数在调用完成时被触发，并接收包含 Token 使用量的字典。

比较

这两种方法各有优缺点：

方法返回： 简单直接，一次性返回所有信息。
回调函数： 更灵活，可以在调用完成后执行其他任务。

代码示例

# 方法返回示例
import langchain

client = langchain.Client()
response = client.call(
    model_name="text-bison-001",
    prompt="你好，世界！",
    return_tokens=True
)
tokens = response["tokens"]
print(f"Token 使用量：{tokens}")

# 回调函数示例
import langchain

client = langchain.Client()

def callback(response):
    tokens = response["tokens"]
    print(f"Token 使用量：{tokens}")

client.call(
    model_name="text-bison-001",
    prompt="你好，世界！",
    callback=callback
)