大模型封装API必备攻略：解锁本地调用新姿势

见解分享

2024-01-06 02:03:14

大模型本地调用：解放开发者，释放大模型潜能

大模型的崛起与封装之需

随着大模型技术突飞猛进，越来越多的企业和开发者渴望将大模型的强大功能融入自己的业务。然而，直接调用大模型的 API 往往复杂且繁琐，阻碍了开发者的脚步。

本地调用的优势：便捷、高效

为了解决这一痛点，本地调用 应运而生。与传统的网络 API 调用不同，本地调用允许开发者直接在本地机器上调用大模型，无需通过网络传输请求和结果。这种方式具有以下显著优势：

速度快： 本地调用避免了网络延迟和抖动，大幅提升了响应速度。
稳定可靠： 不受网络状况影响，确保大模型调用稳定可靠。

不同大模型，调用方式有别

值得注意的是，不同的大模型在本地调用的方式上有所不同。例如，百度文心需要通过 WebSocket 连接，而 ChatGPT 可直接使用 HTTP 请求。

工具助力，轻松本地调用

为了简化大模型本地调用的过程，我们开发了**大模型封装 API 工具** 。该工具支持多种编程语言，允许开发者轻松地将百度文心、ChatGPT 等大模型封装成本地 API。

本地调用的实践

代码示例：调用百度文心

import paddle.serving.client as serving_client

# 创建本地客户端
client = serving_client.Client()
# 加载模型配置
client.load_client_config("./config.prototxt")
# 设置服务器地址
client.set_endpoint("127.0.0.1:9292")

# 准备输入数据
input_data = {"text": "你好，世界！"}

# 调用模型
output_data = client.predict(feed={"text": input_data}, fetch=["result"])

# 获取结果
result = output_data["result"][0]
print(result)

代码示例：调用 ChatGPT

import requests

# API 端点
endpoint = "https://chatgpt.openai.com/api/auth/session"

# 发送认证请求
response = requests.post(endpoint)

# 获取认证 token
token = response.json()["accessToken"]

# 构建请求头
headers = {"Authorization": f"Bearer {token}"}

# 准备输入数据
prompt = "编写一个关于本地调用大模型的博客文章"

# 发送请求
response = requests.post(
    "https://chatgpt.openai.com/api/v1/engines/text-bison-001/completions",
    json={"prompt": prompt},
    headers=headers,
)

# 获取结果
output = response.json()["choices"][0]["text"]
print(output)