中文 ▾
获取 API 密钥

Python LLM API:聊天、流式输出与工具调用

本 Python LLM API 指南使用指向 OpenAI 兼容接口的官方 OpenAI SDK。你可以通过粘贴并运行代码获得首次调用、流式输出、工具调用和重试逻辑。

更新于

代码块从笔记本电脑流向聊天气泡的横幅,展示 Python LLM API 调用
01

要点

  • 安装 openai,设置基础 URL 和密钥,并使用模型 ID uncensored。
  • 使用 stream=True 进行流式输出,并提前关闭流以释放并发槽位。
  • 工具调用返回的参数必须在执行任何操作前进行解析和验证。
  • 使用 Retry-After 处理 429 错误,并将完整密钥的并发请求限制在 8 个。

安装 SDK 并进行首次调用

如果你想要一个五分钟内就能跑通的 llm api python 环境,OpenAI SDK 就足够了。该 API 与 OpenAI 兼容,因此你可以保留官方客户端,只需更改两个值:基础 URL 和密钥。模型 ID 为 uncensored。

首先获取密钥。在 API 密钥页面 注册,领取一键式试用额度,并复制密钥。然后安装客户端,并将密钥保留在源代码之外。

pip install openai
export LLM_API_KEY="your-key-here"

现在是最小的可用程序:

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.llmmodelsapi.com/v1",
    api_key=os.environ["LLM_API_KEY"],
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a concise technical assistant."},
        {"role": "user", "content": "Explain what a context window is in two sentences."},
    ],
    temperature=0.7,
)

print(resp.choices[0].message.content)
print(resp.usage)

这就是整个集成。resp.usage 提供提示词和补全的 token 计数,你可以将其乘以 定价页面 上的费率(每 1M 输入 token $0.15,每 1M 输出 token $0.50)以查看每次调用的成本。同一接口也接受 POST /v1/responses,如果你的代码已使用该格式,以及 GET /v1/models 列出模型 ID。

请求和响应的样子

OpenAI 客户端隐藏了 HTTP 细节,但在出现问题时了解这些细节会有所帮助。SDK 向 /v1/chat/completions 发送带有承载令牌的 POST 请求。你可以使用 curl 重现该调用并进行比较。

curl https://api.llmmodelsapi.com/v1/chat/completions \
  -H "Authorization: Bearer $LLM_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "uncensored", "messages": [{"role": "user", "content": "Say hello"}]}'

传递给模型的有效参数包括:temperature、top_p、stop、seed 以及频率和存在惩罚。max_tokens 是可选的。如果省略它,补全可以使用 100,000 token 窗口中剩余的所有空间(提示词和补全合计)。

有两个响应头值得在每次调用中记录:X-Request-Id 用于支持问题,X-Balance-USD 用于查看剩余额度。使用 Python SDK 你可以通过原始响应访问它们:

raw = client.chat.completions.with_raw_response.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Ping"}],
    max_tokens=20,
)
print(raw.headers.get("X-Request-Id"))
print(raw.headers.get("X-Balance-USD"))
completion = raw.parse()
print(completion.choices[0].message.content)

流式输出到达的 token

对于聊天界面以及用户正在等待的场景,请进行流式输出。设置 stream=True 并遍历数据块。API 通过服务器发送事件(SSE)发送这些块,当你请求时,最后一个块会包含使用情况。

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a short product description for a mechanical keyboard."}],
    stream=True,
    stream_options={"include_usage": True},
)

for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        print("\n", chunk.usage)

两个细节容易让人踩坑。首先,部分数据块包含空的 choices 列表(例如 usage 数据块),因此在索引前需进行防护。其次,流式请求会占用并发槽位,直到流结束。如果你打开流但未关闭就放弃读取,该槽位将保持忙碌状态,后续调用可能会因超出 concurrency 限制而失败。请在使用流时采用 with 语句,或在提前停止读取时调用 stream.close()。

如果流在消息不明确时中断,本站上的 如何使用 LLM 模型 文章涵盖了读取错误和重试的基础知识。

针对模型的工具调用

工具调用允许模型请求你的代码运行函数,然后继续处理结果。流程分为三步:发送工具定义、执行模型请求的操作,并通过 role: "tool" 返回输出。

import json

def get_order_status(order_id: str) -> str:
    # Replace with a real lookup
    return json.dumps({"order_id": order_id, "status": "shipped"})

tools = [{
    "type": "function",
    "function": {
        "name": "get_order_status",
        "description": "Look up the status of an order by its ID",
        "parameters": {
            "type": "object",
            "properties": {"order_id": {"type": "string"}},
            "required": ["order_id"],
        },
    },
}]

messages = [{"role": "user", "content": "Where is order A-1042?"}]
first = client.chat.completions.create(
    model="uncensored", messages=messages, tools=tools, tool_choice="auto"
)

msg = first.choices[0].message
if msg.tool_calls:
    messages.append(msg)
    for call in msg.tool_calls:
        args = json.loads(call.function.arguments)
        messages.append({
            "role": "tool",
            "tool_call_id": call.id,
            "content": get_order_status(**args),
        })
    final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
    print(final.choices[0].message.content)
else:
    print(msg.content)

在实际代码中,始终在 try 块中将 call.function.arguments 解析为 JSON,因为模型偶尔会生成与你的结构不匹配的参数。在执行任何具有副作用的操作前进行验证。对于更长的智能体循环,请参阅 使用此 API 构建智能体的指南。

函数调用也支持流式输出:参数以片段形式到达,存储在 delta.tool_calls 中,你需要按索引将它们拼接起来,直到流结束。

用于结构化输出的 JSON 模式

当你需要机器可读的输出而非自然语言时,将 response_format 设置为 JSON 对象。在提示词中描述你期望的结构,因为 JSON 模式保证生成有效的 JSON 语法,但不保证符合你的特定结构。

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "Reply only with JSON: {\"sentiment\": \"positive|negative|neutral\", \"confidence\": 0-1}"},
        {"role": "user", "content": "The setup took ten minutes and everything just worked."},
    ],
    response_format={"type": "json_object"},
    temperature=0,
)
data = json.loads(resp.choices[0].message.content)
print(data["sentiment"])

对于提取和分类任务,使用 temperature=0 以确保重复运行产生相同的标签。如果需要进一步固定采样过程,可添加 seed,并始终根据你自己的结构验证解析后的结果。

限制、重试和错误处理

完整密钥允许 8 个并发请求和每分钟 300 个请求。试用密钥允许 2 个并发和每分钟 60 个请求。超出任一限制将返回 HTTP 429。错误代码会告知你触发了哪个限制:rate_limited 表示每分钟请求数超限,concurrency 表示并发数超限。在临时过载时,你还会收到带有 Retry-After: 5 头的 429 响应。

OpenAI SDK 已经重试了一些失败,但你应自行设置策略:

import os
import time
from openai import OpenAI, RateLimitError, APIConnectionError

client = OpenAI(base_url="https://api.llmmodelsapi.com/v1", api_key=os.environ["LLM_API_KEY"], max_retries=0, timeout=120)

def ask(messages, tries=5):
    delay = 2
    for attempt in range(tries):
        try:
            return client.chat.completions.create(model="uncensored", messages=messages)
        except RateLimitError as e:
            wait = float(e.response.headers.get("Retry-After", delay))
            time.sleep(wait)
            delay = min(delay * 2, 30)
        except APIConnectionError:
            time.sleep(delay)
            delay = min(delay * 2, 30)
    raise RuntimeError("gave up after retries")

如果使用线程或 asyncio 分发工作,请使用信号量将池限制为 8(或试用密钥为 2)。这可以确保你低于并发限制,而无需依赖重试。失败或被拒绝的请求不会收费,因此重试不会为失败的尝试增加额外成本。

通过 GET /v1/balance 从代码中检查余额,或从任何响应中读取 X-Balance-USD 头。完整参数列表位于 API 文档。

运行这些示例的成本

上述示例非常小。一次包含 300 个提示词 token 和 200 个补全 token 的调用成本为 300 x $0.15 / 1M 加上 200 x $0.50 / 1M,即 $0.000045 加上 $0.0001,或 $0.000145。$1 大约可进行 6,900 次此类调用。$0.50 的试用额度可覆盖约 3,400 次调用,有效期为 7 天,无需支付详细信息。

试用结束后,充值任意整数金额,范围从 $20 到 $500,从 $50 起有 5% 的奖励,从 $100 起有 10% 的奖励,从 $200 起有 15% 的奖励。额度不会过期,也没有订阅。提示词不用于训练。

02

问答

我可以使用官方的 OpenAI Python 库吗?

可以。将 base_url 设置为 API 地址,将 api_key 设置为你的密钥,然后使用模型 uncensored 调用 chat.completions.create。

API 支持异步 Python 吗?

支持,使用 AsyncOpenAI 并传入相同的基础 URL 和密钥。完整密钥的并发任务保持在 8 或以下,试用密钥保持在 2 或以下。

我如何查看一次调用使用了多少 token?

正常调用时读取 resp.usage,或流式调用时传入包含 include_usage 参数的 stream_options。将结果乘以每 1M 输入 token $0.15 和每 1M 输出 token $0.50。

我的提示词最长可以是多长?

上下文窗口为 100,000 个 token(提示词和补全合计)。请求体限制为 8 MB。

只差一张表单,即可获得密钥

创建账户,复制密钥,更改 base URL。这就是全部设置。

获取 API 密钥