面向 Agent 的 LLM 模型 API:函数调用指南
Agent 是一个循环:模型选择工具,你的代码执行它,结果返回,模型决定下一步操作。以下是该循环的可行版本,以及你需要规划的限制和成本。

要点
- 该接口支持工具、tool_choice、流式 tool_calls 以及 role 为 tool 的消息。
- 限制你的循环,验证工具参数,并在收到 429 响应时稍作等待后重试。
- 完整密钥的并发工作线程保持在 8 或以下;流式输出会占用槽位直到结束。
- 一次包含上下文长度增长的六步智能体运行,成本约为半美分。
Agent 需要 API 提供什么
如果你在选择面向 Agent 的 LLM 模型 API,检查清单比营销宣传的要短。你需要可靠的工具调用、足够大的上下文窗口来容纳运行中的完整对话记录、可预测的速率限制,以及不会因多次调用而惩罚循环的价格。
该 API 通过标准 OpenAI 接口覆盖这些要点。它支持 tools 和 tool_choice,在普通和流式响应中均返回 tool_calls,并接受带有 role: "tool" 的消息作为工具结果。通过 response_format 可用 JSON 模式。上下文窗口为 100,000 token,涵盖提示词和补全的 token 总和,模型 ID 为 uncensored。
由于框架侧仅是 OpenAI 客户端,大多数允许你设置基础 URL 的智能体库都能工作。将它们指向 https://api.llmmodelsapi.com/v1,提供你的密钥并指定模型即可。设置详情见 文档,你可以从 密钥页面获取密钥。
有两个限制影响设计。首先,该模型仅支持文本,因此任何图片、音频或文件处理必须在你的工具中完成,并以文本形式返回。其次,该接口没有嵌入功能,如果你的 Agent 进行检索,向量搜索需要另一个来源。
保持循环稳定的系统提示词
大多数 Agent 故障源于指令模糊,而非 API。一个好的系统提示词告诉模型它的身份、有哪些工具、何时停止以及最终答案的格式。以下是一个研究助手的示例。
你是一个研究助手。你可以调用 search_notes 和 read_note 工具。仅在你需要尚未拥有的信息时调用工具。最多使用五次工具调用。当你获得足够信息时,用简短回答回复并列出使用的笔记 ID。如果笔记中不包含答案,请直说。
注意它的行为。它列出了工具、设置了调用预算、定义了停止条件,并允许模型说它不知道。最后一点很重要,因为被迫回答的 Agent 会编造内容。
为工具使用设置较低的温度。0.2 到 0.4 左右的值可保持工具名称和参数格式稳定。如果你的智能体在末尾也生成创意文本,你可以仅对最后一次调用提高温度。seed 参数会透传,这在调试时有助于复现运行。
对于成人小说和角色扮演 Agent,同样的模式有效:将人格、场景规则和工具放入系统消息。该模型经过调整,可在合法成人用途下生成内容而不拒绝。涉及未成年人的性内容仍被禁止。
Python 中的最小 Agent 循环
下面的循环只有一个工具,即字典查找,代表你的真实数据。当模型回复不带工具调用,或达到固定步数时停止。
import json
from openai import OpenAI
client = OpenAI(base_url="https://api.llmmodelsapi.com/v1", api_key="YOUR_KEY")
NOTES = {
"n1": "Invoice 114 was paid on March 3.",
"n2": "Invoice 115 is overdue by 12 days.",
}
def search_notes(query):
return [{"id": k, "text": v} for k, v in NOTES.items() if query.lower() in v.lower()]
TOOLS = [{
"type": "function",
"function": {
"name": "search_notes",
"description": "Search internal notes by keyword",
"parameters": {
"type": "object",
"properties": {"query": {"type": "string"}},
"required": ["query"],
},
},
}]
SYSTEM = "You are a research assistant. Use search_notes when needed, at most five calls. Then answer briefly."
def run(question, max_steps=6):
messages = [
{"role": "system", "content": SYSTEM},
{"role": "user", "content": question},
]
for step in range(max_steps):
resp = client.chat.completions.create(
model="uncensored",
messages=messages,
tools=TOOLS,
temperature=0.3,
max_tokens=500,
)
msg = resp.choices[0].message
messages.append(msg)
if not msg.tool_calls:
return msg.content
for call in msg.tool_calls:
try:
args = json.loads(call.function.arguments)
result = search_notes(args["query"])
except Exception as exc:
result = {"error": str(exc)}
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": json.dumps(result),
})
return "Stopped: step limit reached."
print(run("Which invoice is overdue?"))
三个细节值得关注。步骤限制可防止困惑的模型循环直到预算耗尽。try 块将格式错误的参数字符串转换为模型可读并修正的错误信息。每个工具结果都带匹配 tool_call_id 发回,模型借此知道每个答案属于哪个调用。
处理 429 响应和并发
Agent 是突发性的。规划器可能同时发出五个子任务,每个任务运行自己的循环。这就是速率限制出现的地方。
完整密钥允许 8 个并发请求和每分钟 300 个请求。试用密钥允许 2 和 60。超过限制时,API 返回 HTTP 429。错误代码告诉你触发了哪个速率限制:rate_limited 表示每分钟请求数,concurrency 表示同时请求过多。在临时过载时,你也会收到 429,并带有 Retry-After: 5 标头。
将所有这些视为可重试。等待头中指定的秒数,如果缺失则等待几秒,然后重新发送请求。失败的请求不收费,因此重试不花钱。一个小包装器即可完成此工作。
import time
from openai import OpenAI, RateLimitError
client = OpenAI(base_url="https://api.llmmodelsapi.com/v1", api_key="YOUR_KEY", max_retries=0)
def chat_with_retry(**kwargs):
for attempt in range(5):
try:
return client.chat.completions.create(model="uncensored", **kwargs)
except RateLimitError as err:
wait = 5
if err.response is not None:
wait = int(err.response.headers.get("retry-after", 5))
time.sleep(wait)
raise RuntimeError("Still rate limited after 5 attempts")
为避免出现 429,请限制你的工作池大小。8 个信号量对应完整密钥。如果将流式输出响应到用户界面,请记住流式输出会占用并发槽位,直到最后一个 token 到达,因此读取长答案的慢速客户端会一直占用一个槽位。读取 X-RateLimit-Limit-Requests 和 X-RateLimit-Limit-Concurrency 标头可以让你的代码适应所使用的密钥。
上下文、记忆与运行成本
循环的每一步都会重新发送完整对话记录。这是聊天 API 的工作方式,意味着输入 token 随每次工具调用而增长。考虑一个六步运行,提示词从 2,000 token 开始,每步增加 1,000,每步输出 300 token。
- 输入 token:2,000 + 3,000 + 4,000 + 5,000 + 6,000 + 7,000 = 27,000
- 输出 token:6 x 300 = 1,800
- 输入成本:27,000 x 0.15 / 1,000,000 = $0.00405
- 输出成本:1,800 x 0.50 / 1,000,000 = $0.0009
- 总计:每次运行 $0.00495
一千次此类运行成本为 $4.95。这足够便宜,可以让 Agent 分几步思考,但增长值得监控。在 100,000 token 的空间内,长期运行的 Agent 最终会填满窗口,这么大的提示词每步输入成本为 100,000 x 0.15 / 1,000,000 = $0.015。
三个习惯可控制它。在将大型工具结果放入对话记录前截断,例如网页的前 2,000 个字符。一旦历史超过阈值,将旧步骤总结为一条简短消息。将持久事实存储在你自己的数据库中,而不是依赖对话作为记忆。
每个响应上的 X-Balance-USD 标头显示剩余额度,因此智能体主管可以在余额低于阈值时停止运行。额度为预付,从 $20 起,且永不过期。查看 定价页面 了解充值奖励。
规划时需考虑的真实限制
基于任何模型构建的 Agent 都需要护栏,这个也不例外。准备好应对以下情况。
- 参数格式错误。 模型可能生成无效 JSON 或缺少必填字段的工具参数。防御性解析并将错误作为工具结果返回。
- 工具选择错误。 编写简短、独特的工具描述。如果两个工具听起来相似,模型会混淆它们。在流程需要特定调用时使用
tool_choice强制调用。 - 仅文本。 无图片输入或输出,无音频,无嵌入,无微调。在其他地方完成这些部分并将结果作为文本传递。
- 单一模型。 该接口背后只有一个开放权重模型,不是跨供应商的路由器。你不能为简单步骤选择较小的模型。
- 破坏性工具。 不要在没有确认步骤的情况下给 Agent 删除或支付工具。
规划型 Agent 也可从第二轮受益。循环返回答案后,你可以发起一次更便宜的调用,要求模型使用 JSON 模式根据看到的工具结果检查答案,返回判决和不支持的主张列表。这增加几百 token,捕获最常见的失败,即忽略工具返回结果的自信答案。
最后,记录每一步。存储消息、工具参数和每个响应的 X-Request-Id 头部。当运行出错时,请求 ID 可让你指向确切调用,记录的对话记录显示哪个工具结果误导了模型。当你能够重播错误运行并一次更改一件事时,Agent 最容易改进。
在承诺之前先用试用版测试 Agent。新用户可领取 $0.50 额度,上述六步运行约可覆盖 101 次完整运行(0.50 / 0.00495)。记住试用版的 2 个并发请求,一次运行一个 Agent。要更广泛地了解服务,请阅读 按 token 付费概述。提示词不用于训练。
更多指南
问答
该 API 支持面向 Agent 的工具调用吗?
是的。它接受工具和 tool_choice,返回 tool_calls(流式输出时也可用),并将结果作为 role 为 tool 的消息接收。
Agent 最多可以并发多少个请求?
完整 API 密钥允许 8 个并发请求和每分钟 300 个请求。试用密钥允许 2 个并发和每分钟 60 个请求。
Agent 收到 429 错误时该怎么办?
等待 Retry-After 指定的时间,若无则等待几秒后重试。被拒绝的请求不收费。
Agent 能处理图片或音频吗?
否。该模型仅处理文本,因此其他媒体必须由你自己的工具处理,并以文本形式传入。
只差一张表单,即可获得密钥
创建账户,复制密钥,更改基础 URL。这就是全部设置。