Python LLM API:聊天、串流輸出與工具呼叫
本 LLM API Python 指南使用指向 OpenAI 相容端點的官方 OpenAI SDK。程式碼包含首次呼叫、串流輸出、工具呼叫與重試邏輯,可直接貼上執行。

重點摘要
- 安裝 openai、設定 base URL 與金鑰,並使用模型 ID uncensored。
- 使用 stream=True 進行串流輸出,並提前關閉串流以釋放並行槽位。
- 工具呼叫會回傳參數,你必須在執行任何動作前進行解析與驗證。
- 使用 Retry-After 處理 429 錯誤,並將完整金鑰的並行請求上限設為 8。
安裝 SDK 並進行首次呼叫
如果你想要一個五分鐘內就能設定的 LLM API Python 環境,OpenAI SDK 就足夠了。該 API 與 OpenAI 相容,因此你可以保留官方用戶端,僅修改兩個值:base URL 與金鑰。模型 ID 為 uncensored。
首先取得金鑰。在 API 金鑰頁面 註冊,領取一鍵試用額度,並複製金鑰。然後安裝用戶端並將金鑰保留在原始碼之外。
pip install openai
export LLM_API_KEY="your-key-here"
現在是最小的實用程式:
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.llmmodelsapi.com/v1",
api_key=os.environ["LLM_API_KEY"],
)
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You are a concise technical assistant."},
{"role": "user", "content": "Explain what a context window is in two sentences."},
],
temperature=0.7,
)
print(resp.choices[0].message.content)
print(resp.usage)
這就是完整的整合。resp.usage 提供提示詞與補全的 token 計數,你可以將其乘以 定價頁面 上的費率(輸入 token 每 1M 為 $0.15,輸出 token 每 1M 為 $0.50),以查看每次呼叫的成本。同一個端點也接受 POST /v1/responses(如果你的程式碼已使用該格式),以及 GET /v1/models 列出模型 ID。
請求與回應的外觀
OpenAI 用戶端隱藏了 HTTP 細節,但當出現問題時,了解這些細節會有所幫助。SDK 會以 Bearer token 向 POST /v1/chat/completions 發送請求。你可以使用 curl 重現該呼叫並進行比較。
curl https://api.llmmodelsapi.com/v1/chat/completions \
-H "Authorization: Bearer $LLM_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model": "uncensored", "messages": [{"role": "user", "content": "Say hello"}]}'
可傳遞至模型的實用參數:temperature、top_p、stop、seed 以及頻率與存在懲罰。max_tokens 為選填。若未指定,完成內容可使用剩餘的 100,000-token 視窗空間(提示詞與完成內容合計)。
兩個值得在每次呼叫中記錄的回應標頭:X-Request-Id 用於支援問題,以及 X-Balance-USD 用於查看剩餘額度。透過 Python SDK,你可以透過原始回應存取這些標頭:
raw = client.chat.completions.with_raw_response.create(
model="uncensored",
messages=[{"role": "user", "content": "Ping"}],
max_tokens=20,
)
print(raw.headers.get("X-Request-Id"))
print(raw.headers.get("X-Balance-USD"))
completion = raw.parse()
print(completion.choices[0].message.content)串流接收到達的 token
對於聊天介面或使用者正在等待的場景,請進行串流輸出。設定 stream=True 並遍歷各個區塊。API 透過伺服器發送事件(SSE)傳送這些區塊,當請求包含用量資訊時,最後一個區塊會攜帶用量資料。
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write a short product description for a mechanical keyboard."}],
stream=True,
stream_options={"include_usage": True},
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if chunk.usage:
print("\n", chunk.usage)
兩個細節常讓人困擾。首先,某些片段具有空的 choices 清單(例如用量片段),因此在索引前請先進行檢查。其次,串流請求會在其結束前佔用並行槽位。如果你開啟串流並放棄它而未關閉,該槽位將保持忙碌,導致後續呼叫可能因 concurrency 錯誤而失敗。請在 with 區塊中使用串流,或在提前停止讀取時呼叫 stream.close()。
如果串流因不明訊息而突然中斷,本站關於 如何使用 LLM 模型 的文章涵蓋了讀取錯誤與重試的基本知識。
對模型發起的工具呼叫
函式呼叫功能讓模型能夠要求你的程式碼執行函式,然後再根據結果繼續執行。流程包含三個步驟:傳送工具定義、執行模型要求的任何動作,並使用 role: "tool" 將輸出結果回傳。
import json
def get_order_status(order_id: str) -> str:
# Replace with a real lookup
return json.dumps({"order_id": order_id, "status": "shipped"})
tools = [{
"type": "function",
"function": {
"name": "get_order_status",
"description": "Look up the status of an order by its ID",
"parameters": {
"type": "object",
"properties": {"order_id": {"type": "string"}},
"required": ["order_id"],
},
},
}]
messages = [{"role": "user", "content": "Where is order A-1042?"}]
first = client.chat.completions.create(
model="uncensored", messages=messages, tools=tools, tool_choice="auto"
)
msg = first.choices[0].message
if msg.tool_calls:
messages.append(msg)
for call in msg.tool_calls:
args = json.loads(call.function.arguments)
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": get_order_status(**args),
})
final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
print(final.choices[0].message.content)
else:
print(msg.content)
在實際程式碼中,應在 try 區塊內將 call.function.arguments 解析為 JSON,因為模型偶爾會產生與你的結構描述不符的參數。在執行任何具有副作用的動作前請先進行驗證。對於較長的 Agent 循環,請參閱 使用此 API 開發 Agent 指南。
工具呼叫也支援串流:參數會以片段形式出現在 delta.tool_calls 中,你需要根據索引將它們串接起來,直到串流結束為止。
用於結構化輸出的 JSON 模式
當你需要機器可讀的輸出而非自然語言時,請將 response_format 設定為 JSON 物件。在提示詞中描述你期望的結構,因為 JSON 模式僅保證產生有效的 JSON 語法,但不保證符合你的特定結構描述。
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "Reply only with JSON: {\"sentiment\": \"positive|negative|neutral\", \"confidence\": 0-1}"},
{"role": "user", "content": "The setup took ten minutes and everything just worked."},
],
response_format={"type": "json_object"},
temperature=0,
)
data = json.loads(resp.choices[0].message.content)
print(data["sentiment"])
對於提取與分類任務,請使用 temperature=0,以確保重複執行時產生相同的標籤。若希望進一步控制採樣結果,可加入 seed,並仍將解析後的結果與你自己的結構描述進行驗證。
限制、重試與錯誤處理
完整金鑰允許 8 個並行請求和每分鐘 300 個請求。試用金鑰允許 2 個並行請求和每分鐘 60 個請求。超過任一限制都會回傳 HTTP 429。錯誤程式碼會告訴你觸及的是哪種限制:rate_limited 表示每分鐘請求數超限,concurrency 表示同時請求過多。在暫時過載時,你也會收到帶有 Retry-After: 5 標頭的 429 錯誤。
OpenAI SDK 已經重試部分失敗,但你應自行設定策略:
import os
import time
from openai import OpenAI, RateLimitError, APIConnectionError
client = OpenAI(base_url="https://api.llmmodelsapi.com/v1", api_key=os.environ["LLM_API_KEY"], max_retries=0, timeout=120)
def ask(messages, tries=5):
delay = 2
for attempt in range(tries):
try:
return client.chat.completions.create(model="uncensored", messages=messages)
except RateLimitError as e:
wait = float(e.response.headers.get("Retry-After", delay))
time.sleep(wait)
delay = min(delay * 2, 30)
except APIConnectionError:
time.sleep(delay)
delay = min(delay * 2, 30)
raise RuntimeError("gave up after retries")
如果你使用執行緒或 asyncio 分散工作,請使用訊號量將池限制為 8(或試用金鑰的 2)。這能讓你保持在並行限制內,而不依賴重試。失敗或被拒絕的請求不會計費,因此重試不會為失敗的嘗試產生額外費用。
透過程式碼使用 GET /v1/balance 檢查餘額,或從任何回應中讀取 X-Balance-USD。完整參數列表位於 API 文件。
執行這些範例的成本
上述範例非常小。一次包含 300 個提示詞 token 與 200 個補全 token 的呼叫,成本為 300 x $0.15 / 1M 加上 200 x $0.50 / 1M,即 $0.000045 加上 $0.0001,總計 $0.000145。$1 大約可進行 6,900 次此類呼叫。$0.50 的試用額度可涵蓋約 3,400 次呼叫,有效期為 7 天,無需付款資訊。
試用期結束後,可儲值 $20 至 $500 之間的整數金額,從 $50 起享有 5% 的額外贈送,從 $100 起享有 10%,從 $200 起享有 15%。額度不會過期,也沒有訂閱制。提示詞不會用於訓練。
更多指南
問答
可以使用官方的 OpenAI Python 程式庫嗎?
可以。將 base_url 設為 API 位址,api_key 設為你的金鑰,然後以模型 uncensored 呼叫 chat.completions.create。
API 支援非同步 Python 嗎?
可以,請使用 AsyncOpenAI 並使用相同的 base URL 和金鑰。完整金鑰的並行任務請維持在 8 或以下,試用金鑰則維持在 2 或以下。
我如何查看一次呼叫使用了多少 token?
一般請求請讀取 resp.usage,串流請求請傳入包含 include_usage 的 stream_options。輸入 token 每 1M 乘以 $0.15,輸出 token 每 1M 乘以 $0.50。
我的提示詞可以有多長?
上下文視窗為 100,000 個 token(提示詞與補全合計)。請求主體限制為 8 MB。
只差一張表單,即可取得金鑰
建立帳號、複製金鑰、更改基礎 URL。這就是整個設定過程。