繁中 ▾
取得 API 金鑰

Python LLM API:聊天、串流輸出與工具呼叫

本 LLM API Python 指南使用指向 OpenAI 相容端點的官方 OpenAI SDK。程式碼包含首次呼叫、串流輸出、工具呼叫與重試邏輯,可直接貼上執行。

更新於

程式碼區塊從筆記型電腦流向聊天氣泡的圖示,說明 Python LLM API 呼叫
01

重點摘要

  • 安裝 openai、設定 base URL 與金鑰,並使用模型 ID uncensored。
  • 使用 stream=True 進行串流輸出,並提前關閉串流以釋放並行槽位。
  • 工具呼叫會回傳參數,你必須在執行任何動作前進行解析與驗證。
  • 使用 Retry-After 處理 429 錯誤,並將完整金鑰的並行請求上限設為 8。

安裝 SDK 並進行首次呼叫

如果你想要一個五分鐘內就能設定的 LLM API Python 環境,OpenAI SDK 就足夠了。該 API 與 OpenAI 相容,因此你可以保留官方用戶端,僅修改兩個值:base URL 與金鑰。模型 ID 為 uncensored。

首先取得金鑰。在 API 金鑰頁面 註冊,領取一鍵試用額度,並複製金鑰。然後安裝用戶端並將金鑰保留在原始碼之外。

pip install openai
export LLM_API_KEY="your-key-here"

現在是最小的實用程式:

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.llmmodelsapi.com/v1",
    api_key=os.environ["LLM_API_KEY"],
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a concise technical assistant."},
        {"role": "user", "content": "Explain what a context window is in two sentences."},
    ],
    temperature=0.7,
)

print(resp.choices[0].message.content)
print(resp.usage)

這就是完整的整合。resp.usage 提供提示詞與補全的 token 計數,你可以將其乘以 定價頁面 上的費率(輸入 token 每 1M 為 $0.15,輸出 token 每 1M 為 $0.50),以查看每次呼叫的成本。同一個端點也接受 POST /v1/responses(如果你的程式碼已使用該格式),以及 GET /v1/models 列出模型 ID。

請求與回應的外觀

OpenAI 用戶端隱藏了 HTTP 細節,但當出現問題時,了解這些細節會有所幫助。SDK 會以 Bearer token 向 POST /v1/chat/completions 發送請求。你可以使用 curl 重現該呼叫並進行比較。

curl https://api.llmmodelsapi.com/v1/chat/completions \
  -H "Authorization: Bearer $LLM_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "uncensored", "messages": [{"role": "user", "content": "Say hello"}]}'

可傳遞至模型的實用參數:temperature、top_p、stop、seed 以及頻率與存在懲罰。max_tokens 為選填。若未指定,完成內容可使用剩餘的 100,000-token 視窗空間(提示詞與完成內容合計)。

兩個值得在每次呼叫中記錄的回應標頭:X-Request-Id 用於支援問題,以及 X-Balance-USD 用於查看剩餘額度。透過 Python SDK,你可以透過原始回應存取這些標頭:

raw = client.chat.completions.with_raw_response.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Ping"}],
    max_tokens=20,
)
print(raw.headers.get("X-Request-Id"))
print(raw.headers.get("X-Balance-USD"))
completion = raw.parse()
print(completion.choices[0].message.content)

串流接收到達的 token

對於聊天介面或使用者正在等待的場景,請進行串流輸出。設定 stream=True 並遍歷各個區塊。API 透過伺服器發送事件(SSE)傳送這些區塊,當請求包含用量資訊時,最後一個區塊會攜帶用量資料。

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a short product description for a mechanical keyboard."}],
    stream=True,
    stream_options={"include_usage": True},
)

for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        print("\n", chunk.usage)

兩個細節常讓人困擾。首先,某些片段具有空的 choices 清單(例如用量片段),因此在索引前請先進行檢查。其次,串流請求會在其結束前佔用並行槽位。如果你開啟串流並放棄它而未關閉,該槽位將保持忙碌,導致後續呼叫可能因 concurrency 錯誤而失敗。請在 with 區塊中使用串流,或在提前停止讀取時呼叫 stream.close()。

如果串流因不明訊息而突然中斷,本站關於 如何使用 LLM 模型 的文章涵蓋了讀取錯誤與重試的基本知識。

對模型發起的工具呼叫

函式呼叫功能讓模型能夠要求你的程式碼執行函式,然後再根據結果繼續執行。流程包含三個步驟:傳送工具定義、執行模型要求的任何動作,並使用 role: "tool" 將輸出結果回傳。

import json

def get_order_status(order_id: str) -> str:
    # Replace with a real lookup
    return json.dumps({"order_id": order_id, "status": "shipped"})

tools = [{
    "type": "function",
    "function": {
        "name": "get_order_status",
        "description": "Look up the status of an order by its ID",
        "parameters": {
            "type": "object",
            "properties": {"order_id": {"type": "string"}},
            "required": ["order_id"],
        },
    },
}]

messages = [{"role": "user", "content": "Where is order A-1042?"}]
first = client.chat.completions.create(
    model="uncensored", messages=messages, tools=tools, tool_choice="auto"
)

msg = first.choices[0].message
if msg.tool_calls:
    messages.append(msg)
    for call in msg.tool_calls:
        args = json.loads(call.function.arguments)
        messages.append({
            "role": "tool",
            "tool_call_id": call.id,
            "content": get_order_status(**args),
        })
    final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
    print(final.choices[0].message.content)
else:
    print(msg.content)

在實際程式碼中,應在 try 區塊內將 call.function.arguments 解析為 JSON,因為模型偶爾會產生與你的結構描述不符的參數。在執行任何具有副作用的動作前請先進行驗證。對於較長的 Agent 循環,請參閱 使用此 API 開發 Agent 指南。

工具呼叫也支援串流:參數會以片段形式出現在 delta.tool_calls 中,你需要根據索引將它們串接起來,直到串流結束為止。

用於結構化輸出的 JSON 模式

當你需要機器可讀的輸出而非自然語言時,請將 response_format 設定為 JSON 物件。在提示詞中描述你期望的結構,因為 JSON 模式僅保證產生有效的 JSON 語法,但不保證符合你的特定結構描述。

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "Reply only with JSON: {\"sentiment\": \"positive|negative|neutral\", \"confidence\": 0-1}"},
        {"role": "user", "content": "The setup took ten minutes and everything just worked."},
    ],
    response_format={"type": "json_object"},
    temperature=0,
)
data = json.loads(resp.choices[0].message.content)
print(data["sentiment"])

對於提取與分類任務,請使用 temperature=0,以確保重複執行時產生相同的標籤。若希望進一步控制採樣結果,可加入 seed,並仍將解析後的結果與你自己的結構描述進行驗證。

限制、重試與錯誤處理

完整金鑰允許 8 個並行請求和每分鐘 300 個請求。試用金鑰允許 2 個並行請求和每分鐘 60 個請求。超過任一限制都會回傳 HTTP 429。錯誤程式碼會告訴你觸及的是哪種限制:rate_limited 表示每分鐘請求數超限,concurrency 表示同時請求過多。在暫時過載時,你也會收到帶有 Retry-After: 5 標頭的 429 錯誤。

OpenAI SDK 已經重試部分失敗,但你應自行設定策略:

import os
import time
from openai import OpenAI, RateLimitError, APIConnectionError

client = OpenAI(base_url="https://api.llmmodelsapi.com/v1", api_key=os.environ["LLM_API_KEY"], max_retries=0, timeout=120)

def ask(messages, tries=5):
    delay = 2
    for attempt in range(tries):
        try:
            return client.chat.completions.create(model="uncensored", messages=messages)
        except RateLimitError as e:
            wait = float(e.response.headers.get("Retry-After", delay))
            time.sleep(wait)
            delay = min(delay * 2, 30)
        except APIConnectionError:
            time.sleep(delay)
            delay = min(delay * 2, 30)
    raise RuntimeError("gave up after retries")

如果你使用執行緒或 asyncio 分散工作,請使用訊號量將池限制為 8(或試用金鑰的 2)。這能讓你保持在並行限制內,而不依賴重試。失敗或被拒絕的請求不會計費,因此重試不會為失敗的嘗試產生額外費用。

透過程式碼使用 GET /v1/balance 檢查餘額,或從任何回應中讀取 X-Balance-USD。完整參數列表位於 API 文件。

執行這些範例的成本

上述範例非常小。一次包含 300 個提示詞 token 與 200 個補全 token 的呼叫,成本為 300 x $0.15 / 1M 加上 200 x $0.50 / 1M,即 $0.000045 加上 $0.0001,總計 $0.000145。$1 大約可進行 6,900 次此類呼叫。$0.50 的試用額度可涵蓋約 3,400 次呼叫,有效期為 7 天,無需付款資訊。

試用期結束後,可儲值 $20 至 $500 之間的整數金額,從 $50 起享有 5% 的額外贈送,從 $100 起享有 10%,從 $200 起享有 15%。額度不會過期,也沒有訂閱制。提示詞不會用於訓練。

02

問答

可以使用官方的 OpenAI Python 程式庫嗎?

可以。將 base_url 設為 API 位址,api_key 設為你的金鑰,然後以模型 uncensored 呼叫 chat.completions.create。

API 支援非同步 Python 嗎?

可以,請使用 AsyncOpenAI 並使用相同的 base URL 和金鑰。完整金鑰的並行任務請維持在 8 或以下,試用金鑰則維持在 2 或以下。

我如何查看一次呼叫使用了多少 token?

一般請求請讀取 resp.usage,串流請求請傳入包含 include_usage 的 stream_options。輸入 token 每 1M 乘以 $0.15,輸出 token 每 1M 乘以 $0.50。

我的提示詞可以有多長?

上下文視窗為 100,000 個 token(提示詞與補全合計)。請求主體限制為 8 MB。

只差一張表單,即可取得金鑰

建立帳號、複製金鑰、更改基礎 URL。這就是整個設定過程。

取得 API 金鑰