PythonでのLLM API:チャット、ストリーミング、ツール呼び出し
このLLM API Pythonガイドは、OpenAI互換のエンドポイントを指す公式OpenAI SDKを使用します。コピペして実行できるコードで、初回呼び出し、ストリーミング、ツール呼び出し、リトライロジックを確認できます。

主要ポイント
- openaiをインストールし、ベース URLとキーを設定して、モデルID uncensoredを使用します。
- stream=Trueでストリーミングし、ストリームを早期に終了して同時実行数の枠を解放します。
- ツール呼び出しは、何かを実行する前に解析と検証が必要な引数を返します。
- 429をRetry-Afterで処理し、フルキーでの同時リクエストを8に制限します。
SDKをインストールして最初の呼び出しを行う
5分で動作するLLM API Pythonのセットアップが必要な場合、OpenAI SDKがあれば十分です。APIはOpenAI互換なので、公式クライアントを維持し、base URLとキーの2つの値を変更するだけです。モデルIDはuncensoredです。
まずキーを取得します。APIキーページでサインアップし、ワンクリックの無料トライアルクレジットを取得してキーをコピーします。次にクライアントをインストールし、キーをソースコードから分離してください。
pip install openai
export LLM_API_KEY="your-key-here"
次に、最小限の有用なプログラムです:
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.llmmodelsapi.com/v1",
api_key=os.environ["LLM_API_KEY"],
)
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You are a concise technical assistant."},
{"role": "user", "content": "Explain what a context window is in two sentences."},
],
temperature=0.7,
)
print(resp.choices[0].message.content)
print(resp.usage)
これが統合の全体です。resp.usageはプロンプトとcompletionのトークン数を返し、これに価格ページのレート(1M入力トークンあたり$0.15、1M出力トークンあたり$0.50)を乗算することで、各呼び出しのコストを確認できます。同じエンドポイントは、すでにその形式を使用している場合にPOST /v1/responsesを受け入れ、GET /v1/modelsはモデルIDをリストします。
リクエストとレスポンスの形式
OpenAIクライアントはHTTPの詳細を隠しますが、エラー時に役立ちます。SDKはBearerトークン付きでPOSTを/v1/chat/completionsに送信します。curlで再現・比較可能です。
curl https://api.llmmodelsapi.com/v1/chat/completions \
-H "Authorization: Bearer $LLM_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model": "uncensored", "messages": [{"role": "user", "content": "Say hello"}]}'
モデルに渡される有用なパラメータ:temperature、top_p、stop、seed、および頻度ペナルティと存在ペナルティ。max_tokensはオプションです。これを省略すると、completionは100,000トークンのウィンドウ(プロンプトとcompletionの合計)の残りをすべて使用できます。
すべての呼び出しでログに記録する価値のある2つのレスポンスヘッダーがあります:サポート質問用のX-Request-Idと、残りのクレジット用のX-Balance-USDです。Python SDKでは、生レスポンスを通じてこれらにアクセスできます:
raw = client.chat.completions.with_raw_response.create(
model="uncensored",
messages=[{"role": "user", "content": "Ping"}],
max_tokens=20,
)
print(raw.headers.get("X-Request-Id"))
print(raw.headers.get("X-Balance-USD"))
completion = raw.parse()
print(completion.choices[0].message.content)到着するトークンのストリーミング
チャットインターフェースや人が待機しているものには、ストリーミングで回答します。stream=Trueを設定し、チャンクをイテレートします。APIはサーバー送信イベントでこれらを送信し、リクエストした場合、最後のチャンクには使用状況が含まれます。
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write a short product description for a mechanical keyboard."}],
stream=True,
stream_options={"include_usage": True},
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if chunk.usage:
print("\n", chunk.usage)
2つの詳細が人々を混乱させます。第一に、一部のチャンクには空のchoicesリストがあります(使用状況チャンクなど)。インデックスアクセス前にガードしてください。第二に、ストリーミングリクエストはストリームが終了するまで同時実行数の枠を保持します。ストリームを開いて閉じずに放棄すると、その枠は使用中のままになり、後続の呼び出しがconcurrencyエラーで失敗する可能性があります。withブロック内でストリームを使用するか、早期に読み取りを終了する場合はstream.close()を呼び出してください。
ストリームが不明なメッセージで切断された場合、このサイトのLLMモデルの使用方法に関する記事で、エラーの読み取りとリトライの基本をカバーしています。
モデルへのツール呼び出し
ツール呼び出しにより、モデルはコードに関数を実行させ、その結果に基づいて続行できます。フローには3つのステップがあります:ツール定義を送信し、モデルがリクエストしたものを実行し、role: "tool"で出力を戻します。
import json
def get_order_status(order_id: str) -> str:
# Replace with a real lookup
return json.dumps({"order_id": order_id, "status": "shipped"})
tools = [{
"type": "function",
"function": {
"name": "get_order_status",
"description": "Look up the status of an order by its ID",
"parameters": {
"type": "object",
"properties": {"order_id": {"type": "string"}},
"required": ["order_id"],
},
},
}]
messages = [{"role": "user", "content": "Where is order A-1042?"}]
first = client.chat.completions.create(
model="uncensored", messages=messages, tools=tools, tool_choice="auto"
)
msg = first.choices[0].message
if msg.tool_calls:
messages.append(msg)
for call in msg.tool_calls:
args = json.loads(call.function.arguments)
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": get_order_status(**args),
})
final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
print(final.choices[0].message.content)
else:
print(msg.content)
実際のコードでは、モデルがスキーマに一致しない引数を生成することがあるため、call.function.argumentsをtryブロック内でJSONとして解析してください。副作用のある何かを実行する前に検証してください。より長いエージェントループについては、エージェント向けAPIガイドを参照してください。
ツール呼び出しもストリーミングされます:引数はdelta.tool_callsで断片として到着し、ストリームが終了するまでインデックスごとに連結します。
構造化出力のためのJSON モード
文章よりも機械可読な出力が必要な場合は、response_formatをJSONオブジェクトに設定します。JSONモードは有効なJSON構文を保証しますが、特定のスキーマを保証するわけではないため、プロンプトで必要な形状を記述してください。
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "Reply only with JSON: {\"sentiment\": \"positive|negative|neutral\", \"confidence\": 0-1}"},
{"role": "user", "content": "The setup took ten minutes and everything just worked."},
],
response_format={"type": "json_object"},
temperature=0,
)
data = json.loads(resp.choices[0].message.content)
print(data["sentiment"])
抽出や分類にはtemperature=0を使用して、繰り返し実行で同じラベルが得られるようにします。サンプリングをさらに固定したい場合はseedを追加し、解析された結果を独自のスキーマで検証してください。
制限、リトライ、エラー処理
フルキーは8つの同時リクエストと1分あたり300リクエストを許可します。トライアルキーは2つの同時と1分あたり60を許可します。いずれかを超過するとHTTP 429が返されます。エラーコードは到達した制限を示します:1分あたりのリクエストはrate_limited、一度に多すぎる場合はconcurrencyです。一時的な過負荷時には、Retry-After: 5ヘッダー付きの429も返されます。
OpenAI SDKは一部の失敗をすでにリトライしますが、ポリシーを自分で設定する必要があります:
import os
import time
from openai import OpenAI, RateLimitError, APIConnectionError
client = OpenAI(base_url="https://api.llmmodelsapi.com/v1", api_key=os.environ["LLM_API_KEY"], max_retries=0, timeout=120)
def ask(messages, tries=5):
delay = 2
for attempt in range(tries):
try:
return client.chat.completions.create(model="uncensored", messages=messages)
except RateLimitError as e:
wait = float(e.response.headers.get("Retry-After", delay))
time.sleep(wait)
delay = min(delay * 2, 30)
except APIConnectionError:
time.sleep(delay)
delay = min(delay * 2, 30)
raise RuntimeError("gave up after retries")
スレッドやasyncioで作業を並列化する場合、セマフォでプールを8(またはトライアルキーでは2)に制限します。これにより、リトライに依存せずに同時実行数の制限内に収まります。失敗または拒否されたリクエストは課金されないため、リトライしても失敗した試行には追加コストがかかりません。
GET /v1/balanceでコードから残高を確認するか、任意のレスポンスからX-Balance-USDを読み取ります。完全なパラメータリストはAPIドキュメントにあります。
これらの例の実行コスト
上記の例は非常に小さく、300プロンプトトークンと200 completionトークンの呼び出しは、300 x $0.15 / 1Mと200 x $0.50 / 1Mの合計で、$0.000045と$0.0001、つまり$0.000145かかります。$1あたり約6,900回のこのような呼び出しが可能です。$0.50のトライアルクレジットは約3,400回をカバーし、7日間有効で、支払い情報の登録は不要です。
トライアル終了後、$20から$500までの任意の整数額をチャージでき、$50からは5%、$100からは10%、$200からは15%のボーナスが付与されます。クレジットは期限切れにならず、サブスクリプションもありません。プロンプトはトレーニングに使用されません。
その他のガイド
質問と回答
公式のOpenAI Pythonライブラリを使用できますか?
はい。base_urlをAPIアドレスに、api_keyをキーに設定し、model uncensoredでchat.completions.createを呼び出します。
APIは非同期Pythonをサポートしていますか?
はい。同じbase URLとキーでAsyncOpenAIを使用します。フルキーでは同時実行数を8以下、トライアルキーでは2以下に保ってください。
呼び出しで何トークン使用したかを確認するにはどうすればよいですか?
通常のリクエストではresp.usageを読み取り、ストリーミング時はinclude_usage付きのstream_optionsを渡します。1M入力トークンあたり$0.15、1M出力トークンあたり$0.50で計算します。
プロンプトの長さはどのくらいまで可能ですか?
コンテキストウィンドウは100,000トークンで、プロンプトとcompletionを合計した値です。リクエストボディは8 MBに制限されます。
キーはフォーム 1 つで手に入ります
アカウントを作成し、キーをコピーし、ベースURLを変更します。これでセットアップは完了です。