JA ▾
API キーを取得

PythonでのLLM API:チャット、ストリーミング、ツール呼び出し

このLLM API Pythonガイドは、OpenAI互換のエンドポイントを指す公式OpenAI SDKを使用します。コピペして実行できるコードで、初回呼び出し、ストリーミング、ツール呼び出し、リトライロジックを確認できます。

更新日:

ラップトップからチャットバブルに流れるコードブロックのイラスト、Python LLM API呼び出しを示す
01

主要ポイント

  • openaiをインストールし、ベース URLとキーを設定して、モデルID uncensoredを使用します。
  • stream=Trueでストリーミングし、ストリームを早期に終了して同時実行数の枠を解放します。
  • ツール呼び出しは、何かを実行する前に解析と検証が必要な引数を返します。
  • 429をRetry-Afterで処理し、フルキーでの同時リクエストを8に制限します。

SDKをインストールして最初の呼び出しを行う

5分で動作するLLM API Pythonのセットアップが必要な場合、OpenAI SDKがあれば十分です。APIはOpenAI互換なので、公式クライアントを維持し、base URLとキーの2つの値を変更するだけです。モデルIDはuncensoredです。

まずキーを取得します。APIキーページでサインアップし、ワンクリックの無料トライアルクレジットを取得してキーをコピーします。次にクライアントをインストールし、キーをソースコードから分離してください。

pip install openai
export LLM_API_KEY="your-key-here"

次に、最小限の有用なプログラムです:

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.llmmodelsapi.com/v1",
    api_key=os.environ["LLM_API_KEY"],
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a concise technical assistant."},
        {"role": "user", "content": "Explain what a context window is in two sentences."},
    ],
    temperature=0.7,
)

print(resp.choices[0].message.content)
print(resp.usage)

これが統合の全体です。resp.usageはプロンプトとcompletionのトークン数を返し、これに価格ページのレート(1M入力トークンあたり$0.15、1M出力トークンあたり$0.50)を乗算することで、各呼び出しのコストを確認できます。同じエンドポイントは、すでにその形式を使用している場合にPOST /v1/responsesを受け入れ、GET /v1/modelsはモデルIDをリストします。

リクエストとレスポンスの形式

OpenAIクライアントはHTTPの詳細を隠しますが、エラー時に役立ちます。SDKはBearerトークン付きでPOSTを/v1/chat/completionsに送信します。curlで再現・比較可能です。

curl https://api.llmmodelsapi.com/v1/chat/completions \
  -H "Authorization: Bearer $LLM_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "uncensored", "messages": [{"role": "user", "content": "Say hello"}]}'

モデルに渡される有用なパラメータ:temperature、top_p、stop、seed、および頻度ペナルティと存在ペナルティ。max_tokensはオプションです。これを省略すると、completionは100,000トークンのウィンドウ(プロンプトとcompletionの合計)の残りをすべて使用できます。

すべての呼び出しでログに記録する価値のある2つのレスポンスヘッダーがあります:サポート質問用のX-Request-Idと、残りのクレジット用のX-Balance-USDです。Python SDKでは、生レスポンスを通じてこれらにアクセスできます:

raw = client.chat.completions.with_raw_response.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Ping"}],
    max_tokens=20,
)
print(raw.headers.get("X-Request-Id"))
print(raw.headers.get("X-Balance-USD"))
completion = raw.parse()
print(completion.choices[0].message.content)

到着するトークンのストリーミング

チャットインターフェースや人が待機しているものには、ストリーミングで回答します。stream=Trueを設定し、チャンクをイテレートします。APIはサーバー送信イベントでこれらを送信し、リクエストした場合、最後のチャンクには使用状況が含まれます。

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a short product description for a mechanical keyboard."}],
    stream=True,
    stream_options={"include_usage": True},
)

for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        print("\n", chunk.usage)

2つの詳細が人々を混乱させます。第一に、一部のチャンクには空のchoicesリストがあります(使用状況チャンクなど)。インデックスアクセス前にガードしてください。第二に、ストリーミングリクエストはストリームが終了するまで同時実行数の枠を保持します。ストリームを開いて閉じずに放棄すると、その枠は使用中のままになり、後続の呼び出しがconcurrencyエラーで失敗する可能性があります。withブロック内でストリームを使用するか、早期に読み取りを終了する場合はstream.close()を呼び出してください。

ストリームが不明なメッセージで切断された場合、このサイトのLLMモデルの使用方法に関する記事で、エラーの読み取りとリトライの基本をカバーしています。

モデルへのツール呼び出し

ツール呼び出しにより、モデルはコードに関数を実行させ、その結果に基づいて続行できます。フローには3つのステップがあります:ツール定義を送信し、モデルがリクエストしたものを実行し、role: "tool"で出力を戻します。

import json

def get_order_status(order_id: str) -> str:
    # Replace with a real lookup
    return json.dumps({"order_id": order_id, "status": "shipped"})

tools = [{
    "type": "function",
    "function": {
        "name": "get_order_status",
        "description": "Look up the status of an order by its ID",
        "parameters": {
            "type": "object",
            "properties": {"order_id": {"type": "string"}},
            "required": ["order_id"],
        },
    },
}]

messages = [{"role": "user", "content": "Where is order A-1042?"}]
first = client.chat.completions.create(
    model="uncensored", messages=messages, tools=tools, tool_choice="auto"
)

msg = first.choices[0].message
if msg.tool_calls:
    messages.append(msg)
    for call in msg.tool_calls:
        args = json.loads(call.function.arguments)
        messages.append({
            "role": "tool",
            "tool_call_id": call.id,
            "content": get_order_status(**args),
        })
    final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
    print(final.choices[0].message.content)
else:
    print(msg.content)

実際のコードでは、モデルがスキーマに一致しない引数を生成することがあるため、call.function.argumentsをtryブロック内でJSONとして解析してください。副作用のある何かを実行する前に検証してください。より長いエージェントループについては、エージェント向けAPIガイドを参照してください。

ツール呼び出しもストリーミングされます:引数はdelta.tool_callsで断片として到着し、ストリームが終了するまでインデックスごとに連結します。

構造化出力のためのJSON モード

文章よりも機械可読な出力が必要な場合は、response_formatをJSONオブジェクトに設定します。JSONモードは有効なJSON構文を保証しますが、特定のスキーマを保証するわけではないため、プロンプトで必要な形状を記述してください。

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "Reply only with JSON: {\"sentiment\": \"positive|negative|neutral\", \"confidence\": 0-1}"},
        {"role": "user", "content": "The setup took ten minutes and everything just worked."},
    ],
    response_format={"type": "json_object"},
    temperature=0,
)
data = json.loads(resp.choices[0].message.content)
print(data["sentiment"])

抽出や分類にはtemperature=0を使用して、繰り返し実行で同じラベルが得られるようにします。サンプリングをさらに固定したい場合はseedを追加し、解析された結果を独自のスキーマで検証してください。

制限、リトライ、エラー処理

フルキーは8つの同時リクエストと1分あたり300リクエストを許可します。トライアルキーは2つの同時と1分あたり60を許可します。いずれかを超過するとHTTP 429が返されます。エラーコードは到達した制限を示します:1分あたりのリクエストはrate_limited、一度に多すぎる場合はconcurrencyです。一時的な過負荷時には、Retry-After: 5ヘッダー付きの429も返されます。

OpenAI SDKは一部の失敗をすでにリトライしますが、ポリシーを自分で設定する必要があります:

import os
import time
from openai import OpenAI, RateLimitError, APIConnectionError

client = OpenAI(base_url="https://api.llmmodelsapi.com/v1", api_key=os.environ["LLM_API_KEY"], max_retries=0, timeout=120)

def ask(messages, tries=5):
    delay = 2
    for attempt in range(tries):
        try:
            return client.chat.completions.create(model="uncensored", messages=messages)
        except RateLimitError as e:
            wait = float(e.response.headers.get("Retry-After", delay))
            time.sleep(wait)
            delay = min(delay * 2, 30)
        except APIConnectionError:
            time.sleep(delay)
            delay = min(delay * 2, 30)
    raise RuntimeError("gave up after retries")

スレッドやasyncioで作業を並列化する場合、セマフォでプールを8(またはトライアルキーでは2)に制限します。これにより、リトライに依存せずに同時実行数の制限内に収まります。失敗または拒否されたリクエストは課金されないため、リトライしても失敗した試行には追加コストがかかりません。

GET /v1/balanceでコードから残高を確認するか、任意のレスポンスからX-Balance-USDを読み取ります。完全なパラメータリストはAPIドキュメントにあります。

これらの例の実行コスト

上記の例は非常に小さく、300プロンプトトークンと200 completionトークンの呼び出しは、300 x $0.15 / 1Mと200 x $0.50 / 1Mの合計で、$0.000045と$0.0001、つまり$0.000145かかります。$1あたり約6,900回のこのような呼び出しが可能です。$0.50のトライアルクレジットは約3,400回をカバーし、7日間有効で、支払い情報の登録は不要です。

トライアル終了後、$20から$500までの任意の整数額をチャージでき、$50からは5%、$100からは10%、$200からは15%のボーナスが付与されます。クレジットは期限切れにならず、サブスクリプションもありません。プロンプトはトレーニングに使用されません。

02

質問と回答

公式のOpenAI Pythonライブラリを使用できますか?

はい。base_urlをAPIアドレスに、api_keyをキーに設定し、model uncensoredでchat.completions.createを呼び出します。

APIは非同期Pythonをサポートしていますか?

はい。同じbase URLとキーでAsyncOpenAIを使用します。フルキーでは同時実行数を8以下、トライアルキーでは2以下に保ってください。

呼び出しで何トークン使用したかを確認するにはどうすればよいですか?

通常のリクエストではresp.usageを読み取り、ストリーミング時はinclude_usage付きのstream_optionsを渡します。1M入力トークンあたり$0.15、1M出力トークンあたり$0.50で計算します。

プロンプトの長さはどのくらいまで可能ですか?

コンテキストウィンドウは100,000トークンで、プロンプトとcompletionを合計した値です。リクエストボディは8 MBに制限されます。

キーはフォーム 1 つで手に入ります

アカウントを作成し、キーをコピーし、ベースURLを変更します。これでセットアップは完了です。

API キーを取得