RU ▾
Получить API-ключ

LLM API в Python: чат, потоковая передача и вызовы инструментов

Это руководство по LLM API в Python использует официальный OpenAI SDK, настроенный на OpenAI-совместимый эндпоинт. Вы получите код для первого вызова, потоковой передачи, вызова инструмента и логики повторов, который можно скопировать и запустить.

Обновлено

Лента блоков кода, вытекающая из ноутбука в чат-пузыри, иллюстрирующая вызов LLM API в Python
01

Ключевые моменты

  • Установите openai, задайте базовый URL и ключ, а затем используйте ID модели uncensored.
  • Используйте потоковую передачу с stream=True и закрывайте поток досрочно, чтобы освободить слот параллельных запросов.
  • Вызовы инструментов возвращают аргументы, которые необходимо распарсить и проверить перед выполнением любых действий.
  • Обрабатывайте 429 с помощью Retry-After и ограничивайте параллельные запросы до 8 для полного ключа.

Установка SDK и первый вызов

Если вам нужна настройка API языковой модели в Python, которая работает за пять минут, вам нужен только OpenAI SDK. API совместим с OpenAI, поэтому вы сохраняете официальный клиент и меняете два значения: базовый URL и ключ. Идентификатор модели — uncensored.

Сначала получите ключ. Зарегистрируйтесь на странице API-ключ, активируйте пробный баланс в один клик и скопируйте ключ. Затем установите клиент и храните ключ вне исходного кода.

pip install openai
export LLM_API_KEY="your-key-here"

Теперь минимальная полезная программа:

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.llmmodelsapi.com/v1",
    api_key=os.environ["LLM_API_KEY"],
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a concise technical assistant."},
        {"role": "user", "content": "Explain what a context window is in two sentences."},
    ],
    temperature=0.7,
)

print(resp.choices[0].message.content)
print(resp.usage)

Это вся интеграция. resp.usage возвращает количество токенов в промпте и сгенерированном тексте, которые можно умножить на тарифы со страницы тарифов ($0,15 за 1 млн входных токенов, $0,50 за 1 млн выходных токенов), чтобы узнать стоимость каждого вызова. Тот же эндпоинт принимает запрос POST /v1/responses, если ваш код уже использует этот формат, а запрос GET /v1/models выводит ID модели.

Как выглядят запрос и ответ

Клиент OpenAI скрывает детали HTTP, но полезно знать их, когда что-то идёт не так. SDK отправляет запрос POST на эндпоинт /v1/chat/completions с токеном Bearer. Вы можете воспроизвести вызов с помощью curl и сравнить результаты.

curl https://api.llmmodelsapi.com/v1/chat/completions \
  -H "Authorization: Bearer $LLM_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "uncensored", "messages": [{"role": "user", "content": "Say hello"}]}'

Полезные параметры, которые передаются модели: temperature, top_p, stop, seed, а также штрафы за частоту и присутствие. max_tokens — необязательный параметр. Если его не указать, сгенерированный текст может занять всё оставшееся пространство в окне на 100 000 токенов (промпт и сгенерированный текст вместе).

Два заголовка ответа стоит логировать при каждом вызове: X-Request-Id для вопросов в поддержку и X-Balance-USD для вашего оставшегося баланса. С помощью Python SDK вы получаете к ним доступ через сырой ответ:

raw = client.chat.completions.with_raw_response.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Ping"}],
    max_tokens=20,
)
print(raw.headers.get("X-Request-Id"))
print(raw.headers.get("X-Balance-USD"))
completion = raw.parse()
print(completion.choices[0].message.content)

Потоковая передача токенов по мере поступления

Для чат-интерфейсов и любых сценариев, где пользователь ждёт ответа, используйте потоковую передачу. Установите stream=True и перебирайте фрагменты. API отправляет их через SSE, а последний фрагмент содержит данные об использовании, если вы запросили их.

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a short product description for a mechanical keyboard."}],
    stream=True,
    stream_options={"include_usage": True},
)

for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        print("\n", chunk.usage)

Два момента часто вызывают затруднения. Во-первых, некоторые фрагменты содержат пустой список choices (например, фрагмент с данными об использовании), поэтому проверяйте список перед обращением по индексу. Во-вторых, потоковый запрос удерживает слот параллельных запросов до завершения потока. Если вы начнёте поток и прервёте его без закрытия, этот слот останется занятым, и последующие вызовы могут завершиться ошибкой concurrency. Используйте поток в блоке with или вызовите stream.close(), если прекращаете чтение досрочно.

Если потоковая передача прерывается с неясным сообщением, статья о том, как использовать LLM на этом сайте охватывает основы обработки ошибок и повторных попыток.

Вызов инструмента для модели

Вызов функций позволяет модели попросить ваш код выполнить функцию, а затем продолжить работу с результатом. Процесс состоит из трёх шагов: отправьте определения функций, выполните то, что запросила модель, и отправьте результат обратно с role: "tool".

import json

def get_order_status(order_id: str) -> str:
    # Replace with a real lookup
    return json.dumps({"order_id": order_id, "status": "shipped"})

tools = [{
    "type": "function",
    "function": {
        "name": "get_order_status",
        "description": "Look up the status of an order by its ID",
        "parameters": {
            "type": "object",
            "properties": {"order_id": {"type": "string"}},
            "required": ["order_id"],
        },
    },
}]

messages = [{"role": "user", "content": "Where is order A-1042?"}]
first = client.chat.completions.create(
    model="uncensored", messages=messages, tools=tools, tool_choice="auto"
)

msg = first.choices[0].message
if msg.tool_calls:
    messages.append(msg)
    for call in msg.tool_calls:
        args = json.loads(call.function.arguments)
        messages.append({
            "role": "tool",
            "tool_call_id": call.id,
            "content": get_order_status(**args),
        })
    final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
    print(final.choices[0].message.content)
else:
    print(msg.content)

В реальном коде всегда разбирайте call.function.arguments как JSON внутри блока try, потому что модели иногда выдают аргументы, не соответствующие вашей схеме. Проверяйте их перед выполнением действий с побочными эффектами. Для более длинных циклов агентов см. руководство по использованию API для агентов.

Вызовы инструментов также поддерживают потоковую передачу: аргументы поступают частями в delta.tool_calls, и вы объединяете их по индексу до завершения потока.

JSON-режим для структурированного вывода

Когда вам нужен вывод, читаемый машиной, а не обычный текст, установите response_format в JSON-объект. Опишите желаемую структуру в промпте, так как JSON-режим гарантирует корректный синтаксис JSON, но не вашу конкретную схему.

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "Reply only with JSON: {\"sentiment\": \"positive|negative|neutral\", \"confidence\": 0-1}"},
        {"role": "user", "content": "The setup took ten minutes and everything just worked."},
    ],
    response_format={"type": "json_object"},
    temperature=0,
)
data = json.loads(resp.choices[0].message.content)
print(data["sentiment"])

Используйте temperature=0 для извлечения и классификации, чтобы повторные запуски давали одинаковые метки. Добавьте seed, если хотите дополнительно зафиксировать сэмплирование, и всё равно проверяйте результат парсинга по своей схеме.

Лимиты, повторные попытки и обработка ошибок

Полный ключ позволяет выполнять 8 параллельных запросов и 300 запросов в минуту. Пробный ключ позволяет выполнять 2 параллельных и 60 запросов в минуту. Превышение любого из лимитов возвращает HTTP 429. Код ошибки указывает, какой лимит вы превысили: rate_limited для запросов в минуту и concurrency для одновременных запросов. При временной перегрузке вы также получаете 429 с заголовком Retry-After: 5.

OpenAI SDK уже повторяет некоторые сбои, но вы должны установить политику самостоятельно:

import os
import time
from openai import OpenAI, RateLimitError, APIConnectionError

client = OpenAI(base_url="https://api.llmmodelsapi.com/v1", api_key=os.environ["LLM_API_KEY"], max_retries=0, timeout=120)

def ask(messages, tries=5):
    delay = 2
    for attempt in range(tries):
        try:
            return client.chat.completions.create(model="uncensored", messages=messages)
        except RateLimitError as e:
            wait = float(e.response.headers.get("Retry-After", delay))
            time.sleep(wait)
            delay = min(delay * 2, 30)
        except APIConnectionError:
            time.sleep(delay)
            delay = min(delay * 2, 30)
    raise RuntimeError("gave up after retries")

Если вы распределяете задачи с помощью потоков или asyncio, ограничьте пул значением 8 (или 2 для пробного ключа) с помощью семафора. Это позволит вам оставаться в пределах лимита параллельных запросов без опоры на повторные попытки. Неудачные или отклонённые запросы не оплачиваются, поэтому повторные попытки не стоят дополнительных денег за неудачные попытки.

Проверяйте баланс из кода с помощью GET /v1/balance или прочитайте значение заголовка X-Balance-USD из любого ответа. Полный список параметров доступен в документации API.

Сколько стоят эти примеры

Приведённые выше примеры очень малы. Вызов с 300 токенами промпта и 200 токенами сгенерированного текста стоит 300 x $0,15 / 1 млн плюс 200 x $0,50 / 1 млн, что составляет $0,000045 плюс $0,0001, или $0,000145. Примерно 6 900 таких вызовов помещаются в один доллар. Пробный баланс $0,50 покрывает около 3 400 таких вызовов, и он действителен в течение 7 дней без указания платёжных данных.

После окончания пробного периода пополните баланс на любую целую сумму от $20 до $500, с бонусом 5% от $50, 10% от $100 и 15% от $200. Баланс не сгорает, подписки нет. Промпты не используются для обучения.

02

Вопросы и ответы

Могу ли я использовать официальную библиотеку OpenAI для Python?

Да. Установите base_url в адрес API, а api_key — в свой ключ, затем вызовите chat.completions.create с моделью uncensored.

Поддерживает ли API асинхронный Python?

Да, используйте AsyncOpenAI с тем же базовым URL и ключом. Держите количество одновременных задач на уровне 8 для полного ключа или 2 для пробного ключа.

Как узнать, сколько токенов использовал вызов?

Читайте resp.usage при обычном вызове или передавайте stream_options с include_usage при потоковой передаче. Умножьте значения на $0,15 за 1 млн входных и $0,50 за 1 млн выходных токенов.

Какой может быть длина моего промпта?

Контекстное окно составляет 100 000 токенов, включая промпт и завершение. Тело запроса ограничено 8 МБ.

Ваш ключ — всего в одной форме

Создайте аккаунт, скопируйте ключ, измените базовый URL. Это вся настройка.

Получить API-ключ