LLM API в Python: чат, потоковая передача и вызовы инструментов
Это руководство по LLM API в Python использует официальный OpenAI SDK, настроенный на OpenAI-совместимый эндпоинт. Вы получите код для первого вызова, потоковой передачи, вызова инструмента и логики повторов, который можно скопировать и запустить.

Ключевые моменты
- Установите openai, задайте базовый URL и ключ, а затем используйте ID модели uncensored.
- Используйте потоковую передачу с stream=True и закрывайте поток досрочно, чтобы освободить слот параллельных запросов.
- Вызовы инструментов возвращают аргументы, которые необходимо распарсить и проверить перед выполнением любых действий.
- Обрабатывайте 429 с помощью Retry-After и ограничивайте параллельные запросы до 8 для полного ключа.
Установка SDK и первый вызов
Если вам нужна настройка API языковой модели в Python, которая работает за пять минут, вам нужен только OpenAI SDK. API совместим с OpenAI, поэтому вы сохраняете официальный клиент и меняете два значения: базовый URL и ключ. Идентификатор модели — uncensored.
Сначала получите ключ. Зарегистрируйтесь на странице API-ключ, активируйте пробный баланс в один клик и скопируйте ключ. Затем установите клиент и храните ключ вне исходного кода.
pip install openai
export LLM_API_KEY="your-key-here"
Теперь минимальная полезная программа:
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.llmmodelsapi.com/v1",
api_key=os.environ["LLM_API_KEY"],
)
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You are a concise technical assistant."},
{"role": "user", "content": "Explain what a context window is in two sentences."},
],
temperature=0.7,
)
print(resp.choices[0].message.content)
print(resp.usage)
Это вся интеграция. resp.usage возвращает количество токенов в промпте и сгенерированном тексте, которые можно умножить на тарифы со страницы тарифов ($0,15 за 1 млн входных токенов, $0,50 за 1 млн выходных токенов), чтобы узнать стоимость каждого вызова. Тот же эндпоинт принимает запрос POST /v1/responses, если ваш код уже использует этот формат, а запрос GET /v1/models выводит ID модели.
Как выглядят запрос и ответ
Клиент OpenAI скрывает детали HTTP, но полезно знать их, когда что-то идёт не так. SDK отправляет запрос POST на эндпоинт /v1/chat/completions с токеном Bearer. Вы можете воспроизвести вызов с помощью curl и сравнить результаты.
curl https://api.llmmodelsapi.com/v1/chat/completions \
-H "Authorization: Bearer $LLM_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model": "uncensored", "messages": [{"role": "user", "content": "Say hello"}]}'
Полезные параметры, которые передаются модели: temperature, top_p, stop, seed, а также штрафы за частоту и присутствие. max_tokens — необязательный параметр. Если его не указать, сгенерированный текст может занять всё оставшееся пространство в окне на 100 000 токенов (промпт и сгенерированный текст вместе).
Два заголовка ответа стоит логировать при каждом вызове: X-Request-Id для вопросов в поддержку и X-Balance-USD для вашего оставшегося баланса. С помощью Python SDK вы получаете к ним доступ через сырой ответ:
raw = client.chat.completions.with_raw_response.create(
model="uncensored",
messages=[{"role": "user", "content": "Ping"}],
max_tokens=20,
)
print(raw.headers.get("X-Request-Id"))
print(raw.headers.get("X-Balance-USD"))
completion = raw.parse()
print(completion.choices[0].message.content)Потоковая передача токенов по мере поступления
Для чат-интерфейсов и любых сценариев, где пользователь ждёт ответа, используйте потоковую передачу. Установите stream=True и перебирайте фрагменты. API отправляет их через SSE, а последний фрагмент содержит данные об использовании, если вы запросили их.
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write a short product description for a mechanical keyboard."}],
stream=True,
stream_options={"include_usage": True},
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if chunk.usage:
print("\n", chunk.usage)
Два момента часто вызывают затруднения. Во-первых, некоторые фрагменты содержат пустой список choices (например, фрагмент с данными об использовании), поэтому проверяйте список перед обращением по индексу. Во-вторых, потоковый запрос удерживает слот параллельных запросов до завершения потока. Если вы начнёте поток и прервёте его без закрытия, этот слот останется занятым, и последующие вызовы могут завершиться ошибкой concurrency. Используйте поток в блоке with или вызовите stream.close(), если прекращаете чтение досрочно.
Если потоковая передача прерывается с неясным сообщением, статья о том, как использовать LLM на этом сайте охватывает основы обработки ошибок и повторных попыток.
Вызов инструмента для модели
Вызов функций позволяет модели попросить ваш код выполнить функцию, а затем продолжить работу с результатом. Процесс состоит из трёх шагов: отправьте определения функций, выполните то, что запросила модель, и отправьте результат обратно с role: "tool".
import json
def get_order_status(order_id: str) -> str:
# Replace with a real lookup
return json.dumps({"order_id": order_id, "status": "shipped"})
tools = [{
"type": "function",
"function": {
"name": "get_order_status",
"description": "Look up the status of an order by its ID",
"parameters": {
"type": "object",
"properties": {"order_id": {"type": "string"}},
"required": ["order_id"],
},
},
}]
messages = [{"role": "user", "content": "Where is order A-1042?"}]
first = client.chat.completions.create(
model="uncensored", messages=messages, tools=tools, tool_choice="auto"
)
msg = first.choices[0].message
if msg.tool_calls:
messages.append(msg)
for call in msg.tool_calls:
args = json.loads(call.function.arguments)
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": get_order_status(**args),
})
final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
print(final.choices[0].message.content)
else:
print(msg.content)
В реальном коде всегда разбирайте call.function.arguments как JSON внутри блока try, потому что модели иногда выдают аргументы, не соответствующие вашей схеме. Проверяйте их перед выполнением действий с побочными эффектами. Для более длинных циклов агентов см. руководство по использованию API для агентов.
Вызовы инструментов также поддерживают потоковую передачу: аргументы поступают частями в delta.tool_calls, и вы объединяете их по индексу до завершения потока.
JSON-режим для структурированного вывода
Когда вам нужен вывод, читаемый машиной, а не обычный текст, установите response_format в JSON-объект. Опишите желаемую структуру в промпте, так как JSON-режим гарантирует корректный синтаксис JSON, но не вашу конкретную схему.
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "Reply only with JSON: {\"sentiment\": \"positive|negative|neutral\", \"confidence\": 0-1}"},
{"role": "user", "content": "The setup took ten minutes and everything just worked."},
],
response_format={"type": "json_object"},
temperature=0,
)
data = json.loads(resp.choices[0].message.content)
print(data["sentiment"])
Используйте temperature=0 для извлечения и классификации, чтобы повторные запуски давали одинаковые метки. Добавьте seed, если хотите дополнительно зафиксировать сэмплирование, и всё равно проверяйте результат парсинга по своей схеме.
Лимиты, повторные попытки и обработка ошибок
Полный ключ позволяет выполнять 8 параллельных запросов и 300 запросов в минуту. Пробный ключ позволяет выполнять 2 параллельных и 60 запросов в минуту. Превышение любого из лимитов возвращает HTTP 429. Код ошибки указывает, какой лимит вы превысили: rate_limited для запросов в минуту и concurrency для одновременных запросов. При временной перегрузке вы также получаете 429 с заголовком Retry-After: 5.
OpenAI SDK уже повторяет некоторые сбои, но вы должны установить политику самостоятельно:
import os
import time
from openai import OpenAI, RateLimitError, APIConnectionError
client = OpenAI(base_url="https://api.llmmodelsapi.com/v1", api_key=os.environ["LLM_API_KEY"], max_retries=0, timeout=120)
def ask(messages, tries=5):
delay = 2
for attempt in range(tries):
try:
return client.chat.completions.create(model="uncensored", messages=messages)
except RateLimitError as e:
wait = float(e.response.headers.get("Retry-After", delay))
time.sleep(wait)
delay = min(delay * 2, 30)
except APIConnectionError:
time.sleep(delay)
delay = min(delay * 2, 30)
raise RuntimeError("gave up after retries")
Если вы распределяете задачи с помощью потоков или asyncio, ограничьте пул значением 8 (или 2 для пробного ключа) с помощью семафора. Это позволит вам оставаться в пределах лимита параллельных запросов без опоры на повторные попытки. Неудачные или отклонённые запросы не оплачиваются, поэтому повторные попытки не стоят дополнительных денег за неудачные попытки.
Проверяйте баланс из кода с помощью GET /v1/balance или прочитайте значение заголовка X-Balance-USD из любого ответа. Полный список параметров доступен в документации API.
Сколько стоят эти примеры
Приведённые выше примеры очень малы. Вызов с 300 токенами промпта и 200 токенами сгенерированного текста стоит 300 x $0,15 / 1 млн плюс 200 x $0,50 / 1 млн, что составляет $0,000045 плюс $0,0001, или $0,000145. Примерно 6 900 таких вызовов помещаются в один доллар. Пробный баланс $0,50 покрывает около 3 400 таких вызовов, и он действителен в течение 7 дней без указания платёжных данных.
После окончания пробного периода пополните баланс на любую целую сумму от $20 до $500, с бонусом 5% от $50, 10% от $100 и 15% от $200. Баланс не сгорает, подписки нет. Промпты не используются для обучения.
Дополнительные руководства
Вопросы и ответы
Могу ли я использовать официальную библиотеку OpenAI для Python?
Да. Установите base_url в адрес API, а api_key — в свой ключ, затем вызовите chat.completions.create с моделью uncensored.
Поддерживает ли API асинхронный Python?
Да, используйте AsyncOpenAI с тем же базовым URL и ключом. Держите количество одновременных задач на уровне 8 для полного ключа или 2 для пробного ключа.
Как узнать, сколько токенов использовал вызов?
Читайте resp.usage при обычном вызове или передавайте stream_options с include_usage при потоковой передаче. Умножьте значения на $0,15 за 1 млн входных и $0,50 за 1 млн выходных токенов.
Какой может быть длина моего промпта?
Контекстное окно составляет 100 000 токенов, включая промпт и завершение. Тело запроса ограничено 8 МБ.
Ваш ключ — всего в одной форме
Создайте аккаунт, скопируйте ключ, измените базовый URL. Это вся настройка.