LLM API w Pythonie: Czat, strumieniowanie i wywoływanie narzędzi
Przewodnik po API LLM w Pythonie używa oficjalnego SDK OpenAI skierowanego do endpointu kompatybilnego z OpenAI. Otrzymujesz pierwsze zapytanie, strumieniowanie, wywoływanie funkcji i logikę ponawiania w kodzie gotowym do wklejenia i uruchomienia.

Kluczowe punkty
- Zainstaluj openai, ustaw adres bazowy i klucz oraz użyj ID modelu uncensored.
- Strumieniuj z stream=True i zamknij strumień wcześnie, aby zwolnić slot współbieżności.
- Wywoływanie narzędzi zwraca argumenty, które musisz przeanalizować i zweryfikować przed uruchomieniem czegokolwiek.
- Obsłuż 429 z Retry-After i ogranicz równoległe zapytania do 8 dla klucza z pełnymi limitami.
Zainstaluj SDK i wykonaj pierwsze wywołanie
Jeśli chcesz skonfigurować API LLM w Pythonie, które zadziała w pięć minut, SDK OpenAI jest wszystkim, czego potrzebujesz. API jest kompatybilne z OpenAI, więc zachowujesz oficjalnego klienta i zmieniasz dwie wartości: adres bazowy i klucz. ID modelu to uncensored.
Najpierw uzyskaj klucz. Zarejestruj się na stronie klucza API, odbierz darmowy kredyt próbny jednym kliknięciem i skopiuj klucz. Następnie zainstaluj klienta i nie umieszczaj klucza w kodzie źródłowym.
pip install openai
export LLM_API_KEY="your-key-here"
Teraz najmniejszy użyteczny program:
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.llmmodelsapi.com/v1",
api_key=os.environ["LLM_API_KEY"],
)
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You are a concise technical assistant."},
{"role": "user", "content": "Explain what a context window is in two sentences."},
],
temperature=0.7,
)
print(resp.choices[0].message.content)
print(resp.usage)
To cała integracja. resp.usage zwraca liczbę tokenów promptu i uzupełnienia, które możesz pomnożyć przez stawki ze strony cenowej ($0,15 za 1M tokenów wejściowych, $0,50 za 1M tokenów wyjściowych), aby zobaczyć koszt każdego zapytania. Ten sam endpoint akceptuje również POST /v1/responses, jeśli Twój kod już używa tego formatu, a GET /v1/models wyświetla ID modelu.
Jak wygląda zapytanie i odpowiedź
Klient OpenAI ukrywa szczegóły HTTP, ale warto je znać, gdy coś pójdzie nie tak. SDK wysyła POST do /v1/chat/completions z tokenem bearer. Możesz odtworzyć zapytanie za pomocą curl i porównać.
curl https://api.llmmodelsapi.com/v1/chat/completions \
-H "Authorization: Bearer $LLM_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model": "uncensored", "messages": [{"role": "user", "content": "Say hello"}]}'
Przydatne parametry przekazywane do modelu: temperature, top_p, stop, seed oraz kary za częstotliwość i obecność. max_tokens jest opcjonalne. Jeśli go nie podasz, wygenerowany tekst może wykorzystać pozostałą część okna 100 000 tokenów (łącznie z promptem i wygenerowanym tekstem).
Dwa nagłówki odpowiedzi są warte logowania w każdym zapytaniu: X-Request-Id do pytań o wsparcie i X-Balance-USD do sprawdzenia pozostałego kredytu. W SDK Pythona uzyskasz do nich dostęp przez surową odpowiedź:
raw = client.chat.completions.with_raw_response.create(
model="uncensored",
messages=[{"role": "user", "content": "Ping"}],
max_tokens=20,
)
print(raw.headers.get("X-Request-Id"))
print(raw.headers.get("X-Balance-USD"))
completion = raw.parse()
print(completion.choices[0].message.content)Strumieniowanie tokenów w miarę ich przybywania
W interfejsach czatu i wszędzie tam, gdzie ktoś czeka na odpowiedź, strumieniuj wynik. Ustaw stream=True i iteruj po fragmentach. API wysyła je za pomocą zdarzeń wysyłanych przez serwer, a ostatni fragment zawiera dane użycia, jeśli o nie poprosisz.
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write a short product description for a mechanical keyboard."}],
stream=True,
stream_options={"include_usage": True},
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if chunk.usage:
print("\n", chunk.usage)
Dwa szczegóły często mylą użytkowników. Po pierwsze, niektóre fragmenty mają pustą listę choices (np. fragment użycia), więc zabezpiecz się przed odwołaniem się do indeksu. Po drugie, żądanie strumieniowe zajmuje slot współbieżności do końca strumienia. Jeśli otworzysz strumień i go nie zamkniesz, slot pozostanie zajęty, co może powodować błędy concurrency w kolejnych wywołaniach. Używaj strumienia w bloku with lub wywołaj stream.close() przy wcześniejszym zakończeniu czytania.
Jeśli strumień zostanie przerwany z niejasną wiadomością, artykuł na temat używania modelu LLM na tej stronie omawia podstawy odczytywania błędów i ponawiania.
Wywoływanie funkcji w modelu
Wywoływanie funkcji pozwala modelowi poprosić Twój kod o uruchomienie funkcji, a następnie kontynuować z wynikiem. Proces składa się z trzech kroków: wyślij definicje funkcji, uruchom to, czego żąda model, i wyślij wynik z powrotem z role: "tool".
import json
def get_order_status(order_id: str) -> str:
# Replace with a real lookup
return json.dumps({"order_id": order_id, "status": "shipped"})
tools = [{
"type": "function",
"function": {
"name": "get_order_status",
"description": "Look up the status of an order by its ID",
"parameters": {
"type": "object",
"properties": {"order_id": {"type": "string"}},
"required": ["order_id"],
},
},
}]
messages = [{"role": "user", "content": "Where is order A-1042?"}]
first = client.chat.completions.create(
model="uncensored", messages=messages, tools=tools, tool_choice="auto"
)
msg = first.choices[0].message
if msg.tool_calls:
messages.append(msg)
for call in msg.tool_calls:
args = json.loads(call.function.arguments)
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": get_order_status(**args),
})
final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
print(final.choices[0].message.content)
else:
print(msg.content)
Zawsze parsuj call.function.arguments jako JSON w bloku try w rzeczywistym kodzie, ponieważ modele czasami generują argumenty, które nie pasują do Twojego schematu. Zweryfikuj dane przed wykonaniem czegokolwiek, co ma skutki uboczne. Dla dłuższych pętli agentów zobacz przewodnik po używaniu tego API dla agentów.
Wywoływanie funkcji również strumieniuje: argumenty przychodzą w kawałkach w delta.tool_calls, a Ty łączysz je według indeksu do zakończenia strumienia.
Tryb JSON dla strukturalnego wyniku
Gdy potrzebujesz wyniku czytelnego dla maszyny zamiast tekstu, ustaw response_format na obiekt JSON. Opisz pożądany kształt w promptcie, ponieważ tryb JSON gwarantuje poprawną składnię JSON, ale nie Twój konkretny schemat.
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "Reply only with JSON: {\"sentiment\": \"positive|negative|neutral\", \"confidence\": 0-1}"},
{"role": "user", "content": "The setup took ten minutes and everything just worked."},
],
response_format={"type": "json_object"},
temperature=0,
)
data = json.loads(resp.choices[0].message.content)
print(data["sentiment"])
Użyj temperature=0 do ekstrakcji i klasyfikacji, aby powtarzalne uruchomienia dawały te same etykiety. Dodaj seed, jeśli chcesz bardziej precyzyjnie ustalić próbkowanie, i nadal zweryfikuj przeanalizowany wynik względem własnego schematu.
Limity, ponowienia i obsługa błędów
Pełny klucz pozwala na 8 równoległych zapytań i 300 zapytań na minutę. Klucz próbny pozwala na 2 równoległe i 60 na minutę. Przekroczenie któregoś z limitów zwraca HTTP 429. Kod błędu informuje, który limit przekroczyłeś: rate_limited dla zapytań na minutę i concurrency dla zbyt wielu naraz. Przy tymczasowym przeciążeniu otrzymujesz również 429 z nagłówkiem Retry-After: 5.
OpenAI SDK automatycznie ponawia niektóre błędy, ale powinieneś ustawić tę politykę samodzielnie:
import os
import time
from openai import OpenAI, RateLimitError, APIConnectionError
client = OpenAI(base_url="https://api.llmmodelsapi.com/v1", api_key=os.environ["LLM_API_KEY"], max_retries=0, timeout=120)
def ask(messages, tries=5):
delay = 2
for attempt in range(tries):
try:
return client.chat.completions.create(model="uncensored", messages=messages)
except RateLimitError as e:
wait = float(e.response.headers.get("Retry-After", delay))
time.sleep(wait)
delay = min(delay * 2, 30)
except APIConnectionError:
time.sleep(delay)
delay = min(delay * 2, 30)
raise RuntimeError("gave up after retries")
Jeśli rozdzielasz pracę za pomocą wątków lub asyncio, ogranicz pulę do 8 (lub 2 dla klucza próbnego) za pomocą semafora. To utrzymuje Cię poniżej limitu współbieżności bez polegania na ponowieniach. Nieudane lub odrzucone zapytania nie są rozliczane, więc ponawianie nie kosztuje dodatkowo za nieudane próby.
Sprawdź saldo z kodu za pomocą GET /v1/balance lub odczytaj X-Balance-USD z dowolnej odpowiedzi. Pełna lista parametrów znajduje się w dokumentacji API.
Ile kosztują te przykłady
Powyższe przykłady są niewielkie. Zapytanie z 300 tokenami promptu i 200 tokenami wyjściowymi kosztuje 300 x $0,15 / 1M plus 200 x $0,50 / 1M, co daje $0,000045 plus $0,0001, czyli $0,000145. W przybliżeniu w jednym dolarze mieści się 6900 takich zapytań. Kredyt próbny $0,50 pokrywa około 3400 z nich i jest ważny przez 7 dni bez podawania danych płatniczych.
Po zakończeniu próby doładuj dowolną kwotę całkowitą od $20 do $500, z bonusem 5% od $50, 10% od $100 i 15% od $200. Kredyt nie wygasa i nie ma subskrypcji. Prompty nie są używane do trenowania.
Więcej przewodników
Pytania i odpowiedzi
Czy mogę użyć oficjalnej biblioteki Pythona OpenAI?
Tak. Ustaw base_url na adres API, a api_key na swój klucz, a następnie wywołaj chat.completions.create z modelem uncensored.
Czy API obsługuje asynchroniczny Python?
Tak, użyj AsyncOpenAI z tym samym base URL i kluczem. Utrzymaj liczbę równoległych zapytań na poziomie 8 dla pełnego klucza lub 2 dla klucza próbnego.
Jak sprawdzić, ile tokenów zużyło wywołanie?
Odczytaj resp.usage przy zwykłym zapytaniu lub przekaż stream_options z include_usage przy zapytaniu strumieniowym. Pomnóż przez $0,15 za 1M tokenów wejściowych i $0,50 za 1M tokenów wyjściowych.
Jaki może być maksymalny rozmiar promptu?
Okno kontekstu wynosi 100 000 tokenów, łącznie z promptem i uzupełnieniem. Ciało zapytania jest ograniczone do 8 MB.
Twój klucz jest jeszcze o jeden krok
Utwórz konto, skopiuj klucz, zmień bazowy URL. To cała konfiguracja.