PL ▾
Pobierz klucz API

API LLM dla Agentów: Przewodnik po wywoływaniu funkcji

Agent to pętla: model wybiera narzędzie, Twój kod je wykonuje, wynik wraca, a model decyduje, co zrobić dalej. Oto działająca wersja tej pętli wraz z limitami i kosztami, które warto uwzględnić w planowaniu.

Zaktualizowano

Izometryczna pętla orbity przechodzącej przez bloki narzędzi wokół centralnego terminala, ilustrująca przepływ pracy agenta
01

Kluczowe punkty

  • Endpoint obsługuje narzędzia, tool_choice, strumieniowanie tool_calls i wyniki narzędzi z rolą.
  • Ogranicz pętlę, waliduj argumenty narzędzi i powtarzaj odpowiedzi 429 po krótkiej przerwie.
  • Utrzymaj liczbę równoległych workerów na poziomie 8 lub mniej dla pełnego klucza; strumienie zajmują slot do końca.
  • Sześcioetapowe wykonanie agenta z rosnącym kontekstem kosztuje około pół centa.

Czego agent potrzebuje od API

Jeśli wybierasz API LLM dla agentów, lista wymagań jest krótsza niż sugeruje marketing. Potrzebujesz niezawodnego wywoływania funkcji, wystarczająco dużego okna kontekstu na prowadzoną rozmowę, przewidywalnych limitów zapytań i ceny, która nie karze pętli wykonującej wiele zapytań.

To API realizuje te punkty poprzez standardowy interfejs OpenAI. Obsługuje tools i tool_choice, zwraca tool_calls w odpowiedziach normalnych i strumieniowanych oraz akceptuje wyniki narzędzi jako wiadomości z role: "tool". Tryb JSON jest dostępny przez response_format. Okno kontekstu wynosi 100 000 tokenów dla sumy promptu i uzupełnienia, a ID modelu to uncensored.

Ponieważ po stronie frameworku znajduje się po prostu klient OpenAI, większość bibliotek agentów, które pozwalają ustawić base URL, będzie działać. Wskazujesz im https://api.llmmodelsapi.com/v1, podajesz swój klucz i nazwę modelu. Szczegóły konfiguracji znajdziesz w dokumentacji, a klucz możesz uzyskać na stronie kluczy.

Dwa limity kształtują projekt. Po pierwsze, model obsługuje tylko tekst, więc obsługa obrazów, audio lub plików musi odbywać się w Twoich narzędziach i wracać jako tekst. Po drugie, na tym endpointzie nie ma embeddingów, więc jeśli Twój agent wykonuje wyszukiwanie, wyszukiwanie wektorowe musi korzystać z innego źródła.

Prompt systemowy utrzymujący stabilność pętli

Większość błędów agentów wynika z niejasnych instrukcji, a nie z API. Dobry prompt systemowy mówi modelowi, kim jest, jakie narzędzia istnieją, kiedy przestać i jaki format ma mieć ostateczna odpowiedź. Oto przykład dla asystenta badawczego.

Jesteś asystentem badawczym. Możesz wywołać narzędzia search_notes i read_note. Wywołaj narzędzie tylko wtedy, gdy potrzebujesz informacji, których jeszcze nie masz. Użyj co najwyżej pięciu wywołań narzędzi. Gdy masz wystarczająco danych, odpowiedz krótko i podaj ID użytych notatek. Jeśli notatki nie zawierają odpowiedzi, powiedz o tym wprost.

Zauważ, co robi. Wymienia narzędzia, ustala budżet wywołań, definiuje warunek stopu i daje modelowi zezwolenie na powiedzenie, że nie wie. Ostatni punkt ma znaczenie, ponieważ agent zmuszony do odpowiedzi wymyśli coś.

Ustaw niską temperaturę dla użycia narzędzi. Wartości około 0,2 do 0,4 utrzymują stabilność nazw narzędzi i formatów argumentów. Jeśli Twój agent pisze też kreatywny tekst na końcu, możesz podnieść temperaturę tylko dla tego ostatniego wywołania. Parametr seed jest przekazywany dalej, co pomaga przy odtwarzaniu wykonania podczas debugowania.

Dla agentów opowiadań dla dorosłych i roleplay działa ten sam wzorzec: umieść personę, zasady sceny i narzędzia w wiadomości systemowej. Model jest dostrojony do odpowiadania bez odrzuceń treści dla prawnego użytku dorosłego. Treści seksualne z udziałem nieletnich pozostają niedozwolone.

Minimalna pętla agenta w Pythonie

Poniższa pętla ma jedno narzędzie, lookup w słowniku zastępującym Twoje prawdziwe dane. Zatrzymuje się, gdy model odpowie bez wywołania narzędzia lub po ustalonej liczbie kroków.

import json
from openai import OpenAI

client = OpenAI(base_url="https://api.llmmodelsapi.com/v1", api_key="YOUR_KEY")

NOTES = {
    "n1": "Invoice 114 was paid on March 3.",
    "n2": "Invoice 115 is overdue by 12 days.",
}

def search_notes(query):
    return [{"id": k, "text": v} for k, v in NOTES.items() if query.lower() in v.lower()]

TOOLS = [{
    "type": "function",
    "function": {
        "name": "search_notes",
        "description": "Search internal notes by keyword",
        "parameters": {
            "type": "object",
            "properties": {"query": {"type": "string"}},
            "required": ["query"],
        },
    },
}]

SYSTEM = "You are a research assistant. Use search_notes when needed, at most five calls. Then answer briefly."

def run(question, max_steps=6):
    messages = [
        {"role": "system", "content": SYSTEM},
        {"role": "user", "content": question},
    ]
    for step in range(max_steps):
        resp = client.chat.completions.create(
            model="uncensored",
            messages=messages,
            tools=TOOLS,
            temperature=0.3,
            max_tokens=500,
        )
        msg = resp.choices[0].message
        messages.append(msg)
        if not msg.tool_calls:
            return msg.content
        for call in msg.tool_calls:
            try:
                args = json.loads(call.function.arguments)
                result = search_notes(args["query"])
            except Exception as exc:
                result = {"error": str(exc)}
            messages.append({
                "role": "tool",
                "tool_call_id": call.id,
                "content": json.dumps(result),
            })
    return "Stopped: step limit reached."

print(run("Which invoice is overdue?"))

Warto zwrócić uwagę na trzy szczegóły. Limit kroków zapobiega zapętleniu się zagubionego modelu, aż wyczerpie się Twój budżet. Instrukcja try zamienia niepoprawny ciąg argumentów w komunikat o błędzie, który model może odczytać i poprawić. A każdy wynik narzędzia jest zwracany z pasującym tool_call_id, dzięki czemu model wie, do którego wywołania należy dana odpowiedź.

Obsługa odpowiedzi 429 i współbieżność

Agenci są skokowi. Planer może rozgałęzić pięć podzadań naraz, a każde z nich uruchamia własną pętlę. Tam właśnie pojawiają się limity zapytań.

Pełny klucz pozwala na 8 równoległych zapytań i 300 zapytań na minutę. Klucz z darmowego kredytu próbnego pozwala na 2 i 60. Po przekroczeniu limitu API odpowiada kodem HTTP 429. Kod błędu mówi Ci, który limit przekroczyłeś: rate_limited dla zapytań na minutę, concurrency dla zbyt wielu naraz. Przy tymczasowym przeciążeniu otrzymujesz też 429 z nagłówkiem Retry-After: 5.

Traktuj wszystkie jako możliwe do ponowienia. Poczekaj liczbę sekund z nagłówka lub kilka sekund, jeśli go brakuje, i wyślij zapytanie ponownie. Nieudane zapytania nie są rozliczane, więc ponowienia nic nie kosztują. Mała obudówka wykonuje tę pracę.

import time
from openai import OpenAI, RateLimitError

client = OpenAI(base_url="https://api.llmmodelsapi.com/v1", api_key="YOUR_KEY", max_retries=0)

def chat_with_retry(**kwargs):
    for attempt in range(5):
        try:
            return client.chat.completions.create(model="uncensored", **kwargs)
        except RateLimitError as err:
            wait = 5
            if err.response is not None:
                wait = int(err.response.headers.get("retry-after", 5))
            time.sleep(wait)
    raise RuntimeError("Still rate limited after 5 attempts")

Aby uniknąć 429 od początku, ogranicz pulę workerów. Semafór o wartości 8 pasuje do pełnego klucza. Jeśli strumieniujesz odpowiedzi do interfejsu użytkownika, pamiętaj, że strumień zajmuje slot współbieżności do momentu przybycia ostatniego tokena, więc wolny klient czytający długą odpowiedź zajmuje slot przez cały czas. Odczyt nagłówków X-RateLimit-Limit-Requests i X-RateLimit-Limit-Concurrency pozwala Twojemu kodowi dostosować się do używanego klucza.

Kontekst, pamięć i koszt wykonania

Każdy krok pętli wysyła ponownie pełny transkrypt. Tak działają API czatu, co oznacza, że tokeny wejściowe rosną z każdym wywołaniem narzędzia. Rozważ wykonanie w sześciu krokach, gdzie prompt zaczyna się od 2000 tokenów i rośnie o 1000 na krok, z 300 tokenami wyjściowymi na krok.

  • Tokeny wejściowe: 2000 + 3000 + 4000 + 5000 + 6000 + 7000 = 27 000
  • Tokeny wyjściowe: 6 x 300 = 1800
  • Koszt wejściowy: 27 000 x 0,15 / 1 000 000 = $0,00405
  • Koszt wyjściowy: 1800 x 0,50 / 1 000 000 = $0,0009
  • Łącznie: $0,00495 za wykonanie

Tysiąc takich uruchomień kosztuje $4.95. Jest to wystarczająco tanie, aby agent mógł myśleć w kilku krokach, ale wzrost zużycia wart jest obserwacji. Przy 100,000 tokenach wolnej przestrzeni, długotrwały agent w końcu wypełni okno kontekstu, a taki prompt kosztuje 100,000 x 0.15 / 1,000,000 = $0.015 za dane wejściowe w każdym pojedynczym kroku.

Trzy nawyki utrzymują to pod kontrolą. Obcinaj duże wyniki narzędzi przed włączeniem ich do transkryptu, na przykład pierwsze 2000 znaków strony internetowej. Podsumuj stare kroki w jedną krótką wiadomość, gdy historia przekroczy próg. I przechowuj trwałe fakty w swojej bazie danych, zamiast polegać na rozmowie jako pamięci.

Nagłówek X-Balance-USD w każdej odpowiedzi pokazuje pozostały kredyt, więc nadzorca agenta może zatrzymać wykonanie, gdy saldo spadnie poniżej progu. Kredyt jest przedpłacony od $20 i nigdy nie wygasa. Zobacz stronę cenową, aby zobaczyć bonusy za doładowanie.

Uczciwe limity do planowania

Agenci zbudowani na dowolnym modelu potrzebują ograniczników, a ten nie jest wyjątkiem. Bądź gotowy na następujące.

  • Niepoprawne argumenty. Model może wyprodukować argumenty narzędzi, które nie są poprawnym JSON-em lub pomijają wymagane pole. Parsuj defensywnie i zwróć błąd jako wynik narzędzia.
  • Zły wybór narzędzia. Napisz krótkie, różne opisy narzędzi. Jeśli dwa narzędzia brzmią podobnie, model je pomiesza. Użyj tool_choice, aby wymusić konkretne wywołanie, gdy przepływ tego wymaga.
  • Tylko tekst. Brak wejścia/wyjścia obrazu, brak audio, brak embeddingów, brak dostrajania. Zrób to gdzie indziej i przekaż wynik jako tekst.
  • Pojedynczy model. Za endpointem stoi jeden model o otwartych wagach, a nie router między dostawcami. Nie możesz wybrać mniejszego modelu dla prostych kroków.
  • Narzędzia destrukcyjne. Nie dawaj agentowi narzędzia usuwania lub płatności bez kroku potwierdzenia w swoim kodzie.

Agenci planujący również korzystają z drugiego przejścia. Po powrocie odpowiedzi z pętli możesz wykonać jedno kolejne tanie wywołanie, prosząc model o sprawdzenie odpowiedzi względem wyników narzędzi, które widział, używając trybu JSON do zwrócenia werdyktu i listy niepotwierdzonych twierdzeń. Dodaje to kilka setek tokenów i łapie najczęstszy błąd, czyli pewną odpowiedź ignorującą to, co zwróciły narzędzia.

Na koniec loguj każdy krok. Przechowuj wiadomości, argumenty narzędzi i nagłówek X-Request-Id z każdej odpowiedzi. Gdy wykonanie się nie powiedzie, identyfikator żądania pozwala wskazać dokładne wywołanie, a zalogowany transkrypt pokazuje, który wynik narzędzi wprowadził model w błąd. Agenci są najłatwiejsi do ulepszenia, gdy możesz odtworzyć złe wykonanie i zmienić jedną rzecz naraz.

Przetestuj agenta przed dołączeniem. Nowi użytkownicy mogą uzyskać $0,50 kredytu, co przy powyższym 6-krokowym uruchomieniu wystarcza na około 101 pełnych uruchomień (0,50 / 0,00495). Pamiętaj o limicie 2 równoległych zapytań w ramach wersji próbnej i uruchamiaj po jednym agencie na raz. Aby uzyskać szerszy przegląd usługi, przeczytaj przegląd opłaty za token. Prompty nie są używane do trenowania.

02

Pytania i odpowiedzi

Czy API obsługuje wywoływanie narzędzi dla agentów?

Tak. Akceptuje narzędzia i tool_choice, zwraca tool_calls (również przy strumieniowaniu) i przyjmuje wyniki jako komunikaty z rolą tool.

Ile wywołań agenta może działać równolegle?

Pełny klucz pozwala na 8 równoległych żądań i 300 na minutę. Klucz próbny pozwala na 2 równoległe i 60 na minutę.

Co powinien zrobić agent, gdy otrzyma błąd 429?

Poczekaj na wartość Retry-After lub kilka sekund, jeśli jej nie ma, i ponów zapytanie. Odrzucone zapytania nie są rozliczane.

Czy agent obsługuje obrazy lub audio?

Nie. Model obsługuje tylko tekst, więc inne media muszą zostać przetworzone przez Twoje narzędzia i przekazane jako tekst.

Twój klucz jest o jeden formularz oddalony

Utwórz konto, skopiuj klucz, zmień bazowy URL. To cała konfiguracja.

Pobierz klucz API