LLM-Modell-API für Agenten: Anleitung zum Function Calling
Ein Agent ist eine Schleife: Das Modell wählt ein Tool aus, dein Code führt es aus, das Ergebnis wird zurückgegeben und das Modell entscheidet, was als Nächstes zu tun ist. Hier ist eine funktionierende Version dieser Schleife sowie die Grenzen und Kosten, die du bei der Planung beachten solltest.

Wichtige Punkte
- Der Endpunkt unterstützt Tools, tool_choice, gestreamte tool_calls und role: tool-Ergebnisse.
- Begrenze deine Schleife, validiere Tool-Argumente und wiederhole 429-Antworten mit kurzer Wartezeit.
- Halte parallele Worker bei einem vollständigen Schlüssel bei oder unter 8; Streams belegen ihren Slot, bis sie enden.
- Ein sechsstufiger Agentenlauf mit wachsendem Kontext kostet etwa einen halben Cent.
Was ein Agent von der API braucht
Wenn du eine LLM-Modell-API für Agenten auswählst, ist die Checkliste kürzer, als das Marketing suggeriert. Du brauchst zuverlässiges Function Calling, ein Kontextfenster, das groß genug für das laufende Protokoll ist, vorhersehbare Ratenlimits und einen Preis, der eine Schleife mit vielen Anfragen nicht bestraft.
Diese API deckt diese Punkte über die Standard-OpenAI-Schnittstelle ab. Sie unterstützt tools und tool_choice, gibt tool_calls sowohl in normalen als auch in gestreamten Antworten zurück und akzeptiert Tool-Ergebnisse als Nachrichten mit role: "tool". Der JSON-Modus ist über response_format verfügbar. Das Kontextfenster beträgt 100.000 Token für Prompt plus Completion, und die Modell-ID ist uncensored.
Da die Framework-Seite nur der OpenAI-Client ist, funktionieren die meisten Agent-Bibliotheken, die eine Base URL festlegen können. Du verweist sie auf https://api.llmmodelsapi.com/v1, gibst deinen Schlüssel ein und nennst das Modell. Einrichtungsdetails findest du in der Dokumentation, und du kannst einen Schlüssel auf der Schlüssel-Seite erhalten.
Zwei Grenzen prägen das Design. Erstens ist das Modell nur für Text ausgelegt, sodass Bild-, Audio- oder Dateiverarbeitung in deinen Tools erfolgen muss und als Text zurückkommt. Zweitens gibt es keine Embeddings auf diesem Endpunkt, sodass bei einer Retrieval-Aufgabe deines Agenten die Vektorsuche eine andere Quelle benötigt.
Ein System-Prompt, der die Schleife stabil hält
Die meisten Agent-Fehler stammen von vagen Anweisungen, nicht von der API. Ein guter System-Prompt sagt dem Modell, wer es ist, welche Tools existieren, wann es aufhören soll und welches Format die finale Antwort hat. Hier ist einer für einen Forschungshelfer.
Du bist ein Forschungshelfer. Du kannst die Tools search_notes und read_note aufrufen. Rufe ein Tool nur auf, wenn du Informationen benötigst, die du noch nicht hast. Nutze maximal fünf Tool-Aufrufe. Wenn du genug Informationen hast, antworte kurz und liste die verwendeten Notiz-IDs auf. Wenn die Notizen die Antwort nicht enthalten, sage das klar.
Beachte, was es tut. Es benennt die Tools, legt ein Aufrufbudget fest, definiert die Abbruchbedingung und gibt dem Modell die Erlaubnis, zuzugeben, dass es die Antwort nicht weiß. Dieser letzte Punkt ist wichtig, denn ein Agent, der gezwungen ist zu antworten, erfindet etwas.
Setze eine niedrige Temperatur für Tool-Aufrufe. Werte um 0,2 bis 0,4 halten Tool-Namen und Argumentformate stabil. Wenn dein Agent am Ende auch kreativen Text schreibt, kannst du die Temperatur nur für diesen letzten Aufruf erhöhen. Der Parameter seed wird durchgereicht, was hilft, wenn du eine Ausführung beim Debuggen reproduzieren möchtest.
Für Agenten für erwachsene fiktionale Texte und Roleplay funktioniert das gleiche Muster: Setze die Persona, die Szenenregeln und die Tools in die Systemnachricht. Das Modell ist darauf abgestimmt, bei gesetzlicher erwachsener Nutzung ohne Inhaltsfilter zu antworten. Sexuelle Inhalte mit Minderjährigen bleiben ausgeschlossen.
Eine minimale Agent-Schleife in Python
Die folgende Schleife hat ein Tool, eine Suche in einem Wörterbuch, das als Ersatz für deine echten Daten dient. Sie stoppt, wenn das Modell ohne Tool-Aufruf antwortet, oder nach einer festen Anzahl von Schritten.
import json
from openai import OpenAI
client = OpenAI(base_url="https://api.llmmodelsapi.com/v1", api_key="YOUR_KEY")
NOTES = {
"n1": "Invoice 114 was paid on March 3.",
"n2": "Invoice 115 is overdue by 12 days.",
}
def search_notes(query):
return [{"id": k, "text": v} for k, v in NOTES.items() if query.lower() in v.lower()]
TOOLS = [{
"type": "function",
"function": {
"name": "search_notes",
"description": "Search internal notes by keyword",
"parameters": {
"type": "object",
"properties": {"query": {"type": "string"}},
"required": ["query"],
},
},
}]
SYSTEM = "You are a research assistant. Use search_notes when needed, at most five calls. Then answer briefly."
def run(question, max_steps=6):
messages = [
{"role": "system", "content": SYSTEM},
{"role": "user", "content": question},
]
for step in range(max_steps):
resp = client.chat.completions.create(
model="uncensored",
messages=messages,
tools=TOOLS,
temperature=0.3,
max_tokens=500,
)
msg = resp.choices[0].message
messages.append(msg)
if not msg.tool_calls:
return msg.content
for call in msg.tool_calls:
try:
args = json.loads(call.function.arguments)
result = search_notes(args["query"])
except Exception as exc:
result = {"error": str(exc)}
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": json.dumps(result),
})
return "Stopped: step limit reached."
print(run("Which invoice is overdue?"))
Drei Details verdienen Aufmerksamkeit. Die Schrittgrenze verhindert, dass ein verwirrtes Modell in einer Endlosschleife läuft, bis dein Budget aufgebraucht ist. Der try-Block wandelt einen fehlerhaften Argument-String in eine Fehlermeldung um, die das Modell lesen und korrigieren kann. Und jedes Tool-Ergebnis wird mit der passenden tool_call_id zurückgesendet, damit das Modell weiß, zu welchem Aufruf jede Antwort gehört.
Umgang mit 429-Antworten und Parallelität
Agenten sind bursty. Ein Planer kann fünf Unteraufgaben parallel ausgeben, und jede davon führt ihre eigene Schleife aus. Dort zeigen sich die Ratenlimits.
Ein vollständiger Schlüssel erlaubt 8 parallele Anfragen und 300 Anfragen pro Minute. Ein Test-Schlüssel erlaubt 2 und 60. Jenseits des Limits antwortet die API mit HTTP 429. Der Fehlercode sagt dir, welches Limit du getroffen hast: rate_limited für Anfragen pro Minute, concurrency für zu viele gleichzeitig. Bei temporärer Überlastung erhältst du ebenfalls eine 429 mit einem Retry-After: 5 Header.
Behandle alle als wiederholbar. Warte die Sekunden aus dem Header oder ein paar Sekunden, falls keiner vorhanden ist, und sende die Anfrage erneut. Fehlgeschlagene Anfragen werden nicht berechnet, daher kosten Wiederholungen nichts. Ein kleiner Wrapper erledigt die Aufgabe.
import time
from openai import OpenAI, RateLimitError
client = OpenAI(base_url="https://api.llmmodelsapi.com/v1", api_key="YOUR_KEY", max_retries=0)
def chat_with_retry(**kwargs):
for attempt in range(5):
try:
return client.chat.completions.create(model="uncensored", **kwargs)
except RateLimitError as err:
wait = 5
if err.response is not None:
wait = int(err.response.headers.get("retry-after", 5))
time.sleep(wait)
raise RuntimeError("Still rate limited after 5 attempts")
Um die 429 von vornherein zu vermeiden, begrenze deinen Worker-Pool. Ein Semaphore von 8 passt zum vollständigen Schlüssel. Wenn du Antworten an eine Benutzeroberfläche streamst, bedenke, dass ein Stream seinen Parallelitätsslot bis zum letzten Token belegt, also besetzt ein langsamer Client, der eine lange Antwort liest, den Slot die ganze Zeit. Das Auslesen der Header X-RateLimit-Limit-Requests und X-RateLimit-Limit-Concurrency lässt deinen Code sich an den jeweils verwendeten Schlüssel anpassen.
Kontext, Speicher und die Kosten einer Ausführung
Jeder Schritt der Schleife sendet das vollständige Transkript erneut. So funktionieren Chat-APIs, und das bedeutet, dass die Input-Token mit jedem Tool-Aufruf wachsen. Nimm einen sechsstufigen Lauf, bei dem der Prompt bei 2.000 Token beginnt und pro Schritt um 1.000 Token wächst, mit 300 Output-Token pro Schritt.
- Input-Token: 2.000 + 3.000 + 4.000 + 5.000 + 6.000 + 7.000 = 27.000
- Output-Token: 6 x 300 = 1.800
- Input-Kosten: 27.000 x 0,15 / 1.000.000 = 0,00405 $
- Output-Kosten: 1.800 x 0,50 / 1.000.000 = 0,0009 $
- Gesamt: 0,00495 $ pro Ausführung
Tausend solcher Ausführungen kosten 4,95 $. Das ist günstig genug, um einem Agenten zu erlauben, in mehreren Schritten zu denken, aber das Wachstum ist beobachtenswert. Mit 100.000 Token Platz wird ein langlaufender Agent das Kontextfenster irgendwann füllen, und ein Prompt dieser Größe kostet 100.000 x 0,15 / 1.000.000 = 0,015 $ für Input in jedem einzelnen Schritt.
Drei Gewohnheiten halten es im Griff. Kürze große Tool-Ergebnisse, bevor sie in das Transkript gelangen, zum Beispiel die ersten 2.000 Zeichen einer Webseite. Fasse alte Schritte zu einer kurzen Nachricht zusammen, sobald die Historie einen Schwellenwert überschreitet. Und speichere dauerhafte Fakten in deiner eigenen Datenbank, anstatt dich auf das Gespräch als Speicher zu verlassen.
Der Header X-Balance-USD in jeder Antwort zeigt das verbleibende Guthaben, sodass ein Agent-Aufsicht eine Ausführung stoppen kann, wenn das Guthaben unter einen Mindestbetrag fällt. Das Guthaben ist Prepaid ab 20 $ und verfällt nie. Siehe die Preisseite für Auflade-Boni.
Ehrliche Grenzen zur Planung
Agenten, die auf jedem Modell aufgebaut sind, brauchen Schutzmaßnahmen, und dieses ist keine Ausnahme. Sei auf Folgendes vorbereitet.
- Fehlerhafte Argumente. Das Modell kann Tool-Argumente erzeugen, die kein gültiges JSON sind oder ein erforderliches Feld vermissen lassen. Parst defensiv und gib den Fehler als Tool-Ergebnis zurück.
- Falsche Tool-Wahl. Schreibe kurze, unterscheidbare Tool-Beschreibungen. Wenn zwei Tools ähnlich klingen, verwechselt das Modell sie. Nutze
tool_choice, um einen bestimmten Aufruf zu erzwingen, wenn der Ablauf dies erfordert. - Nur Text. Keine Bild-Eingabe oder -Ausgabe, kein Audio, keine Embeddings, kein Fine-Tuning. Mache diese Teile woanders und übergebe das Ergebnis als Text.
- Einzelnes Modell. Hinter dem Endpunkt steht ein Open-Weight-Modell, kein Router über Anbieter hinweg. Du kannst kein kleineres Modell für einfache Schritte auswählen.
- Destruktive Tools. Gib einem Agenten kein Lösch- oder Zahlungstool ohne einen Bestätigungsschritt in deinem eigenen Code.
Planungsagenten profitieren ebenfalls von einer zweiten Durchlaufrunde. Nachdem die Schleife eine Antwort zurückgibt, kannst du einen weiteren günstigen Aufruf ausführen, der das Modell bittet, die Antwort anhand der Tool-Ergebnisse zu überprüfen, die es gesehen hat. Verwende den JSON-Modus, um ein Urteil und eine Liste nicht unterstützter Behauptungen zurückzugeben. Das fügt einige Hundert Token hinzu und fängt den häufigsten Fehler ab: eine selbstbewusste Antwort, die ignoriert, was die Tools zurückgegeben haben.
Schließlich protokolliere jeden Schritt. Speichere die Nachrichten, die Tool-Argumente und den X-Request-Id-Header jeder Antwort. Wenn ein Durchlauf fehlschlägt, lässt sich die Request-ID verwenden, um den genauen Aufruf zu markieren, und das protokollierte Protokoll zeigt, welches Tool-Ergebnis das Modell in die Irre geführt hat. Agenten lassen sich am einfachsten verbessern, wenn du einen fehlerhaften Durchlauf wiederholen und jeweils nur eine Sache ändern kannst.
Teste einen Agenten mit dem Trial, bevor du dich festlegst. Neue Nutzer können $0,50 Guthaben beanspruchen, was bei dem oben genannten sechsstufigen Lauf etwa 101 vollständige Läufe abdeckt (0,50 / 0,00495). Behalte die 2 parallelen Anfragen des Trials im Auge und führe jeweils einen Agenten aus. Für einen breiteren Überblick über den Dienst lies die Pay-per-Token-Übersicht. Prompts werden nicht zum Training verwendet.
Weitere Anleitungen
Fragen und Antworten
Unterstützt die API Function Calling für Agenten?
Ja. Die API akzeptiert Tools und tool_choice, gibt tool_calls zurück (auch beim Streaming) und verarbeitet Ergebnisse als Nachrichten mit der Rolle tool.
Wie viele Agent-Anfragen können parallel laufen?
Ein vollständiger Schlüssel erlaubt 8 gleichzeitige Anfragen und 300 pro Minute. Ein Test-Schlüssel erlaubt 2 gleichzeitige und 60 pro Minute.
Was soll ein Agent bei einer 429 tun?
Warte auf den Retry-After-Wert oder ein paar Sekunden, falls keiner angegeben ist, und wiederhole. Abgelehnte Anfragen werden nicht berechnet.
Kann der Agent Bilder oder Audio verarbeiten?
Nein. Das Modell verarbeitet nur Text, daher müssen andere Medien von deinen eigenen Tools verarbeitet und als Text übergeben werden.
Dein Schlüssel ist nur ein Formular entfernt
Erstelle ein Konto, kopiere den Schlüssel, ändere die Basis-URL. Das ist die gesamte Einrichtung.