API LLM pour agents : guide pour l'appel de fonctions
Un agent est une boucle : le modèle choisit un outil, votre code l'exécute, le résultat est renvoyé, et le modèle décide de la suite. Voici une version fonctionnelle de cette boucle, ainsi que les limites et coûts à anticiper.

Points clés
- L'endpoint prend en charge les outils, tool_choice, tool_calls en streaming et les messages de rôle tool.
- Limitez votre boucle, validez les arguments des outils et réessayez les réponses 429 avec une courte attente.
- Maintenez les processus parallèles à 8 maximum sur une clé complète ; les flux maintiennent leur crédit jusqu'à leur fin.
- Une exécution d'agent en six étapes avec un contexte croissant coûte environ un demi-centime.
Ce dont un agent a besoin de l'API
Si vous choisissez une API LLM pour agents, la liste de contrôle est plus courte que ce que le marketing suggère. Vous avez besoin d'un appel de fonctions fiable, d'une fenêtre de contexte assez grande pour contenir le transcript en cours, de limites de débit prévisibles et d'un prix qui ne pénalise pas une boucle effectuant de nombreux appels.
Cette API couvre ces points via l'interface standard OpenAI. Elle prend en charge tools et tool_choice, renvoie tool_calls dans les réponses normales et en streaming, et accepte les résultats d'outils comme des messages avec role: "tool". Le mode JSON est disponible via response_format. La fenêtre de contexte est de 100 000 tokens pour le prompt plus la complétion, et l'ID du modèle est uncensored.
Comme le côté framework n'est que le client OpenAI, la plupart des bibliothèques d'agents qui vous permettent de définir une URL de base fonctionneront. Vous les pointez vers https://api.llmmodelsapi.com/v1, fournissez votre clé et nommez le modèle. Les détails de configuration sont dans la documentation, et vous pouvez obtenir une clé depuis la page clé.
Deux limites façonnent la conception. Premièrement, le modèle est textuel uniquement, donc toute gestion d'image, d'audio ou de fichier doit se faire dans vos outils et revenir sous forme de texte. Deuxièmement, il n'y a pas d'embeddings sur cet endpoint, donc si votre agent effectue une recherche, la recherche vectorielle doit provenir d'une autre source.
Un prompt système pour garder la boucle stable
La plupart des échecs d'agent proviennent d'instructions vagues, et non de l'API. Un bon prompt système indique au modèle qui il est, quels outils existent, quand s'arrêter et quel format prend la réponse finale. Voici un exemple pour un assistant de recherche.
Vous êtes un assistant de recherche. Vous pouvez appeler les outils search_notes et read_note. N'appelle un outil que lorsque vous avez besoin d'informations que vous ne possédez pas déjà. Utilisez au maximum cinq appels d'outils. Lorsque vous en avez assez, répondez avec une réponse courte et listez les IDs de notes que vous avez utilisés. Si les notes ne contiennent pas la réponse, dites-le clairement.
Remarquez ce qu'il fait. Il nomme les outils, définit un budget d'appels, définit la condition d'arrêt et donne au modèle la permission de dire qu'il ne sait pas. Cette dernière partie est importante, car un agent forcé de répondre inventera quelque chose.
Définissez une température basse pour l'utilisation des outils. Des valeurs autour de 0,2 à 0,4 maintiennent les noms d'outils et les formats d'arguments stables. Si votre agent écrit également du texte créatif à la fin, vous pouvez augmenter la température pour cet appel final uniquement. Le paramètre seed est transmis, ce qui aide lorsque vous souhaitez reproduire une exécution lors du débogage.
Pour les agents de fiction pour adultes et de jeu de rôle, le même schéma fonctionne : placez le persona, les règles de la scène et les outils dans le message système. Le modèle est ajusté pour répondre sans refus de contenu pour une utilisation adulte légale. Le contenu sexuel impliquant des mineurs reste interdit.
Une boucle d'agent minimale en Python
La boucle ci-dessous possède un seul outil, une recherche dans un dictionnaire servant de substitut à vos données réelles. Elle s'arrête lorsque le modèle répond sans appel d'outil, ou après un nombre fixe d'étapes.
import json
from openai import OpenAI
client = OpenAI(base_url="https://api.llmmodelsapi.com/v1", api_key="YOUR_KEY")
NOTES = {
"n1": "Invoice 114 was paid on March 3.",
"n2": "Invoice 115 is overdue by 12 days.",
}
def search_notes(query):
return [{"id": k, "text": v} for k, v in NOTES.items() if query.lower() in v.lower()]
TOOLS = [{
"type": "function",
"function": {
"name": "search_notes",
"description": "Search internal notes by keyword",
"parameters": {
"type": "object",
"properties": {"query": {"type": "string"}},
"required": ["query"],
},
},
}]
SYSTEM = "You are a research assistant. Use search_notes when needed, at most five calls. Then answer briefly."
def run(question, max_steps=6):
messages = [
{"role": "system", "content": SYSTEM},
{"role": "user", "content": question},
]
for step in range(max_steps):
resp = client.chat.completions.create(
model="uncensored",
messages=messages,
tools=TOOLS,
temperature=0.3,
max_tokens=500,
)
msg = resp.choices[0].message
messages.append(msg)
if not msg.tool_calls:
return msg.content
for call in msg.tool_calls:
try:
args = json.loads(call.function.arguments)
result = search_notes(args["query"])
except Exception as exc:
result = {"error": str(exc)}
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": json.dumps(result),
})
return "Stopped: step limit reached."
print(run("Which invoice is overdue?"))
Trois détails méritent votre attention. La limite d'étapes empêche un modèle confus de boucler jusqu'à épuisement de votre budget. Le bloc try transforme une chaîne d'arguments malformée en un message d'erreur que le modèle peut lire et corriger. Et chaque résultat d'outil est renvoyé avec l'tool_call_id correspondant, ce qui permet au modèle de savoir à quel appel d'outil appartient chaque réponse.
Gestion des réponses 429 et de la concurrence
Les agents sont par rafales. Un planificateur peut déployer cinq sous-tâches à la fois, et chacune exécute sa propre boucle. C'est là que les limites de débit apparaissent.
Une clé complète permet 8 requêtes simultanées et 300 requêtes par minute. Une clé d'essai permet 2 et 60. Au-delà de la limite, l'API répond avec un HTTP 429. Le code d'erreur vous indique quelle limite vous avez touchée : rate_limited pour les requêtes par minute, concurrency pour trop de requêtes à la fois. En cas de surcharge temporaire, vous obtenez également un 429, avec un en-tête Retry-After: 5.
Traitez tout cela comme réessayable. Attendez le nombre de secondes dans l'en-tête, ou quelques secondes s'il est absent, et envoyez à nouveau la requête. Les requêtes échouées ne sont pas facturées, donc les réessais ne coûtent rien. Un petit wrapper fait le travail.
import time
from openai import OpenAI, RateLimitError
client = OpenAI(base_url="https://api.llmmodelsapi.com/v1", api_key="YOUR_KEY", max_retries=0)
def chat_with_retry(**kwargs):
for attempt in range(5):
try:
return client.chat.completions.create(model="uncensored", **kwargs)
except RateLimitError as err:
wait = 5
if err.response is not None:
wait = int(err.response.headers.get("retry-after", 5))
time.sleep(wait)
raise RuntimeError("Still rate limited after 5 attempts")
Pour éviter le 429 dès le départ, limitez votre pool de workers. Un sémaphore de 8 correspond à la clé complète. Si vous diffusez des réponses vers une interface utilisateur, rappelez-vous qu'un flux maintient son crédit de concurrence jusqu'à ce que le dernier token arrive, donc un client lent lisant une longue réponse occupe un crédit tout ce temps. Lire les en-têtes X-RateLimit-Limit-Requests et X-RateLimit-Limit-Concurrency permet à votre code de s'adapter à quelle clé il utilise.
Contexte, mémoire et coût d'une exécution
Chaque étape de la boucle renvoie le transcript complet. C'est ainsi que fonctionnent les APIs de chat, et cela signifie que les tokens d'entrée augmentent avec chaque appel d'outil. Prenons une exécution en six étapes où le prompt commence à 2 000 tokens et augmente de 1 000 par étape, avec 300 tokens de sortie par étape.
- Tokens d'entrée : 2 000 + 3 000 + 4 000 + 5 000 + 6 000 + 7 000 = 27 000
- Tokens de sortie : 6 x 300 = 1 800
- Coût d'entrée : 27 000 x 0,15 / 1 000 000 = $0,00405
- Coût de sortie : 1 800 x 0,50 / 1 000 000 = $0,0009
- Total : $0,00495 par exécution
Un millier de ces exécutions coûtent $4,95. C'est assez peu cher pour permettre à un agent de réfléchir en plusieurs étapes, mais la croissance mérite d'être surveillée. Avec 100 000 tokens de place, un agent à longue exécution finira par remplir la fenêtre, et un prompt aussi grand coûtera 100 000 x 0,15 / 1 000 000 = $0,015 pour l'entrée à chaque étape.
Trois habitudes le maintiennent sous contrôle. Tronquez les grands résultats d'outils avant qu'ils n'entrent dans la conversation, par exemple les 2 000 premiers caractères d'une page web. Résumez les anciennes étapes en un seul message court une fois que l'historique dépasse un seuil. Et stockez les faits durables dans votre propre base de données au lieu de compter sur la conversation comme mémoire.
L'en-tête X-Balance-USD sur chaque réponse affiche le crédit restant, donc un superviseur d'agent peut arrêter une exécution lorsque le solde tombe en dessous d'un plancher. Le crédit est prépayé à partir de 20 $, et il n'expire jamais. Voir la page tarifaire pour les bonus de rechargement.
Limites honnêtes à anticiper
Les agents construits sur n'importe quel modèle ont besoin de garde-fous, et celui-ci n'est pas une exception. Soyez prêt pour ce qui suit.
- Arguments malformés. Le modèle peut produire des arguments d'outil qui ne sont pas du JSON valide ou manquent un champ requis. Analysez de manière défensive et renvoyez l'erreur comme résultat de l'outil.
- Mauvais choix d'outil. Rédigez des descriptions d'outils courtes et distinctes. Si deux outils se ressemblent, le modèle les mélangera. Utilisez
tool_choicepour forcer un appel spécifique lorsque le flux l'exige. - Texte uniquement. Pas d'entrée ou de sortie d'image, pas d'audio, pas de vecteurs, pas de fine-tuning. Faites ces parties ailleurs et passez le résultat en texte.
- Modèle unique. Il y a un seul modèle à poids ouverts derrière l'endpoint, pas un routeur entre fournisseurs. Vous ne pouvez pas choisir un modèle plus petit pour des étapes faciles.
- Outils destructeurs. Ne donnez pas à un agent un outil de suppression ou de paiement sans une étape de confirmation dans votre propre code.
Les agents de planification bénéficient également d'un second passage. Après que la boucle retourne une réponse, vous pouvez faire un autre appel peu coûteux qui demande au modèle de vérifier la réponse par rapport aux résultats d'outils qu'il a vus, en utilisant le mode JSON pour retourner un verdict et une liste de revendications non prises en charge. Cela ajoute quelques centaines de tokens et attrape l'échec le plus courant, qui est une réponse confiante qui ignore ce que les outils ont retourné.
Enfin, journalisez chaque étape. Stockez les messages, les arguments d'outil et l'en-tête X-Request-Id de chaque réponse. Lorsqu'une exécution échoue, l'ID de requête vous permet de pointer vers l'appel exact, et le transcript journalisé montre quel résultat d'outil a induit le modèle en erreur. Les agents sont les plus faciles à améliorer lorsque vous pouvez rejouer une mauvaise exécution et changer une chose à la fois.
Testez un agent avec l'essai avant de vous engager. Les nouveaux utilisateurs peuvent réclamer 0,50 $ de crédit, qui pour l'exécution en six étapes ci-dessus couvre environ 101 exécutions complètes (0,50 / 0,00495). Gardez à l'esprit les 2 requêtes simultanées de l'essai et exécutez un agent à la fois. Pour une vue plus large du service, lisez la vue d'ensemble pay-per-token. Les prompts ne sont pas utilisés pour l'entraînement.
Plus de guides
Questions et réponses
L'API prend-elle en charge l'appel de fonctions pour les agents ?
Oui. Il accepte les outils et tool_choice, retourne tool_calls (même en streaming) et prend les résultats en tant que messages avec le rôle tool.
Combien d'appels d'agent peuvent s'exécuter en parallèle ?
Une clé complète permet 8 requêtes simultanées et 300 par minute. Une clé d’essai permet 2 requêtes simultanées et 60 par minute.
Que doit faire un agent lorsqu'il reçoit un 429 ?
Attendez la valeur Retry-After, ou quelques secondes si elle est absente, puis réessayez. Les requêtes rejetées ne sont pas facturées.
L'agent peut-il gérer des images ou de l'audio ?
Non. Le modèle ne traite que du texte ; tout autre média doit être traité par vos propres outils et passé en tant que texte.
Votre clé est à un formulaire d'identification
Créez un compte, copiez la clé, modifiez l'URL de base. C'est tout pour la configuration.