Guía de llamadas a herramientas para la API de Modelos LLM para Agentes
Un agente es un bucle: el modelo elige una herramienta, tu código la ejecuta, el resultado vuelve y el modelo decide qué hacer a continuación. Aquí tienes una versión funcional de ese bucle, junto con los límites y costos que debes planificar.

Puntos clave
- El endpoint admite herramientas, tool_choice, tool_calls en streaming y resultados de role tool.
- Limita tu bucle, valida los argumentos de las herramientas y reintenta las respuestas 429 con una breve espera.
- Mantén los trabajadores en paralelo en o por debajo de 8 con una clave completa; los streams mantienen su espacio hasta que terminan.
- Una ejecución de agente de seis pasos con un contexto en crecimiento cuesta aproximadamente medio centavo.
Lo que un agente necesita de la API
Si estás eligiendo una API de modelos LLM para agentes, la lista de verificación es más corta de lo que sugiere el marketing. Necesitas llamadas a funciones fiables, una ventana de contexto lo suficientemente grande para contener la transcripción en curso, límites de peticiones predecibles y un precio que no penalice un bucle que realiza muchas llamadas.
Esta API cubre esos puntos a través de la interfaz estándar de OpenAI. Admite tools y tool_choice, devuelve tool_calls en respuestas normales y en streaming, y acepta resultados de herramientas como mensajes con role: "tool". El modo JSON está disponible a través de response_format. La ventana de contexto es de 100,000 tokens para el prompt más la respuesta, y el ID del modelo es uncensored.
Dado que el lado del framework es simplemente el cliente de OpenAI, la mayoría de las bibliotecas de agentes que te permiten configurar una URL base funcionarán. Apúntalas a https://api.llmmodelsapi.com/v1, proporciona tu clave y nombra el modelo. Los detalles de configuración están en la documentación, y puedes obtener una clave desde la página de claves.
Dos límites moldean el diseño. Primero, el modelo es solo de texto, por lo que cualquier manejo de imágenes, audio o archivos debe ocurrir en tus herramientas y volver como texto. Segundo, no hay embeddings en este endpoint, por lo que si tu agente realiza recuperación, la búsqueda de vectores necesita otra fuente.
Un prompt de sistema que mantenga el bucle estable
La mayoría de los fallos de los agentes provienen de instrucciones vagas, no de la API. Un buen prompt de sistema le dice al modelo quién es, qué herramientas existen, cuándo detenerse y qué formato tiene la respuesta final. Aquí tienes uno para un asistente de investigación.
Eres un asistente de investigación. Puedes llamar a las herramientas search_notes y read_note. Llama a una herramienta solo cuando necesites información que aún no tienes. Usa como máximo cinco llamadas a herramientas. Cuando tengas suficiente, responde con una respuesta corta y lista los IDs de notas que usaste. Si las notas no contienen la respuesta, dilo claramente.
Observa lo que hace. Nombra las herramientas, establece un presupuesto de llamadas, define la condición de parada y le da al modelo permiso para decir que no sabe. Esa última parte es importante, porque un agente que se vea obligado a responder inventará algo.
Establece una temperatura baja para el uso de herramientas. Valores alrededor de 0.2 a 0.4 mantienen estables los nombres de las herramientas y los formatos de argumentos. Si tu agente también escribe texto creativo al final, puedes subir la temperatura solo para esa llamada final. El parámetro seed se pasa a través, lo que ayuda cuando quieres reproducir una ejecución mientras depuras.
Para agentes de ficción para adultos y roleplay, el mismo patrón funciona: coloca la personalidad, las reglas de la escena y las herramientas en el mensaje de sistema. El modelo está ajustado para responder sin rechazos de contenido para uso adulto lícito. El contenido sexual que involucre a menores de edad sigue estando fuera de límites.
Un bucle de agente mínimo en Python
El bucle de abajo tiene una herramienta, una búsqueda en un diccionario que actúa como tus datos reales. Se detiene cuando el modelo responde sin una llamada a herramienta, o después de un número fijo de pasos.
import json
from openai import OpenAI
client = OpenAI(base_url="https://api.llmmodelsapi.com/v1", api_key="YOUR_KEY")
NOTES = {
"n1": "Invoice 114 was paid on March 3.",
"n2": "Invoice 115 is overdue by 12 days.",
}
def search_notes(query):
return [{"id": k, "text": v} for k, v in NOTES.items() if query.lower() in v.lower()]
TOOLS = [{
"type": "function",
"function": {
"name": "search_notes",
"description": "Search internal notes by keyword",
"parameters": {
"type": "object",
"properties": {"query": {"type": "string"}},
"required": ["query"],
},
},
}]
SYSTEM = "You are a research assistant. Use search_notes when needed, at most five calls. Then answer briefly."
def run(question, max_steps=6):
messages = [
{"role": "system", "content": SYSTEM},
{"role": "user", "content": question},
]
for step in range(max_steps):
resp = client.chat.completions.create(
model="uncensored",
messages=messages,
tools=TOOLS,
temperature=0.3,
max_tokens=500,
)
msg = resp.choices[0].message
messages.append(msg)
if not msg.tool_calls:
return msg.content
for call in msg.tool_calls:
try:
args = json.loads(call.function.arguments)
result = search_notes(args["query"])
except Exception as exc:
result = {"error": str(exc)}
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": json.dumps(result),
})
return "Stopped: step limit reached."
print(run("Which invoice is overdue?"))
Tres detalles merecen atención. El límite de pasos detiene un modelo confundido de buclear hasta que se agote tu presupuesto. El bloque try convierte una cadena de argumento mal formada en un mensaje de error que el modelo puede leer y corregir. Y cada resultado de herramienta se envía de nuevo con el matching tool_call_id, que es cómo el modelo sabe a qué llamada pertenece cada respuesta.
Manejo de respuestas 429 y concurrencia
Los agentes son intermitentes. Un planificador puede distribuir cinco subtareas a la vez, y cada una ejecuta su propio bucle. Ahí es donde aparecen los límites de peticiones.
Una clave completa permite 8 solicitudes concurrentes y 300 solicitudes por minuto. Una clave de prueba permite 2 y 60. Más allá del límite, la API responde con HTTP 429. El código de error te dice qué límite alcanzaste: rate_limited para solicitudes por minuto, concurrency para demasiadas a la vez. En sobrecarga temporal también obtienes un 429, con un encabezado Retry-After: 5.
Trata todos estos como reintentables. Espera el número de segundos del encabezado, o un par de segundos si está ausente, y envía la petición de nuevo. Las peticiones fallidas no se cobran, por lo que los reintentos no cuestan nada. Un pequeño wrapper hace el trabajo.
import time
from openai import OpenAI, RateLimitError
client = OpenAI(base_url="https://api.llmmodelsapi.com/v1", api_key="YOUR_KEY", max_retries=0)
def chat_with_retry(**kwargs):
for attempt in range(5):
try:
return client.chat.completions.create(model="uncensored", **kwargs)
except RateLimitError as err:
wait = 5
if err.response is not None:
wait = int(err.response.headers.get("retry-after", 5))
time.sleep(wait)
raise RuntimeError("Still rate limited after 5 attempts")
Para evitar el 429 desde el principio, limita tu grupo de trabajadores. Un semáforo de 8 coincide con la clave completa. Si transmites respuestas a una interfaz de usuario, recuerda que un stream mantiene su espacio de concurrencia hasta que llega el último token, por lo que un cliente lento que lee una respuesta larga ocupa un espacio todo el tiempo. Leer los encabezados X-RateLimit-Limit-Requests y X-RateLimit-Limit-Concurrency permite que tu código se adapte a la clave que esté usando.
Contexto, memoria y el costo de una ejecución
Cada paso del bucle reenvía la transcripción completa. Así funcionan las APIs de chat, y eso significa que los tokens de entrada crecen con cada llamada a herramienta. Toma una ejecución de seis pasos donde el prompt comienza con 2.000 tokens y crece 1.000 por paso, con 300 tokens de salida por paso.
- Tokens de entrada: 2.000 + 3.000 + 4.000 + 5.000 + 6.000 + 7.000 = 27.000
- Tokens de salida: 6 x 300 = 1.800
- Costo de entrada: 27.000 x 0,15 / 1.000.000 = $0,00405
- Costo de salida: 1.800 x 0,50 / 1.000.000 = $0,0009
- Total: $0.00495 por ejecución
Mil de estas ejecuciones cuestan $4,95. Eso es lo suficientemente barato como para permitir que un agente piense en varios pasos, pero el crecimiento vale la pena vigilarlo. Con 100.000 tokens de espacio, un agente de larga ejecución eventualmente llenará la ventana, y un prompt tan grande cuesta 100.000 x 0,15 / 1.000.000 = $0,015 de entrada en cada paso.
Tres hábitos lo mantienen bajo control. Recorta los resultados grandes de herramientas antes de que entren en la transcripción, por ejemplo los primeros 2.000 caracteres de una página web. Resume los pasos antiguos en un solo mensaje corto una vez que el historial supera un umbral. Y almacena hechos duraderos en tu propia base de datos en lugar de confiar en la conversación como memoria.
El encabezado X-Balance-USD en cada respuesta muestra el crédito restante, por lo que un supervisor de agente puede detener una ejecución cuando el saldo cae por debajo de un mínimo. El crédito es prepago desde $20 y nunca caduca. Consulta la página de precios para bonificaciones de recarga.
Límites honestos para planificar
Los agentes construidos sobre cualquier modelo necesitan guardarrayos, y este no es la excepción. Prepárate para lo siguiente.
- Argumentos mal formados. El modelo puede producir argumentos de herramienta que no son JSON válido o que faltan un campo requerido. Analiza de forma defensiva y devuelve el error como resultado de la herramienta.
- Elección incorrecta de herramienta. Escribe descripciones de herramientas cortas y distintas. Si dos herramientas suenan similares, el modelo las mezclará. Usa
tool_choicepara forzar una llamada específica cuando el flujo lo requiera. - Solo texto. Sin entrada o salida de imagen, sin audio, sin embeddings, sin ajuste fino. Haz esas partes en otro lugar y pasa el resultado como texto.
- Modelo único. Hay un modelo de pesos abiertos detrás del endpoint, no un enrutador entre proveedores. No puedes elegir un modelo más pequeño para pasos fáciles.
- Herramientas destructivas. No le des a un agente una herramienta de eliminación o pago sin un paso de confirmación en tu propio código.
Los agentes de planificación también se benefician de una segunda pasada. Después de que el bucle devuelva una respuesta, puedes hacer otra llamada económica que le pida al modelo verificar la respuesta frente a los resultados de las herramientas que vio, usando el modo JSON para devolver un veredicto y una lista de afirmaciones no admitidas. Eso añade unos pocos cientos de tokens y detecta el fallo más común, que es una respuesta segura que ignora lo que devolvieron las herramientas.
Finalmente, registra cada paso. Almacena los mensajes, los argumentos de las herramientas y el encabezado X-Request-Id de cada respuesta. Cuando una ejecución falla, el ID de solicitud te permite señalar la llamada exacta, y la transcripción registrada muestra qué resultado de herramienta engañó al modelo. Los agentes son más fáciles de mejorar cuando puedes reproducir una ejecución fallida y cambiar una cosa a la vez.
Prueba un agente con la prueba antes de comprometerte. Los nuevos usuarios pueden reclamar $0,50 de crédito, que en la ejecución de seis pasos anterior cubre aproximadamente 101 ejecuciones completas (0,50 / 0,00495). Ten en cuenta las 2 peticiones concurrentes de la prueba y ejecuta un agente a la vez. Para una visión más amplia del servicio, lee la visión general de pago por token. Los prompts no se usan para entrenamiento.
Más guías
Preguntas y respuestas
¿La API admite llamadas a funciones para agentes?
Sí. Acepta herramientas y tool_choice, devuelve tool_calls (incluso en streaming) y acepta resultados como mensajes con role: "tool".
¿Cuántas llamadas de agente pueden ejecutarse en paralelo?
Una clave completa permite 8 peticiones simultáneas y 300 por minuto. Una clave de prueba permite 2 simultáneas y 60 por minuto.
¿Qué debe hacer un agente cuando recibe un 429?
Espera el valor de Retry-After, o unos segundos si no hay ninguno, y reintenta. Las peticiones rechazadas no se cobran.
¿Puede el agente manejar imágenes o audio?
No. El modelo funciona solo con texto, por lo que cualquier otro medio debe procesarse con tus propias herramientas y pasarse como texto.
Tu clave está a un formulario de distancia
Crea una cuenta, copia la clave, cambia la URL base. Esa es toda la configuración.