Agentlar için LLM Modelleri API'si: Fonksiyon Çağırma Kılavuzu
Bir ajan bir döngüdür: model bir araç seçer, kodunuz onu çalıştırır, sonuç geri döner ve model sonraki adımı belirler. İşte bu döngünün çalışan bir versiyonu, planlamanız gereken sınırlar ve maliyetler.

Temel noktalar
- Uç nokta, araçları, tool_choice, akışlı tool_calls ve role tool sonuçlarını destekler.
- Döngünüzü sınırlandırın, araç argümanlarını doğrulayın ve kısa bir bekleme süresiyle 429 yanıtlarını yeniden deneyin.
- Tam anahtarla paralel çalışanları 8 veya altında tutun; akışlar, sona erene kadar slotu işgal eder.
- Büyüyen bir bağlamla altı adımlı bir ajan çalıştırması yaklaşık yarım kuruşa mal olur.
Bir ajanın API'den neye ihtiyacı var
Eğer bir LLM modelleri API'si seçiyorsanız, kontrol listesi pazarlamadan daha kısadır. Güvenilir fonksiyon çağırma, çalışan konuşma geçmişini tutacak kadar büyük bir bağlam penceresi, öngörülebilir hız limitleri ve çok sayıda çağrı yapan bir döngüyü cezalandırmayan bir fiyata ihtiyacınız var.
Bu API, standart OpenAI arayüzü üzerinden bu noktaları karşılar. tools ve tool_choice destekler, normal ve akış yanıtlarında tool_calls döndürür ve role: "tool" ile mesaj olarak araç sonuçlarını kabul eder. JSON modu response_format ile kullanılabilir. Bağlam penceresi, istem ve tamamlama için toplam 100,000 token'dır ve model kimliği uncensored'dir.
Çerçeve tarafı sadece OpenAI istemcisi olduğundan, temel URL ayarlayabilen çoğu ajan kütüphanesi çalışır. Onları https://api.llmmodelsapi.com/v1 adresine yönlendirin, anahtarınızı sağlayın ve modeli belirtin. Kurulum detayları dokümantasyonda yer alır ve anahtarı anahtar sayfasından alabilirsiniz.
Tasarımı şekillendiren iki sınır vardır. Birincisi, model yalnızca metin destekler, bu nedenle görsel, ses veya dosya işleme kendi araçlarınızda gerçekleşmeli ve metin olarak geri dönmelidir. İkincisi, bu uç noktada embedding yoktur, bu nedenle agent veri tabanı araması yapıyorsa vektör araması başka bir kaynaktan gelmelidir.
Döngüyü dengede tutacak bir sistem istemi
Çoğu agent hatası API'den değil, belirsiz talimatlardan kaynaklanır. İyi bir sistem istemi modele kim olduğunu, hangi araçların var olduğunu, ne zaman durması gerektiğini ve nihai cevabın formatını söyler. İşte bir araştırma yardımcısı için bir örnek.
Bir araştırma asistanısınız. search_notes ve read_note araçlarını çağırabilirsiniz. Sadece zaten sahip olmadığınız bilgiye ihtiyaç duyduğunuzda bir araç çağırın. En fazla beş araç çağrısı kullanın. Yeterli bilgiye sahip olduğunuzda kısa bir cevap verin ve kullandığınız not ID'lerini listeleyin. Notlar cevabı içermiyorsa, bunu açıkça belirtin.
Ne yaptığını fark edin. Araçları adlandırır, bir çağrı bütçesi belirler, durma koşulunu tanımlar ve modele bilmediğini söylemesi için izin verir. Bu son kısım önemlidir, çünkü zorlanan bir agent bir şeyler uyduracaktır.
Araç kullanımı için düşük bir temperature ayarlayın. 0.2 ile 0.4 arasındaki değerler, araç adlarını ve argüman formatlarını stabil tutar. Agentiniz ayrıca sona yaratıcı metin yazıyorsa, temperature değerini sadece bu son çağrı için artırabilirsiniz. seed parametresi geçirilir, bu da hata ayıklarken bir çalıştırmayı tekrarlamak istediğinizde yardımcı olur.
Yetişkin kurgu ve rol yapma agentları için aynı desen işe yarar: kişiliği, sahne kurallarını ve araçları sistem mesajına yerleştirin. Model, yasal yetişkin kullanım için içerik reddi olmadan cevap verecek şekilde ayarlanmıştır. Reşit olmayanlar içeren cinsel içerik yasaktır.
Python ile minimal bir agent döngüsü
Aşağıdaki döngü bir araç içerir: gerçek verilerinizi temsil eden bir sözlükte arama. Model bir araç çağrısı olmadan cevap verdiğinde veya sabit bir adım sayısına ulaştığında durur.
import json
from openai import OpenAI
client = OpenAI(base_url="https://api.llmmodelsapi.com/v1", api_key="YOUR_KEY")
NOTES = {
"n1": "Invoice 114 was paid on March 3.",
"n2": "Invoice 115 is overdue by 12 days.",
}
def search_notes(query):
return [{"id": k, "text": v} for k, v in NOTES.items() if query.lower() in v.lower()]
TOOLS = [{
"type": "function",
"function": {
"name": "search_notes",
"description": "Search internal notes by keyword",
"parameters": {
"type": "object",
"properties": {"query": {"type": "string"}},
"required": ["query"],
},
},
}]
SYSTEM = "You are a research assistant. Use search_notes when needed, at most five calls. Then answer briefly."
def run(question, max_steps=6):
messages = [
{"role": "system", "content": SYSTEM},
{"role": "user", "content": question},
]
for step in range(max_steps):
resp = client.chat.completions.create(
model="uncensored",
messages=messages,
tools=TOOLS,
temperature=0.3,
max_tokens=500,
)
msg = resp.choices[0].message
messages.append(msg)
if not msg.tool_calls:
return msg.content
for call in msg.tool_calls:
try:
args = json.loads(call.function.arguments)
result = search_notes(args["query"])
except Exception as exc:
result = {"error": str(exc)}
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": json.dumps(result),
})
return "Stopped: step limit reached."
print(run("Which invoice is overdue?"))
Dikkat edilmesi gereken üç detay vardır. Adım limiti, kafası karışmış bir modelin bütçeniz bitene kadar döngüye girmesini engeller. try bloğu, hatalı bir argüman dizisini modelin okuyup düzeltebileceği bir hata mesajına dönüştürür. Ve her araç sonucu, modelin her cevabın hangi çağrıya ait olduğunu bilmesini sağlayan eşleşen tool_call_id ile geri gönderilir.
429 yanıtlarının ve eşzamanlılığın yönetimi
Agentlar patlayıcıdır. Bir planlayıcı aynı anda beş alt görevi dağıtabilir ve her biri kendi döngüsünü çalıştırır. İşte hız limitlerinin ortaya çıktığı yer burasıdır.
Tam bir anahtar 8 eşzamanlı istek ve dakikada 300 istek izni verir. Bir deneme anahtarı 2 ve 60 izni verir. Limitin ötesinde API HTTP 429 ile yanıt verir. Hata kodu hangi limite ulaştığınızı söyler: dakikada istekler için rate_limited, aynı anda çok fazla istek için concurrency. Geçici aşırı yüklenmede de bir Retry-After: 5 başlığı ile 429 alırsınız.
Bunların tümünü yeniden denenebilir olarak ele alın. Başlıktaki saniye sayısını bekleyin veya yoksa birkaç saniye bekleyip isteği tekrar gönderin. Başarısız istekler ücretlendirilmez, bu nedenle yeniden denemeler ücretsizdir. Küçük bir sarmalayıcı bu işi halleder.
import time
from openai import OpenAI, RateLimitError
client = OpenAI(base_url="https://api.llmmodelsapi.com/v1", api_key="YOUR_KEY", max_retries=0)
def chat_with_retry(**kwargs):
for attempt in range(5):
try:
return client.chat.completions.create(model="uncensored", **kwargs)
except RateLimitError as err:
wait = 5
if err.response is not None:
wait = int(err.response.headers.get("retry-after", 5))
time.sleep(wait)
raise RuntimeError("Still rate limited after 5 attempts")
429'u ilk anda önlemek için çalışan havuzunuzu sınırlandırın. Bir semaphore 8 ile tam anahtarı eşleştirir. Kullanıcı arayüzüne akış yanıtları gönderiyorsanız, bir akışın son token gelene kadar eşzamanlılık slotunu işgal ettiğini unutmayın; yavaş bir istemci uzun bir cevabı okurken slotu tüm süre boyunca işgal eder. X-RateLimit-Limit-Requests ve X-RateLimit-Limit-Concurrency başlıklarını okumak kodunuzun kullandığı anahtara göre adapte olmasını sağlar.
Bağlam, bellek ve bir çalıştırmanın maliyeti
Döngünün her adımı tam konuşma geçmişini yeniden gönderir. Bu sohbet API'lerinin çalışma şeklidir ve bu da her araç çağrısında girdi tokenlarının arttığı anlamına gelir. İsteği 2.000 token ile başlatan ve her adımda 1.000 token artan, adım başı 300 çıktı tokenı olan altı adımlı bir çalıştırmayı ele alalım.
- Girdi tokenları: 2.000 + 3.000 + 4.000 + 5.000 + 6.000 + 7.000 = 27.000
- Çıktı tokenları: 6 x 300 = 1.800
- Girdi maliyeti: 27.000 x 0,15 / 1.000.000 = $0,00405
- Çıktı maliyeti: 1.800 x 0,50 / 1.000.000 = $0,0009
- Toplam: Çalıştırma başına $0,00495
Böyle bin çalıştırma $4,95'e mal olur. Bu, bir agent'ın birkaç adımda düşünmesine izin verecek kadar ucuzdur, ancak büyüme izlenmelidir. 100.000 tokenlık bir alanla, uzun süre çalışan bir agent sonunda pencereyi dolduracaktır ve bu kadar büyük bir istek, her adımda girdi için 100.000 x 0,15 / 1.000.000 = $0,015 maliyetinde olacaktır.
Kontrol altında tutmak için üç alışkanlık. Büyük araç sonuçlarını konuşma geçmişine eklemeden önce kısaltın, örneğin bir web sayfasının ilk 2.000 karakteri. Geçmiş bir eşiği aştığında eski adımları tek bir kısa mesajda özetleyin. Ve kalıcı gerçekleri konuşmayı bellek olarak kullanmak yerine kendi veritabanınızda saklayın.
Her yanıtta X-Balance-USD başkalığı kalan krediyi gösterir, böylece bir agent yöneticisi bakiye bir tabandan altına düştüğünde bir çalıştırmayı durdurabilir. Kredi $20'dan ön ödemelidir ve hiç sona ermez. Üst yükleme bonusları için fiyatlandırma sayfasına bakın.
Planlama için dürüst sınırlar
Herhangi bir model üzerine inşa edilmiş agent'ların güvenlik önlemlerine ihtiyacı vardır ve bu da istisna değildir. Aşağıdakilere hazır olun.
- Hatalı argümanlar. Model, geçerli JSON olmayan veya gerekli bir alanı eksik bırakan araç argümanları üretebilir. Savunmacıca ayrıştırın ve hatayı araç sonucu olarak döndürün.
- Yanlış araç seçimi. Kısa ve ayrı araç tanımları yazın. İki araç birbirine benziyorsa, model bunları karıştırır. Akışın bir çağrı gerektirdiğinde belirli bir çağrıyı zorlamak için
tool_choicekullanın. - Yalnızca metin. Giriş veya çıktı görseli yok, ses yok, embedding yok, ince ayar yok. Bu kısımları başka yerde yapın ve sonucu metin olarak iletin.
- Tek model. Uç noktanın arkasında bir açık ağırlıklı model vardır, tedarikçiler arasında bir yönlendirici değil. Kolay adımlar için daha küçük bir model seçemezsiniz.
- Yıkıcı araçlar. Bir agent'a kendi kodunuzda bir onay adımı olmadan silme veya ödeme aracı vermeyin.
Planlama ajanları ikinci bir aşamadan da yararlanır. Döngü bir yanıt döndürdükten sonra, modelden araç sonuçlarına göre yanıtı kontrol etmesini isteyerek, bir karar ve desteklenmeyen iddialar listesi döndürmek için JSON modunu kullanarak daha ucuz bir istek yapabilirsiniz. Bu, birkaç yüz token ekler ve araçların döndürdüğü veriyi görmezden gelen, kendinden emin bir yanıt hatasını yakalar.
Son olarak, her adımı günlüğe kaydedin. Mesajları, araç argümanlarını ve her yanıtın X-Request-Id başlığını kaydedin. Bir çalıştırma yanlış gittiğinde, istek kimliği tam olarak hangi çağrıya işaret etmenizi sağlar ve günlüğe kaydedilen konuşma geçmişi modeli hangi araç sonucunun yanılttığını gösterir. Agent'lar, kötü bir çalıştırmayı tekrar oynatabildiğiniz ve bir seferde bir şeyi değiştirebildiğiniz zaman en kolay geliştirilebilirler.
Bağlı kalmadan önce bir ajanı deneme kredisi ile test edin. Yeni kullanıcılar 0,50 $ ön ödemeli kredi talep edebilir; bu miktar, yukarıdaki altı adımlı çalışmada yaklaşık 101 tam çalışmayı kapsar (0,50 / 0,00495). Deneme süresindeki 2 eşzamanlı istek sınırını göz önünde bulundurarak ajanları tek tek çalıştırın. Hizmet hakkında daha geniş bir bakış için token başı ödeme genel bakışını okuyun. İstemler eğitim için kullanılmaz.
Daha fazla kılavuz
Sorular ve cevaplar
API, agent'lar için fonksiyon çağırma destekliyor mu?
Evet. Araçları ve tool_choice'u kabul eder, tool_calls döndürür (akış sırasında da), sonuçları role: tool mesajı olarak alır.
Paralel olarak kaç agent çağrısı çalıştırılabilir?
Tam anahtar 8 eşzamanlı istek ve dakikada 300 istek izni verir. Deneme anahtarı dakikada 2 eşzamanlı ve 60 istek izni verir.
429 hatası aldığında bir agent ne yapmalı?
Retry-After değerini veya yoksa birkaç saniyeyi bekleyin ve yeniden deneyin. Reddedilen istekler ücretlendirilmez.
Agent görselleri veya sesi işleyebilir mi?
Hayır. Model yalnızca metin ile çalışır, bu nedenle diğer medya türleri kendi araçlarınızla işlenmeli ve metin olarak iletilmelidir.
Anahtarınız tek bir formun uzağında
Bir hesap oluşturun, anahtarı kopyalayın ve base URL'yi değiştirin. Kurulum bu kadar basit.