Panduan Pemanggilan Alat untuk API Model LLM Agen
Agen adalah sebuah siklus: model memilih alat, kode Anda menjalankannya, hasilnya dikembalikan, dan model memutuskan langkah selanjutnya. Berikut adalah versi siklus yang berfungsi, beserta batas dan biaya yang perlu Anda rencanakan.

Poin utama
- Endpoint mendukung alat, tool_choice, streamed tool_calls, dan hasil role tool.
- Bataslah loop Anda, validasi argumen tool, dan coba ulang respons 429 dengan jeda singkat.
- Jaga pekerja paralel pada atau di bawah 8 pada kunci penuh; stream-stream menahan slotnya hingga berakhir.
- Eksekusi agen enam langkah dengan konteks yang tumbuh membutuhkan biaya sekitar setengah sen.
Yang dibutuhkan agen dari API
Jika Anda memilih API model LLM untuk agen, daftar periksa lebih singkat daripada yang disarankan pemasaran. Anda memerlukan pemanggilan fungsi yang andal, jendela konteks yang cukup besar untuk menyimpan transkrip berjalan, batas laju yang dapat diprediksi, dan harga yang tidak menghukum loop yang melakukan banyak panggilan.
API ini mencakup poin-poin tersebut melalui antarmuka OpenAI standar. Ini mendukung tools dan tool_choice, mengembalikan tool_calls dalam respons normal dan streaming, serta menerima hasil alat sebagai pesan dengan role: "tool". Mode JSON tersedia melalui response_format. Jendela konteks adalah 100.000 token untuk prompt plus completion, dan ID modelnya adalah uncensored.
Karena sisi kerangka kerja hanyalah klien OpenAI, sebagian besar pustaka agen yang memungkinkan Anda mengatur URL dasar akan berfungsi. Anda mengarahkannya ke https://api.llmmodelsapi.com/v1, berikan kunci Anda, dan sebutkan modelnya. Detail pengaturan ada di dokumentasi, dan Anda bisa mendapatkan kunci dari halaman kunci.
Dua batas membentuk desain. Pertama, model hanya teks, jadi pemrosesan gambar, audio, atau file harus terjadi di alat Anda dan kembali sebagai teks. Kedua, tidak ada embedding di endpoint ini, jadi jika agen Anda melakukan retrieval, pencarian vektor memerlukan sumber lain.
Prompt sistem agar loop tetap stabil
Kebanyakan kegagalan agen berasal dari instruksi yang kabur, bukan dari API. Prompt sistem yang baik memberi tahu model siapa dirinya, alat apa yang ada, kapan harus berhenti, dan format apa yang harus digunakan untuk jawaban akhir. Berikut adalah contoh untuk asisten riset.
Anda adalah asisten riset. Anda dapat memanggil alat search_notes dan read_note. Panggil alat hanya ketika Anda membutuhkan informasi yang belum Anda miliki. Gunakan maksimal lima panggilan alat. Ketika Anda memiliki cukup informasi, balas dengan jawaban singkat dan daftarkan ID catatan yang Anda gunakan. Jika catatan tidak memuat jawaban, katakan secara jelas.
Perhatikan apa yang dilakukannya. Alat tersebut dinamai, menetapkan anggaran panggilan, menentukan kondisi berhenti, dan memberi izin model untuk mengatakan bahwa ia tidak tahu. Bagian terakhir ini penting, karena agen yang dipaksa menjawab akan mengarang sesuatu.
Atur suhu rendah untuk penggunaan alat. Nilai sekitar 0,2 hingga 0,4 menjaga nama alat dan format argumen tetap stabil. Jika agen Anda juga menulis teks kreatif di akhir, Anda bisa menaikkan suhu hanya untuk panggilan terakhir itu. Parameter seed diteruskan, yang membantu ketika Anda ingin mereproduksi run saat debugging.
Untuk agen fiksi dewasa dan roleplay, pola yang sama berfungsi: masukkan persona, aturan adegan, dan alat dalam pesan sistem. Model dilatih untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah. Konten seksual yang melibatkan anak di bawah umur tetap tidak diperbolehkan.
Loop agen minimal dalam Python
Loop di bawah ini memiliki satu alat, pencarian dalam kamus yang mewakili data asli Anda. Loop berhenti ketika model membalas tanpa panggilan alat, atau setelah jumlah langkah tetap.
import json
from openai import OpenAI
client = OpenAI(base_url="https://api.llmmodelsapi.com/v1", api_key="YOUR_KEY")
NOTES = {
"n1": "Invoice 114 was paid on March 3.",
"n2": "Invoice 115 is overdue by 12 days.",
}
def search_notes(query):
return [{"id": k, "text": v} for k, v in NOTES.items() if query.lower() in v.lower()]
TOOLS = [{
"type": "function",
"function": {
"name": "search_notes",
"description": "Search internal notes by keyword",
"parameters": {
"type": "object",
"properties": {"query": {"type": "string"}},
"required": ["query"],
},
},
}]
SYSTEM = "You are a research assistant. Use search_notes when needed, at most five calls. Then answer briefly."
def run(question, max_steps=6):
messages = [
{"role": "system", "content": SYSTEM},
{"role": "user", "content": question},
]
for step in range(max_steps):
resp = client.chat.completions.create(
model="uncensored",
messages=messages,
tools=TOOLS,
temperature=0.3,
max_tokens=500,
)
msg = resp.choices[0].message
messages.append(msg)
if not msg.tool_calls:
return msg.content
for call in msg.tool_calls:
try:
args = json.loads(call.function.arguments)
result = search_notes(args["query"])
except Exception as exc:
result = {"error": str(exc)}
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": json.dumps(result),
})
return "Stopped: step limit reached."
print(run("Which invoice is overdue?"))
Tiga hal perlu diperhatikan. Batas langkah menghentikan model yang bingung dari pengulangan hingga anggaran Anda habis. Blok try mengubah string argumen yang tidak valid menjadi pesan kesalahan yang dapat dibaca dan diperbaiki oleh model. Dan setiap hasil tool dikirim kembali dengan tool_call_id yang sesuai, yang merupakan cara model mengetahui panggilan mana yang menjadi milik setiap jawaban.
Menangani respons 429 dan konkurensi
Agen bersifat bursty. Perencana dapat mengeluarkan lima sub-tugas sekaligus, dan masing-masing menjalankan loopnya sendiri. Di sinilah batas laju muncul.
Kunci penuh memungkinkan 8 permintaan paralel dan 300 permintaan per menit. Kunci uji coba memungkinkan 2 dan 60. Melebihi batas, API menjawab dengan HTTP 429. Kode kesalahan memberi tahu Anda batas mana yang Anda capai: rate_limited untuk permintaan per menit, concurrency untuk terlalu banyak sekaligus. Saat overload sementara, Anda juga mendapatkan 429, dengan header Retry-After: 5.
Perlakukan semuanya sebagai dapat diulang. Tunggu jumlah detik dalam header, atau beberapa detik jika tidak ada, lalu kirim permintaan lagi. Permintaan yang gagal tidak dikenakan biaya, sehingga retry tidak berbiaya. Wrapper kecil melakukan pekerjaan ini.
import time
from openai import OpenAI, RateLimitError
client = OpenAI(base_url="https://api.llmmodelsapi.com/v1", api_key="YOUR_KEY", max_retries=0)
def chat_with_retry(**kwargs):
for attempt in range(5):
try:
return client.chat.completions.create(model="uncensored", **kwargs)
except RateLimitError as err:
wait = 5
if err.response is not None:
wait = int(err.response.headers.get("retry-after", 5))
time.sleep(wait)
raise RuntimeError("Still rate limited after 5 attempts")
Untuk menghindari 429 sejak awal, batasi kumpulan pekerja Anda. Semaphore 8 cocok dengan kunci penuh. Jika Anda melakukan streaming respons ke antarmuka pengguna, ingatlah bahwa stream menahan slot konkurensinya hingga token terakhir tiba, sehingga klien lambat yang membaca jawaban panjang menempati slot sepanjang waktu. Membaca header X-RateLimit-Limit-Requests dan X-RateLimit-Limit-Concurrency memungkinkan kode Anda beradaptasi dengan kunci mana pun yang digunakannya.
Konteks, memori, dan biaya per eksekusi
Setiap langkah loop mengirim ulang transkrip lengkap. Itulah cara kerja API chat, dan itu berarti token input tumbuh dengan setiap panggilan tool. Ambil eksekusi enam langkah di mana prompt dimulai pada 2.000 token dan tumbuh sebesar 1.000 per langkah, dengan 300 token output per langkah.
- Token input: 2.000 + 3.000 + 4.000 + 5.000 + 6.000 + 7.000 = 27.000
- Token output: 6 x 300 = 1.800
- Biaya input: 27.000 x 0,15 / 1.000.000 = $0,00405
- Biaya output: 1.800 x 0,50 / 1.000.000 = $0,0009
- Total: $0,00495 per eksekusi
Seribu eksekusi seperti itu menghabiskan $4,95. Itu cukup murah untuk memungkinkan agen berpikir dalam beberapa langkah, tetapi pertumbuhan ini patut diperhatikan. Dengan ruang 100.000 token, agen yang berjalan lama akan akhirnya mengisi jendela, dan prompt sebesar itu menghabiskan 100.000 x 0,15 / 1.000.000 = $0,015 untuk input pada setiap langkah.
Tiga kebiasaan menjaga agar semuanya tetap terkendali. Potong besar hasil tool sebelum dimasukkan ke dalam transkrip, misalnya 2.000 karakter pertama dari halaman web. Rangkum langkah-langkah lama menjadi satu pesan singkat sekali riwayat melewati ambang batas. Dan simpan fakta tahan lama di basis data Anda sendiri daripada mengandalkan percakapan sebagai memori.
Header X-Balance-USD pada setiap respons menunjukkan sisa saldo, sehingga supervisor agen dapat menghentikan eksekusi ketika saldo turun di bawah batas minimum. Saldo adalah saldo prabayar mulai dari $20, dan tidak pernah habis. Lihat halaman harga untuk bonus isi saldo.
Batas jujur untuk perencanaan
Agen yang dibangun di atas model apa pun memerlukan pagar pembatas, dan yang ini tidak terkecuali. Bersiaplah untuk hal berikut.
- Argumen tidak valid. Model dapat menghasilkan argumen alat yang bukan JSON valid atau melewatkan bidang yang diperlukan. Parse secara defensif dan kembalikan kesalahan sebagai hasil alat.
- Pilihan alat salah. Tulis deskripsi alat yang singkat dan berbeda. Jika dua alat terdengar mirip, model akan mencampuradukkannya. Gunakan
tool_choiceuntuk memaksa panggilan spesifik ketika alur membutuhkannya. - Hanya teks. Tidak ada input atau output gambar, tidak ada audio, tidak ada embedding, tidak ada fine-tuning. Lakukan bagian-bagian tersebut di tempat lain dan lewatkan hasilnya sebagai teks.
- Model tunggal. Ada satu model bobot terbuka di balik endpoint, bukan router lintas vendor. Anda tidak dapat memilih model yang lebih kecil untuk langkah-langkah yang mudah.
- Alat destruktif. Jangan berikan agen alat hapus atau pembayaran tanpa langkah konfirmasi di kode Anda sendiri.
Agen perencanaan juga mendapat manfaat dari proses kedua. Setelah loop mengembalikan jawaban, Anda dapat melakukan panggilan murah lainnya yang meminta model untuk memeriksa jawaban terhadap hasil alat yang dilihatnya, menggunakan mode JSON untuk mengembalikan putusan dan daftar klaim yang tidak didukung. Itu menambahkan beberapa ratus token dan menangkap kegagalan paling umum, yaitu jawaban percaya diri yang mengabaikan apa yang dikembalikan alat.
Akhirnya, log setiap langkah. Simpan pesan, argumen tool, dan header X-Request-Id dari setiap respons. Ketika eksekusi gagal, ID permintaan memungkinkan Anda menunjuk ke panggilan yang tepat, dan transkrip yang dicatat menunjukkan hasil tool mana yang menyesatkan model. Agen paling mudah ditingkatkan ketika Anda dapat memutar ulang eksekusi yang buruk dan mengubah satu hal pada satu waktu.
Uji agen dengan uji coba sebelum Anda berkomitmen. Pengguna baru dapat mengklaim $0,50 kredit, yang pada run enam langkah di atas mencakup sekitar 101 run penuh (0,50 / 0,00495). Ingatlah 2 permintaan konkuren dari uji coba tersebut dan jalankan satu agen pada satu waktu. Untuk ikhtisar yang lebih luas tentang layanan ini, baca ikhtisar bayar-per-token. Prompt tidak digunakan untuk pelatihan.
Panduan lainnya
Tanya jawab
Apakah API mendukung pemanggilan fungsi untuk agen?
Ya. API ini menerima alat dan tool_choice, mengembalikan tool_calls (termasuk saat streaming), dan menerima hasil sebagai pesan dengan role tool.
Berapa banyak panggilan agen yang dapat berjalan secara paralel?
Kunci penuh mengizinkan 8 permintaan paralel dan 300 per menit. Kunci uji coba mengizinkan 2 paralel dan 60 per menit.
Apa yang harus dilakukan agen ketika mendapatkan 429?
Tunggu nilai Retry-After, atau beberapa detik jika tidak ada, lalu coba lagi. Permintaan yang ditolak tidak dikenakan biaya.
Dapatkah agen menangani gambar atau audio?
Tidak. Model ini hanya bekerja dengan teks, jadi media lain harus diproses oleh alat Anda sendiri dan dimasukkan sebagai teks.
Kunci Anda hanya selangkah lagi dari satu formulir
Buat akun, salin kunci, ubah URL dasar. Itu saja seluruh pengaturannya.