ID ▾
Dapatkan kunci API

API LLM dalam Python: Chat, Streaming, dan Tool Calls

Panduan API LLM Python ini menggunakan SDK OpenAI resmi yang ditunjuk ke endpoint yang kompatibel dengan OpenAI. Anda mendapatkan panggilan pertama, streaming, pemanggilan alat, dan logika retry dalam kode yang bisa Anda tempel dan jalankan.

Diperbarui

Pita blok kode mengalir dari laptop ke gelembung obrolan, mengilustrasikan panggilan API LLM Python
01

Poin utama

  • Instal openai, atur URL dasar dan kunci, lalu gunakan ID model uncensored.
  • Stream dengan stream=True dan tutup stream lebih awal untuk membebaskan slot konkurensi.
  • Pemanggilan alat mengembalikan argumen yang harus Anda uraikan dan validasi sebelum menjalankan apa pun.
  • Tangani 429 dengan Retry-After dan batasi permintaan paralel hingga 8 pada kunci penuh.

Instal SDK dan buat panggilan pertama

Jika Anda menginginkan setup API LLM Python yang bekerja dalam lima menit, SDK OpenAI adalah satu-satunya yang Anda butuhkan. API ini kompatibel dengan OpenAI, jadi Anda tetap menggunakan klien resmi dan mengubah dua nilai: base URL dan kunci. ID modelnya adalah uncensored.

Pertama-tama, dapatkan kunci. Daftar di halaman kunci API, klaim kredit uji coba satu klik, dan salin kuncinya. Kemudian instal klien dan simpan kunci di luar kode sumber Anda.

pip install openai
export LLM_API_KEY="your-key-here"

Sekarang program terkecil yang berguna:

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.llmmodelsapi.com/v1",
    api_key=os.environ["LLM_API_KEY"],
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a concise technical assistant."},
        {"role": "user", "content": "Explain what a context window is in two sentences."},
    ],
    temperature=0.7,
)

print(resp.choices[0].message.content)
print(resp.usage)

Itulah seluruh integrasinya. resp.usage memberikan jumlah token prompt dan completion, yang dapat Anda kalikan dengan tarif di halaman harga ($0,15 per 1 juta token input, $0,50 per 1 juta token output) untuk melihat biaya setiap panggilan. Endpoint yang sama juga menerima POST /v1/responses jika kode Anda sudah menggunakan format tersebut, dan GET /v1/models mencantumkan ID model.

Seperti apa permintaan dan responsnya

Klien OpenAI menyembunyikan detail HTTP, tetapi penting untuk mengetahuinya ketika terjadi kesalahan. SDK mengirim POST ke /v1/chat/completions dengan token bearer. Anda dapat mereproduksi panggilan dengan curl dan membandingkannya.

curl https://api.llmmodelsapi.com/v1/chat/completions \
  -H "Authorization: Bearer $LLM_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "uncensored", "messages": [{"role": "user", "content": "Say hello"}]}'

Parameter berguna yang diteruskan ke model: temperature, top_p, stop, seed dan penalti frekuensi serta kehadiran. max_tokens bersifat opsional. Jika Anda tidak mengisinya, penyelesaian dapat menggunakan sisa jendela 100.000 token (prompt dan penyelesaian bersama-sama).

Dua header respons layak dicatat di setiap panggilan: X-Request-Id untuk pertanyaan dukungan, dan X-Balance-USD untuk sisa kredit Anda. Dengan SDK Python, Anda mengaksesnya melalui respons mentah:

raw = client.chat.completions.with_raw_response.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Ping"}],
    max_tokens=20,
)
print(raw.headers.get("X-Request-Id"))
print(raw.headers.get("X-Balance-USD"))
completion = raw.parse()
print(completion.choices[0].message.content)

Streaming token saat tiba

Untuk antarmuka obrolan dan apa pun yang ditunggu orang, alirkan jawaban. Tetapkan stream=True dan iterasi melalui potongan-potongan. API mengirimkannya melalui server-sent events, dan potongan terakhir membawa penggunaan saat Anda memintanya.

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a short product description for a mechanical keyboard."}],
    stream=True,
    stream_options={"include_usage": True},
)

for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        print("\n", chunk.usage)

Dua detail sering membuat bingung. Pertama, beberapa potongan memiliki daftar choices kosong (misalnya potongan penggunaan), jadi lindungi sebelum melakukan indeks. Kedua, permintaan streaming memegang slot konkurensinya hingga aliran berakhir. Jika Anda membuka aliran dan meninggalkannya tanpa menutup, slot itu tetap sibuk dan panggilan selanjutnya dapat gagal dengan error concurrency. Gunakan aliran dalam blok with atau panggil stream.close() saat Anda berhenti membaca lebih awal.

Jika stream terputus dengan pesan yang tidak jelas, artikel tentang cara menggunakan model LLM di situs ini mencakup dasar-dasar membaca error dan melakukan retry.

Pemanggilan alat terhadap model

Pemanggilan alat memungkinkan model meminta kode Anda menjalankan fungsi dan kemudian melanjutkan dengan hasilnya. Alur ini memiliki tiga langkah: kirimkan definisi alat, jalankan apa pun yang diminta model, dan kirimkan hasilnya kembali dengan role: "tool".

import json

def get_order_status(order_id: str) -> str:
    # Replace with a real lookup
    return json.dumps({"order_id": order_id, "status": "shipped"})

tools = [{
    "type": "function",
    "function": {
        "name": "get_order_status",
        "description": "Look up the status of an order by its ID",
        "parameters": {
            "type": "object",
            "properties": {"order_id": {"type": "string"}},
            "required": ["order_id"],
        },
    },
}]

messages = [{"role": "user", "content": "Where is order A-1042?"}]
first = client.chat.completions.create(
    model="uncensored", messages=messages, tools=tools, tool_choice="auto"
)

msg = first.choices[0].message
if msg.tool_calls:
    messages.append(msg)
    for call in msg.tool_calls:
        args = json.loads(call.function.arguments)
        messages.append({
            "role": "tool",
            "tool_call_id": call.id,
            "content": get_order_status(**args),
        })
    final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
    print(final.choices[0].message.content)
else:
    print(msg.content)

Selalu uraikan call.function.arguments sebagai JSON di dalam blok try pada kode nyata, karena model terkadang menghasilkan argumen yang tidak sesuai dengan skema Anda. Validasi sebelum menjalankan apa pun yang memiliki efek samping. Untuk loop agen yang lebih panjang, lihat panduan menggunakan API ini untuk agen.

Pemanggilan alat juga dialirkan: argumen tiba dalam potongan di delta.tool_calls, dan Anda menggabungkannya berdasarkan indeks hingga aliran selesai.

Mode JSON untuk output terstruktur

Saat Anda memerlukan output yang dapat dibaca mesin daripada teks naratif, atur response_format menjadi objek JSON. Jelaskan bentuk yang Anda inginkan dalam prompt, karena mode JSON menjamin sintaks JSON yang valid tetapi tidak menjamin skema tertentu Anda.

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "Reply only with JSON: {\"sentiment\": \"positive|negative|neutral\", \"confidence\": 0-1}"},
        {"role": "user", "content": "The setup took ten minutes and everything just worked."},
    ],
    response_format={"type": "json_object"},
    temperature=0,
)
data = json.loads(resp.choices[0].message.content)
print(data["sentiment"])

Gunakan temperature=0 untuk ekstraksi dan klasifikasi agar hasil berulang memberikan label yang sama. Tambahkan seed jika Anda ingin membatasi sampling lebih lanjut, dan tetap validasi hasil yang diuraikan terhadap skema Anda sendiri.

Batasan, retry, dan penanganan error

Kunci penuh mengizinkan 8 permintaan konkuren dan 300 permintaan per menit. Kunci uji coba mengizinkan 2 permintaan konkuren dan 60 per menit. Melebihi salah satu akan mengembalikan HTTP 429. Kode error memberi tahu Anda batas mana yang Anda lewati: rate_limited untuk permintaan per menit dan concurrency untuk terlalu banyak sekaligus. Saat beban sementara, Anda juga mendapatkan 429 dengan header Retry-After: 5.

SDK OpenAI sudah melakukan retry untuk beberapa kegagalan, tetapi Anda harus mengatur kebijakan sendiri:

import os
import time
from openai import OpenAI, RateLimitError, APIConnectionError

client = OpenAI(base_url="https://api.llmmodelsapi.com/v1", api_key=os.environ["LLM_API_KEY"], max_retries=0, timeout=120)

def ask(messages, tries=5):
    delay = 2
    for attempt in range(tries):
        try:
            return client.chat.completions.create(model="uncensored", messages=messages)
        except RateLimitError as e:
            wait = float(e.response.headers.get("Retry-After", delay))
            time.sleep(wait)
            delay = min(delay * 2, 30)
        except APIConnectionError:
            time.sleep(delay)
            delay = min(delay * 2, 30)
    raise RuntimeError("gave up after retries")

Jika Anda menyebarkan pekerjaan dengan thread atau asyncio, batasi pool hingga 8 (atau 2 pada kunci uji coba) dengan semaphore. Itu menjaga Anda di bawah batas konkurensi tanpa mengandalkan coba ulang. Permintaan yang gagal atau ditolak tidak dibebankan biaya, sehingga melakukan coba ulang tidak menambah biaya untuk upaya yang gagal.

Periksa saldo Anda dari kode dengan GET /v1/balance, atau baca X-Balance-USD dari respons apa pun. Daftar parameter lengkap ada di dokumentasi API.

Biaya menjalankan contoh-contoh ini

Contoh di atas sangat kecil. Panggilan dengan 300 token prompt dan 200 token penyelesaian berharga 300 x $0,15 / 1 juta ditambah 200 x $0,50 / 1 juta, yaitu $0,000045 ditambah $0,0001, atau $0,000145. Sekitar 6.900 panggilan seperti itu masuk dalam satu dolar. Kredit uji coba $0,50 mencakup sekitar 3.400 panggilan, dan berlaku selama 7 hari tanpa rincian pembayaran.

Setelah uji coba, isi saldo dengan jumlah bulat apa pun dari $20 hingga $500, dengan bonus 5% dari $50, 10% dari $100, dan 15% dari $200. Kredit tidak kadaluarsa dan tidak ada langganan. Prompt tidak digunakan untuk pelatihan.

02

Tanya jawab

Bisakah saya menggunakan pustaka Python resmi OpenAI?

Ya. Tetapkan base_url ke alamat API dan api_key ke kunci Anda, lalu panggil chat.completions.create dengan model uncensored.

Apakah API mendukung async Python?

Ya, gunakan AsyncOpenAI dengan base URL dan kunci yang sama. Pertahankan tugas konkuren pada atau di bawah 8 untuk kunci penuh, atau 2 untuk kunci uji coba.

Bagaimana saya melihat berapa banyak token yang digunakan panggilan?

Baca resp.usage pada panggilan normal, atau berikan stream_options dengan include_usage pada panggilan streaming. Kalikan dengan $0,15 per 1 juta token input dan $0,50 per 1 juta token output.

Seberapa panjang prompt saya?

Jendela konteks adalah 100.000 token, gabungan prompt dan completion. Body permintaan dibatasi hingga 8 MB.

Kunci Anda hanya selangkah lagi dari satu formulir

Buat akun, salin kunci, ubah base URL. Itu saja seluruh pengaturannya.

Dapatkan kunci API