TR ▾
API anahtarı al

Python ile LLM API: Sohbet, Akış ve Araç Çağrıları

Bu LLM API Python rehberi, OpenAI-uyumlu bir uç noktaya işaret eden resmi OpenAI SDK'sını kullanır. Yapıştırıp çalıştırabileceğiniz kodda ilk çağrı, akış, bir araç çağrısı ve yeniden deneme mantığı elde edersiniz.

güncellendi

Bir dizüstü bilgisayardan sohbet balonlarına akan kod blokları şeridi, bir Python LLM API çağrısını gösteriyor
01

Temel noktalar

  • openai'ı yükleyin, base URL ve anahtarı ayarlayın ve uncensored model kimliğini kullanın.
  • stream=True ile akış yapın ve eşzamanlılık slotunu serbest bırakmak için akışı erken kapatın.
  • Araç çağrıları, herhangi bir şeyi çalıştırmadan önce ayrıştırmanız ve doğrulamanız gereken argümanları döndürür.
  • 429'ı Retry-After ile yönetin ve tam anahtarda eşzamanlı istekleri 8 ile sınırlayın.

SDK'yi yükleyin ve ilk çağrıyı yapın

Beş dakikada çalışan bir LLM API Python kurulumu istiyorsanız, OpenAI SDK'sı ihtiyacınız olan tek şeydir. API OpenAI-uyumludur, bu nedenle resmi istemciyi korursunuz ve iki değeri değiştirirsiniz: base URL ve anahtar. Model kimliği uncensored'dir.

Önce bir anahtar edinin. API anahtarı sayfası üzerinde kaydolun, tek tıkla deneme kredisi talep edin ve anahtarı kopyalayın. Ardından istemciyi yükleyin ve anahtarı kaynak kodunuzun dışında tutun.

pip install openai
export LLM_API_KEY="your-key-here"

Şimdi en küçük kullanışlı program:

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.llmmodelsapi.com/v1",
    api_key=os.environ["LLM_API_KEY"],
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a concise technical assistant."},
        {"role": "user", "content": "Explain what a context window is in two sentences."},
    ],
    temperature=0.7,
)

print(resp.choices[0].message.content)
print(resp.usage)

Bu bütün entegrasyondur. resp.usage istem ve tamamlama token sayılarını verir; bunları fiyatlandırma sayfası üzerindeki oranlarla (1M giriş token'ı başına $0.15, 1M çıkış token'ı başına $0.50) çarparak her çağrının maliyetini görebilirsiniz. Aynı uç nokta, kodunuz zaten bu formatı kullanıyorsa POST /v1/responses'i de kabul eder ve GET /v1/models model kimliğini listeler.

İstek ve yanıtın görünümü

OpenAI istemcisi HTTP ayrıntılarını gizler, ancak bir şeyler ters gittiğinde bunları bilmek faydalı olur. SDK, bir bearer token ile POST istemini /v1/chat/completions uç noktasına gönderir. Bu çağrıyı curl ile yeniden üretebilir ve karşılaştırabilirsiniz.

curl https://api.llmmodelsapi.com/v1/chat/completions \
  -H "Authorization: Bearer $LLM_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "uncensored", "messages": [{"role": "user", "content": "Say hello"}]}'

Modele aktarılan yararlı parametreler: temperature, top_p, stop, seed ve sıklık ile var olma cezaları. max_tokens isteğe bağlıdır. Bırakırsanız, tamamlama 100.000 token'lık pencerenin (istem ve tamamlama birlikte) kalanını kullanabilir.

Her çağrıda loglamanız gereken iki yanıt başlığı vardır: destek soruları için X-Request-Id ve kalan krediniz için X-Balance-USD. Python SDK ile ham yanıt üzerinden bunlara erişirsiniz:

raw = client.chat.completions.with_raw_response.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Ping"}],
    max_tokens=20,
)
print(raw.headers.get("X-Request-Id"))
print(raw.headers.get("X-Balance-USD"))
completion = raw.parse()
print(completion.choices[0].message.content)

Gelen tokenları akış halinde alma

Sohbet arayüzleri ve bir kişinin beklediği her şey için yanıtı akış olarak gönderin. stream=True ayarlayın ve parçalarda gezinin. API bunları sunucu tarafından gönderilen olaylar üzerinden gönderir ve son parça, isterseniz kullanım bilgisini taşır.

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a short product description for a mechanical keyboard."}],
    stream=True,
    stream_options={"include_usage": True},
)

for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        print("\n", chunk.usage)

İki detay kafa karıştırır. İlk olarak, bazı parçalarda boş bir choices listesi vardır (örneğin kullanım parçası), bu nedenle dizinlemeden önce koruma sağlayın. İkinci olarak, akışlı bir istek, akış bitene kadar eşzamanlılık yuvasını tutar. Bir akış açar ve kapatmadan bırakırsanız, bu yuva meşgul kalır ve sonraki çağrılar concurrency hatası ile başarısız olabilir. Erken okumayı bırakırsanız akışı bir with bloğunda kullanın veya stream.close() çağrısı yapın.

Bir akış belirsiz bir mesajla kesilirse, bu sitedeki bir LLM modelinin nasıl kullanılacağı hakkındaki makale hata okuma ve yeniden deneme temellerini kapsar.

Model için bir araç çağrısı

Fonksiyon çağırma, modelin kodunuzun bir fonksiyonu çalıştırmasını ve ardından sonuçla devam etmesini sağlar. Akış üç adımdan oluşur: araç tanımlarını gönderin, modelin istediği herhangi bir şeyi çalıştırın ve role: "tool" ile çıktıyı geri gönderin.

import json

def get_order_status(order_id: str) -> str:
    # Replace with a real lookup
    return json.dumps({"order_id": order_id, "status": "shipped"})

tools = [{
    "type": "function",
    "function": {
        "name": "get_order_status",
        "description": "Look up the status of an order by its ID",
        "parameters": {
            "type": "object",
            "properties": {"order_id": {"type": "string"}},
            "required": ["order_id"],
        },
    },
}]

messages = [{"role": "user", "content": "Where is order A-1042?"}]
first = client.chat.completions.create(
    model="uncensored", messages=messages, tools=tools, tool_choice="auto"
)

msg = first.choices[0].message
if msg.tool_calls:
    messages.append(msg)
    for call in msg.tool_calls:
        args = json.loads(call.function.arguments)
        messages.append({
            "role": "tool",
            "tool_call_id": call.id,
            "content": get_order_status(**args),
        })
    final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
    print(final.choices[0].message.content)
else:
    print(msg.content)

Gerçek kodda her zaman call.function.arguments'i bir try bloğu içinde JSON olarak ayrıştırın, çünkü modeller zaman zaman şemanızla eşleşmeyen argümanlar üretebilir. Yan etkileri olan herhangi bir şeyi çalıştırmadan önce doğrulayın. Daha uzun ajan döngüleri için ajanlar için bu API'nin nasıl kullanılacağı rehberine bakın.

Araç çağrıları da akış yapar: argümanlar delta.tool_calls içinde parçalar halinde gelir ve akış bitene kadar onları dizine göre birleştirirsiniz.

Yapılandırılmış çıktı için JSON modu

Yazı yerine makine tarafından okunabilir çıktıya ihtiyacınız olduğunda, response_format'i bir JSON nesnesine ayarlayın. İstediğiniz şekli istemde açıklayın, çünkü JSON modu geçerli JSON sözdizimini garanti eder ancak özel şemanızı garanti etmez.

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "Reply only with JSON: {\"sentiment\": \"positive|negative|neutral\", \"confidence\": 0-1}"},
        {"role": "user", "content": "The setup took ten minutes and everything just worked."},
    ],
    response_format={"type": "json_object"},
    temperature=0,
)
data = json.loads(resp.choices[0].message.content)
print(data["sentiment"])

Çıkarma ve sınıflandırma için temperature=0 kullanın, böylece tekrarlanan çalıştırmalar aynı etiketleri verir. Örneklemeyi daha da sabitlemek istiyorsanız seed ekleyin ve ayrıştırılan sonucu kendi şemanızla doğrulamaya devam edin.

Limitler, yeniden denemeler ve hata işleme

Tam bir anahtar 8 eşzamanlı istek ve dakika başına 300 istek izin verir. Bir deneme anahtarı 2 eşzamanlı ve dakika başına 60 izin verir. Bunlardan herhangi birini aşmak HTTP 429 döndürür. Hata kodu hangi limite ulaştığınızı söyler: dakika başına istekler için rate_limited ve aynı anda çok fazla için concurrency. Geçici aşırı yüklenmede ayrıca Retry-After: 5 başlığı ile bir 429 alırsınız.

OpenAI SDK zaten bazı hataları yeniden dener, ancak politikayı kendiniz ayarlamalısınız:

import os
import time
from openai import OpenAI, RateLimitError, APIConnectionError

client = OpenAI(base_url="https://api.llmmodelsapi.com/v1", api_key=os.environ["LLM_API_KEY"], max_retries=0, timeout=120)

def ask(messages, tries=5):
    delay = 2
    for attempt in range(tries):
        try:
            return client.chat.completions.create(model="uncensored", messages=messages)
        except RateLimitError as e:
            wait = float(e.response.headers.get("Retry-After", delay))
            time.sleep(wait)
            delay = min(delay * 2, 30)
        except APIConnectionError:
            time.sleep(delay)
            delay = min(delay * 2, 30)
    raise RuntimeError("gave up after retries")

İşleri iş parçacıkları veya asyncio ile dağıtırsanız, bir semafor ile havuzu 8'de (veya deneme anahtarında 2'de) sınırlayın. Bu, geri denemelere güvenmeden eşzamanlılık sınırının altında kalmanızı sağlar. Başarısız veya reddedilen istekler ücretlendirilmez, bu nedenle yeniden deneme başarısız denemeler için ek maliyet oluşturmaz.

Koddan bakiyenizi GET /v1/balance ile kontrol edin veya herhangi bir yanıttan X-Balance-USD okuyun. Tam parametre listesi API belgelerinde yer alır.

Bu örneklerin çalıştırma maliyeti nedir

Yukarıdaki örnekler küçüktür. 300 istem token ve 200 tamamlama token içeren bir çağrı, 300 x $0,15 / 1M artı 200 x $0,50 / 1M maliyetinde olur; bu da $0,000045 artı $0,0001, yani $0,000145 eder. Yaklaşık 6.900 böyle çağrı bir dolara sığar. $0,50 deneme kredisi yaklaşık 3.400 tanesini karşılar ve ödeme bilgileri olmadan 7 gün boyunca geçerlidir.

Deneme süresinden sonra, $20 ile $500 arasında herhangi bir tam tutarı bakiye yükleyin; $50'den %5, $100'den %10 ve $200'den %15 bonus ile. Kredi süresi dolmaz ve abonelik yoktur. İstemler eğitim için kullanılmaz.

02

Sorular ve cevaplar

Resmi OpenAI Python kütüphanesini kullanabilir miyim?

Evet. base_url'i API adresine ve api_key'i anahtarınıza ayarlayın, ardından model uncensored ile chat.completions.create çağrısını yapın.

API asenkron Python'u destekliyor mu?

Evet, aynı base URL ve anahtar ile AsyncOpenAI kullanın. Tam anahtarda eşzamanlı görevleri 8'e veya altında, deneme anahtarında 2'ye veya altında tutun.

Bir çağrının kaç token kullandığını nasıl görürüm?

Normal çağrıda resp.usage değerini okuyun veya akışlı çağrıda stream_options ile include_usage parametresini geçirin. 1M input token başına $0,15 ve 1M output token başına $0,50 ile çarpın.

İstemim ne kadar uzun olabilir?

Bağlam penceresi 100.000 token'dır; istem ve tamamlama birlikte. İstek gövdesi 8 MB ile sınırlıdır.

Anahtarınız tek bir formun uzağında

Bir hesap oluşturun, anahtarı kopyalayın ve base URL'yi değiştirin. Kurulum bu kadar basit.

API anahtarı al