LLM Modelini API Üzerinden Kullanma: Adım Adım
Barındırılan bir dil modelini kullanmak, anahtar, model adı ve mesaj listesi içeren tek bir HTTP çağrısına iner. Bu rehber sizi boş bir klasörden akışa, JSON çıktısına ve araç çağrılarına götürür.

Temel noktalar
- API OpenAI-uyumludur: base URL'yi ve anahtarı değiştirin, SDK'nızı koruyun.
- POST /v1/chat/completions ile uncensored model ID'sini kullanın.
- Akış, JSON modu ve araç çağırma standart parametrelerle çalışır.
- 429 bir limite ulaşıldığını gösterir ve hata kodu hangisi olduğunu söyler.
İlk istekten önce ihtiyacınız olanlar
LLM model uç noktalarını kendi kodunuzda nasıl kullanacağınızı bilmek istiyorsanız, üç şey yeterlidir: bir anahtar, bir base URL ve bir model adı. Kurulacak özel bir istemci yoktur. Farklı bir adrese işaret ettikten sonra herhangi bir OpenAI SDK'sı veya istemcisi çalışır.
- Base URL:
https://api.llmmodelsapi.com/v1 - Model Kimliği:
uncensored - Kimlik doğrulama: SDK'ların sizin için eklediği
Authorization: Bearer YOUR_KEYbaşlığı
Anahtar almak için Google veya e-posta ve şifre ile kaydolun, ardından API anahtarı sayfasını açın. Yeni hesaplar tek tıkla, kart gerekmeden, 7 gün geçerli olmak üzere $0.50 ücretsiz deneme kredisi talep edebilir. Bu makaledeki her şey için bu miktar yeterlidir. Uç nokta iki yöntemi destekler: POST /v1/chat/completions üretim için ve GET /v1/models mevcut olanları listelemek için.
Modelin ne olduğunu bilmek, beklentilerinizin doğru olması için yardımcı olur. Bağımsız bir sağlayıcı tarafından çalışan ve yasal yetişkin kullanım için içerik reddi olmadan yanıt verecek şekilde ayarlanmış bir açık ağırlıklı modeldir. Büyük bir satıcının resmi API'si değildir ve yalnızca metin işler. Görüntü veya ses üretimi, gömme vektörleri veya ince ayar yoktur.
Adım 1: anahtarı curl ile kontrol etme
Herhangi bir uygulama kodu yazmadan önce anahtarın ve ağ yolunun çalıştığını doğrulayın. Modelleri listelemek en ucuz kontroldür, çünkü hiçbir şey üretmez.
export LLM_KEY="paste-your-key-here"
# the list should include the model id: uncensored
curl https://api.llmmodelsapi.com/v1/models -H "Authorization: Bearer $LLM_KEY"
uncensored içeren bir JSON listesi almalısınız. 401 görürseniz, anahtar yanlış veya Bearer kelimesini içermiyor. Şimdi gerçek bir sohbet isteği gönderin.
curl https://api.llmmodelsapi.com/v1/chat/completions -H "Authorization: Bearer $LLM_KEY" -H "Content-Type: application/json" -d '{
"model": "uncensored",
"messages": [
{"role": "system", "content": "You are a concise assistant."},
{"role": "user", "content": "Explain what a context window is in two sentences."}
],
"max_tokens": 150
}'
Yanıt bir choices dizisi içerir ve metin choices[0].message.content konumundadır. Yanıt başlıkları X-Request-Id ve X-Balance-USD taşır, böylece her çağrıda kalan kredisini görebilirsiniz. usage alanı faturalandırma için sayılan tokenları gösterir.
Adım 2: Python veya Node'dan çağırma
Pratikte bir SDK kullanacaksınız. Resmi OpenAI paketini yükleyin, ardından istemciyi oluştururken base URL'yi ayarlayın. Kodunuzun geri kalanı hakkında hiçbir şey değişmez.
Python
from openai import OpenAI
client = OpenAI(
base_url="https://api.llmmodelsapi.com/v1",
api_key="YOUR_KEY",
)
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You answer in plain language."},
{"role": "user", "content": "Give me three names for a fantasy tavern."},
],
temperature=0.9,
max_tokens=200,
)
print(resp.choices[0].message.content)
print(resp.usage.prompt_tokens, resp.usage.completion_tokens)
Node
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.llmmodelsapi.com/v1",
apiKey: process.env.LLM_KEY,
});
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Summarise HTTP caching in one paragraph." }],
});
console.log(resp.choices[0].message.content);
Anahtarı kaynak dosyasında değil, bir ortam değişkeninde tutun. Bir anahtar sızarsa, anahtar sayfasında değiştirin ve eski anahtarın çalışmayı bırakır.
Adım 3: parametrelerle çıktıyı şekillendirme
Model bir metin öngörücüsüdür, bu nedenle isteği nasıl ifade ettiğiniz parametreler kadar önemlidir. Birkaç alışkanlık hemen işe yarar.
- Sistem mesajını kalıcı kurallar için kullanın. Tonu, formatı ve rolü buraya yazın ve kullanıcı mesajını gerçek görev için saklayın.
- Uzunluk konusunda spesifik olun. "Üç madde" veya "120 kelimenin altında" isteyin. Bu,
max_tokensdeğerini düşürmekten daha güvenilirdir; çünkü bu, metni cümle içinde keser. - Sıcaklığı işe göre ayarlayın. 0.2 civarı ayıklama ve sınıflandırma için uygundur. 0.8 ile 1.0 arası kurgu ve rol yapma için uygundur.
- İhtiyacınız olanı geçirin.
top_p,stop,seedve frekans ile varlık cezaları modele geçirilir.
Bağlam penceresi 100,000 token'dır, istem ve tamamlama birlikte sayılır. max_tokens ayarlamanıza gerek yoktur, çünkü yanıt kalan alanı kullanabilir. Yine de ayarlamak maliyet için bir tavan koymak için iyi bir yoldur.
Bu ayarları öğrenmenin pratik bir yolu, aynı istemi farklı sıcaklıklarda üç kez çalıştırmak ve karşılaştırmaktır. Her çalıştırmada bir değeri değiştirin ve geri kalanını sabit tutun, mümkün olduğunda aynı seed değerini kullanın. Bu işlemi on dakika boyunca yaptıktan sonra, modeli göreviniz için nasıl davrandığını, size herhangi bir açıklamanın söyleyemeyeceğinden çok daha iyi anlarsınız ve deneyin maliyeti bir kuruşun çok altındadır.
Fiyatlandırma milyon giriş tokenı başına $0.15 ve milyon çıktı tokenı başına $0.50'dir. 1,500 giriş tokenı ve 400 çıktı tokenı içeren bir istek 1,500 x 0.15 / 1,000,000 = $0.000225 artı 400 x 0.50 / 1,000,000 = $0.0002, yani toplam $0.000425 eder. fiyatlandırma sayfası bakiye yükleme seçeneklerini içerir.
Adım 4: yanıtı akışlı olarak almak
Tam bir yanıt için beklemek etkileşimli bir uygulamada yavaş hissettirir. stream: true ile sunucu tokenları sunucu tarafından gönderilen olaylar olarak gönderir ve arayüzünüz her geldiğinde bunları yazdırabilir. Kullanım akışın sonunda rapor edilir.
from openai import OpenAI
client = OpenAI(base_url="https://api.llmmodelsapi.com/v1", api_key="YOUR_KEY")
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write a short story opening about a lighthouse."}],
stream=True,
stream_options={"include_usage": True},
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if chunk.usage:
print("\ntokens:", chunk.usage.prompt_tokens, chunk.usage.completion_tokens)
Eşzamanlılık hakkında hatırlanması gereken bir şey: akışlı bir istek, akış bitene kadar slotunu işgal eder. Tam anahtar 8 eşzamanlı isteğe izin verir, deneme anahtarı 2'ye izin verir. Tarayıcıda bir akış açar ve asla kapatmazsanız, o slot meşgul kalır.
Adım 5: JSON modu ve fonksiyon çağırma
Başka bir programın yanıtı okuması gerektiğinde, serbest metin bir sorun haline gelir. JSON modu modelden geçerli bir JSON nesnesi döndürmesini ister.
import json
from openai import OpenAI
client = OpenAI(base_url="https://api.llmmodelsapi.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
response_format={"type": "json_object"},
messages=[
{"role": "system", "content": "Reply with JSON only: {\"title\": string, \"tags\": [string]}"},
{"role": "user", "content": "Describe a post about growing tomatoes on a balcony."},
],
)
data = json.loads(resp.choices[0].message.content)
print(data["title"], data["tags"])
JSON modu geçerli sözdizimi garanti eder, ancak tam alan adlarınızı değil, bu yüzden istediğiniz şekli istemde de tanımlayın. Ayrıştırmayı bir try bloğuna sarın ve başarısız olursa bir kez yeniden deneyin.
Araç çağırma, modelin kodunuzun bir işlevi çalıştırmasını sağlar. Araçları tanımlarsınız, model tool_calls girişiyle yanıt verir, çalıştırırsınız ve sonucu role: "tool" ile bir mesaj olarak geri gönderirsiniz.
import json
from openai import OpenAI
client = OpenAI(base_url="https://api.llmmodelsapi.com/v1", api_key="YOUR_KEY")
tools = [{
"type": "function",
"function": {
"name": "get_time",
"description": "Return the current time for a city",
"parameters": {
"type": "object",
"properties": {"city": {"type": "string"}},
"required": ["city"],
},
},
}]
messages = [{"role": "user", "content": "What time is it in Lisbon?"}]
first = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
call = first.choices[0].message.tool_calls[0]
messages.append(first.choices[0].message)
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": json.dumps({"time": "14:05"}),
})
final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
print(final.choices[0].message.content)
Üretimde, model doğrudan yanıt verip işlevi çağırmamak yerine, tool_calls'ün mevcut olup olmadığını kontrol edin. tool_choice parametresi, buna ihtiyacınız olduğunda bir çağrıyı zorlayabilir veya engelleyebilir.
Bir konuşmayı sürdürme
API çağrılar arasında hafızaya sahip değildir. Modelin iki adım önce söylenenleri hatırlamasını istiyorsanız, o oturumları tekrar gönderirsiniz. Bu nedenle bir sohbet uygulaması büyüyebilen bir listedir: kullanıcı mesajını eklersiniz, API'yi çağırırsınız, asistan yanıtını eklersiniz ve tekrar edersiniz.
from openai import OpenAI
client = OpenAI(base_url="https://api.llmmodelsapi.com/v1", api_key="YOUR_KEY")
history = [{"role": "system", "content": "You are a friendly writing coach."}]
def say(text):
history.append({"role": "user", "content": text})
resp = client.chat.completions.create(model="uncensored", messages=history, max_tokens=300)
reply = resp.choices[0].message.content
history.append({"role": "assistant", "content": reply})
return reply
print(say("Give me a tip for opening a short story."))
print(say("Now apply it to a story about a night train."))
Her çağrı tüm listeyi taşıdığı için, maliyet ve gecikme konuşma ile büyür. Geçmiş uzun olduğunda, en eski oturumları atın veya tek paragraflık bir özetle değiştirin. 100,000 token kısa bir romanın uzunluğuna yakındır, bu yüzden çok alanınız var, ancak artık yanıtı desteklemeyen tokenlar için ödeme yapmanın bir nedeni yok.
Aynı nedenle, sistem mesajını kısa ve stabil tutun. Her çağrıda gönderilir, bu nedenle 500 istek boyunca 1,000 tokenlık bir sistem istemi 500,000 giriş tokenıdır, bu da kendi başına 500,000 x 0.15 / 1,000,000 = $0.075 eder.
Yeni başlayanların yaptığı hatalar
- Asistan yanıtını eklemeyi unutmak. Model yalnızca sorularınızı görür ve konuyu kaybeder.
- Gizli bilgileri ön uçta koymak. Tarayıcı kodundaki bir anahtar herkes için görünürdür. API'yi sunucunuzdan çağırın ve kendi uç noktanızı yayınlayın.
- Bir metin öngörücüsünden gerçekler beklemek. Model yanlış ayrıntıları güvenle ifade edebilir. Doğruluk önemli olduğunda kaynak metni isteme verin ve önemli çıktıyı kontrol edin.
- Serbest metin ayrıştırma. Kod yanıtı okumalıysa, normal ifadeler yerine JSON modu veya araç çağırma kullanın.
Hatalar, limitler ve sonraki adımlar
Çoğu sorun kısa bir listeye girer.
| Belirti | Olası neden | Çözüm |
|---|---|---|
| 401 yanıtı | Eksik veya yanlış anahtar | Bearer başlığını ve anahtar sayfasındaki anahtarı kontrol edin |
429, kod rate_limited | Dakikada 300'den fazla istek (deneme anahtarında 60) | Yavaşlayın veya istekleri kuyruğa alın |
429, kod concurrency | Aynı anda 8'den fazla istek (deneme anahtarında 2) | Eşzamanlı işçileri sınırlandırın, açık akışları kapatın |
429 ile Retry-After: 5 | Geçici aşırı yüklenme | 5 saniye bekleyin ve yeniden deneyin |
| İstek çok büyük | Gövde 8 MB'ın üzerinde | Her çağrıda daha az met gönderin |
Kısa gecikmeli basit bir yeniden deneme 429 durumlarını yönetir. Başarısız istekler ücretlendirilmez, bu nedenle yeniden denemenin ek maliyeti yoktur. İstemler eğitim için kullanılmaz.
Buradan API belgeleri her parametreyi listeler ve token başına ödeme genel bakışı hizmetin kimler için olduğunu kapsar. Her yerde geçerli olan bir kural vardır: reşit olmayanlarla ilgili cinsel içerik asla kabul edilmez.
Daha fazla kılavuz
Sorular ve cevaplar
İstek içinde hangi model kimliğini gönderirim?
Her istekte model değeri olarak uncensored kullanın. GET /v1/models çağrısı yaparak bunu doğrulayabilirsiniz.
Özel bir SDK'ya ihtiyacım var mı?
Hayır. Base URL'yi https://api.llmmodelsapi.com/v1 olarak değiştirdikten ve kendi anahtarınızı kullandıktan sonra herhangi bir OpenAI SDK'sı veya istemcisi çalışır.
Kredi kartı olmadan kullanabilir miyim?
Evet, test için. Yeni kullanıcılar kayıt sonrası tek tıkla $0,50 deneme kredisi elde edebilir; kart gerekmez, 7 gün geçerlidir.
İstemim ne kadar büyük olabilir?
Bağlam penceresi, istem ve tamamlama birlikte 100,000 token içerebilir ve istek gövdesi 8 MB'a kadar çıkabilir.
Anahtarınız tek bir formun uzağında
Bir hesap oluşturun, anahtarı kopyalayın ve base URL'yi değiştirin. Kurulum bu kadar basit.