TH ▾
รับคีย์ API

วิธีใช้โมเดล LLM ผ่าน API ทีละขั้นตอน ทีละขั้นตอน

การใช้โมเดลภาษาแบบโฮสต์สรุปได้เป็นเพียงคำขอ HTTP หนึ่งครั้งด้วยคีย์ ชื่อโมเดล และรายการข้อความ คู่มือนี้จะนำคุณจากโฟลเดอร์ว่างเปล่าไปสู่การสตรีม ผลลัพธ์ JSON และการเรียกใช้ฟังก์ชัน

อัปเดต

เทอร์มินัลที่เชื่อมต่อกับกลุ่มฟองแชทที่มีข้อมูลสตรีมมิงระหว่างกัน ซึ่งแสดงถึงการเรียกใช้ LLM API
01

ประเด็นสำคัญ

  • API นี้เข้ากันได้กับ OpenAI: เปลี่ยน URL พื้นฐานและคีย์ รักษา SDK ของคุณไว้
  • ใช้โมเดล ID uncensored กับ POST /v1/chat/completions
  • การสตรีมมิง โหมด JSON และการเรียกใช้ฟังก์ชันทำงานได้ทั้งหมดด้วยพารามิเตอร์มาตรฐาน
  • รหัส 429 หมายถึงถึงขีดจำกัดแล้ว และรหัสข้อผิดพลาดจะบอกคุณว่าถึงขีดจำกัดใด

สิ่งที่คุณต้องมีก่อนคำขอแรก

หากคุณต้องการเรียนรู้วิธีใช้เอนด์พอยต์ของโมเดล LLM ในโค้ดของคุณเอง สิ่งสามอย่างนี้ก็เพียงพอแล้ว: คีย์, Base URL และชื่อโมเดล ไม่ต้องติดตั้งไคลเอนต์พิเศษ SDK หรือไคลเอนต์ของ OpenAI ใด ๆ ก็ใช้งานได้เมื่อคุณชี้ไปที่ที่อยู่อื่น

  • Base URL: https://api.llmmodelsapi.com/v1
  • รหัสโมเดล: uncensored
  • การตรวจสอบสิทธิ์: ส่วนหัว Authorization: Bearer YOUR_KEY ซึ่ง SDK จะเพิ่มให้ให้คุณ

ในการรับคีย์ ให้สมัครสมาชิกด้วย Google หรือด้วยอีเมลและรหัสผ่าน จากนั้นเปิด หน้าคีย์ API บัญชีใหม่สามารถรับเครดิตทดลองใช้มูลค่า $0.50 ได้ด้วยการคลิกเพียงครั้งเดียว ไม่ต้องใช้บัตร และใช้ได้เป็นเวลา 7 วัน นั่นเพียงพอสำหรับทุกอย่างในบทความนี้ เอนด์พอยต์รองรับสองวิธี: POST /v1/chat/completions สำหรับการสร้างข้อความ และ GET /v1/models เพื่อแสดงรายการสิ่งที่พร้อมใช้งาน

การรู้เกี่ยวกับโมเดลจะช่วยให้ตั้งความคาดหวังได้ถูกต้อง นี่คือโมเดลแบบเปิดน้ำหนักที่ให้บริการโดยผู้ให้บริการอิสระและปรับแต่งมาเพื่อตอบคำถามโดยไม่มีการปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย ไม่ใช่ API ทางการจากผู้ขายรายใหญ่ และรองรับเฉพาะข้อความเท่านั้น ไม่มีสร้างภาพหรือเสียง ไม่มี embeddings และไม่มี fine-tuning

ขั้นตอนที่ 1: ตรวจสอบคีย์ด้วย curl

ก่อนเขียนโค้ดแอปพลิเคชัน ให้ยืนยันว่าคีย์และเส้นทางเครือข่ายใช้งานได้ การแสดงรายการโมเดลเป็นการตรวจสอบที่ประหยัดที่สุด เพราะจะไม่สร้างข้อความใด ๆ

export LLM_KEY="paste-your-key-here"

# the list should include the model id: uncensored

curl https://api.llmmodelsapi.com/v1/models   -H "Authorization: Bearer $LLM_KEY"

คุณควรได้รับรายการ JSON ที่มี uncensored หากเห็น 401 แสดงว่าคีย์ผิดหรือขาดคำว่า Bearer ตอนนี้ให้ส่งคำขอแชทจริง

curl https://api.llmmodelsapi.com/v1/chat/completions   -H "Authorization: Bearer $LLM_KEY"   -H "Content-Type: application/json"   -d '{
    "model": "uncensored",
    "messages": [
      {"role": "system", "content": "You are a concise assistant."},
      {"role": "user", "content": "Explain what a context window is in two sentences."}
    ],
    "max_tokens": 150
  }'

การตอบกลับมีอาร์เรย์ choices และข้อความอยู่ที่ choices[0].message.content ส่วนหัวการตอบกลับมี X-Request-Id และ X-Balance-USD เพื่อให้คุณสามารถดูเครดิตคงเหลือของคุณได้ในการเรียกใช้ทุกครั้ง ฟิลด์ usage แสดงจำนวนโทเคนที่นับสำหรับการเรียกเก็บเงิน

ขั้นตอนที่ 2: เรียกใช้จาก Python หรือ Node

ในทางปฏิบัติคุณจะใช้ SDK ติดตั้งแพ็กเกจ OpenAI ทางการ จากนั้นตั้งค่า base URL เมื่อสร้างไคลเอนต์ โค้ดของคุณจะไม่มีการเปลี่ยนแปลงอื่น ๆ

Python

from openai import OpenAI

client = OpenAI(
    base_url="https://api.llmmodelsapi.com/v1",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You answer in plain language."},
        {"role": "user", "content": "Give me three names for a fantasy tavern."},
    ],
    temperature=0.9,
    max_tokens=200,
)

print(resp.choices[0].message.content)
print(resp.usage.prompt_tokens, resp.usage.completion_tokens)

Node

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.llmmodelsapi.com/v1",
  apiKey: process.env.LLM_KEY,
});

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Summarise HTTP caching in one paragraph." }],
});

console.log(resp.choices[0].message.content);

เก็บคีย์ไว้ในตัวแปรสภาพแวดล้อมแทนที่จะอยู่ในไฟล์แหล่งที่มา หากคีย์รั่วไหล ให้แทนที่คีย์บนหน้าคีย์และคีย์เก่าจะหยุดทำงาน

ขั้นตอนที่ 3: จัดรูปแบบผลลัพธ์ด้วยพารามิเตอร์

โมเดลเป็นเครื่องทำนายข้อความ ดังนั้นการวางคำขอของคุณจึงสำคัญพอ ๆ กับพารามิเตอร์ ความเคยชินไม่กี่อย่างให้ผลตอบแทนทันที

  • ใช้ข้อความระบบสำหรับกฎพื้นฐาน ใส่โทน รูปแบบ และบทบาทไว้ที่นั่น และใช้ข้อความผู้ใช้สำหรับงานจริง
  • ระบุความยาวให้ชัดเจน ขอ "สามรายการจุด" หรือ "ไม่เกิน 120 คำ" จะเชื่อถือได้มากกว่าการลด max_tokens เพียงอย่างเดียวซึ่งจะทำให้ข้อความขาดกลางประโยค
  • ปรับอุณหภูมิให้เหมาะกับงาน ค่าประมาณ 0.2 เหมาะสำหรับการดึงข้อมูลและการจัดประเภท ค่าประมาณ 0.8 ถึง 1.0 เหมาะสำหรับนวนิยายและบทบาทสมมติ
  • ส่งค่าที่จำเป็น top_p, stop, seed และค่าปรับความถี่และการปรากฏจะถูกส่งผ่านไปยังโมเดล

หน้าต่างบริบทมีขนาด 100,000 โทเคน โดยนับรวมพรอมต์และการสร้างข้อความรวมกัน คุณไม่จำเป็นต้องตั้งค่า max_tokens เพราะคำตอบสามารถใช้พื้นที่ที่เหลือได้ทั้งหมด การตั้งค่าไว้ล่วงหน้าเป็นวิธีที่ดีในการกำหนดเพดานค่าใช้จ่าย

วิธีปฏิบัติได้จริงในการเรียนรู้การตั้งค่าเหล่านี้คือการรันพรอมต์เดียวกันสามครั้งด้วยอุณหภูมิที่แตกต่างกันแล้วเปรียบเทียบ เปลี่ยนค่าหนึ่งค่าต่อการรันและคงค่าอื่น ๆ ให้คงที่ โดยใช้ seed เดียวกันเมื่อทำได้ หลังจากสิบนาทีของการทำเช่นนี้คุณจะรู้พฤติกรรมของโมเดลสำหรับงานของคุณได้ดีกว่าคำอธิบายใด ๆ และค่าใช้จ่ายของการทดลองนี้คิดเป็นเศษเสี้ยวของเซ็นต์

ราคาอยู่ที่ $0.15 ต่อหนึ่งล้านโทเคนอินพุตและ $0.50 ต่อหนึ่งล้านโทเคนเอาต์พุต คำขอที่มีโทเคนอินพุต 1,500 ตัวและโทเคนเอาต์พุต 400 ตัวมีค่าใช้จ่าย 1,500 x 0.15 / 1,000,000 = $0.000225 บวก 400 x 0.50 / 1,000,000 = $0.0002 รวมเป็น $0.000425 หน้าราคา มีตัวเลือกการเติมเงิน

ขั้นตอนที่ 4: สตรีมการตอบกลับ

การรอคำตอบเต็มในแอปแบบอินเทอร์แอคทีฟอาจรู้สึกช้า ด้วย stream: true เซิร์ฟเวอร์จะส่งโทเคนผ่านเหตุการณ์ที่ส่งจากเซิร์ฟเวอร์ และ UI ของคุณสามารถแสดงผลโทเคนเหล่านั้นเมื่อได้รับ คำใช้งานจะรายงานที่ท้ายสตรีม

from openai import OpenAI

client = OpenAI(base_url="https://api.llmmodelsapi.com/v1", api_key="YOUR_KEY")

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a short story opening about a lighthouse."}],
    stream=True,
    stream_options={"include_usage": True},
)

for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        print("\ntokens:", chunk.usage.prompt_tokens, chunk.usage.completion_tokens)

สิ่งหนึ่งที่ต้องจำเกี่ยวกับความพร้อมกัน: คำขอแบบสตรีมหนึ่งรายการจะครอบครองช่องของมันจนกว่าสตรีมจะเสร็จสิ้น คีย์แบบเต็มอนุญาตให้ทำคำขอพร้อมกัน 8 คำขอ ส่วนคีย์ทดลองอนุญาตให้ทำคำขอพร้อมกัน 2 คำขอ หากคุณเปิดสตรีมในเบราว์เซอร์และไม่ปิด ช่องนั้นจะยังคงถูกใช้งานอยู่

ขั้นตอนที่ 5: โหมด JSON และการเรียกใช้เครื่องมือ

เมื่อโปรแกรมอื่นต้องอ่านคำตอบ ข้อความอิสระอาจกลายเป็นปัญหา โหมด JSON จะสั่งให้โมเดลส่งคืนวัตถุ JSON ที่ถูกต้อง

import json
from openai import OpenAI

client = OpenAI(base_url="https://api.llmmodelsapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    response_format={"type": "json_object"},
    messages=[
        {"role": "system", "content": "Reply with JSON only: {\"title\": string, \"tags\": [string]}"},
        {"role": "user", "content": "Describe a post about growing tomatoes on a balcony."},
    ],
)

data = json.loads(resp.choices[0].message.content)
print(data["title"], data["tags"])

ควรอธิบายโครงสร้างที่ต้องการในพรอมต์ด้วย เนื่องจากโหมด JSON รับประกันความถูกต้องของไวยากรณ์ แต่ไม่รับประกันชื่อฟิลด์ที่ตรงกันเป๊ะ ควรห่อการแยกวิเคราะห์ด้วยบล็อก try และลองใหม่หนึ่งครั้งหากล้มเหลว

การเรียกใช้เครื่องมือช่วยให้โมเดลขอให้คุณรันฟังก์ชันในโค้ดของคุณ คุณอธิบายเครื่องมือ โมเดลจะตอบกลับด้วยรายการ tool_calls คุณรันคำสั่งนั้นและส่งผลลัพธ์กลับเป็นข้อความที่มี role: "tool"

import json
from openai import OpenAI

client = OpenAI(base_url="https://api.llmmodelsapi.com/v1", api_key="YOUR_KEY")

tools = [{
    "type": "function",
    "function": {
        "name": "get_time",
        "description": "Return the current time for a city",
        "parameters": {
            "type": "object",
            "properties": {"city": {"type": "string"}},
            "required": ["city"],
        },
    },
}]

messages = [{"role": "user", "content": "What time is it in Lisbon?"}]
first = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
call = first.choices[0].message.tool_calls[0]

messages.append(first.choices[0].message)
messages.append({
    "role": "tool",
    "tool_call_id": call.id,
    "content": json.dumps({"time": "14:05"}),
})

final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
print(final.choices[0].message.content)

ในการใช้งานจริง ควรตรวจสอบว่า tool_calls มีอยู่ก่อนเข้าถึงข้อมูล เนื่องจากโมเดลอาจตอบกลับโดยตรงโดยไม่เรียกใช้ฟังก์ชัน พารามิเตอร์ tool_choice ช่วยบังคับหรือห้ามการเรียกใช้เมื่อคุณต้องการ

การสนทนาต่อเนื่อง

API ไม่มีหน่วยความจำระหว่างคำขอ หากคุณต้องการให้โมเดลจำสิ่งที่พูดไปเมื่อสองเทิร์นก่อนหน้า คุณต้องส่งเทิร์นเหล่านั้นอีกครั้ง แอปแชทจึงเป็นรายการที่เติบโตขึ้น: คุณเพิ่มข้อความผู้ใช้ เรียก API เพิ่มการตอบกลับของผู้ช่วย และทำซ้ำ

from openai import OpenAI

client = OpenAI(base_url="https://api.llmmodelsapi.com/v1", api_key="YOUR_KEY")
history = [{"role": "system", "content": "You are a friendly writing coach."}]

def say(text):
    history.append({"role": "user", "content": text})
    resp = client.chat.completions.create(model="uncensored", messages=history, max_tokens=300)
    reply = resp.choices[0].message.content
    history.append({"role": "assistant", "content": reply})
    return reply

print(say("Give me a tip for opening a short story."))
print(say("Now apply it to a story about a night train."))

เนื่องจากทุกคำขอมีรายการทั้งหมด ค่าใช้จ่ายและความหน่วงจะเพิ่มขึ้นตามบทสนทนา เมื่อประวัติยาวขึ้น ให้ตัดเทิร์นที่เก่าที่สุดออกหรือแทนที่ด้วยสรุปความยาวหนึ่งย่อบท พื้นที่ของคุณมีมากเนื่องจาก 100,000 โทเคนมีความยาวประมาณนวนิยายสั้นๆ แต่ไม่จำเป็นต้องจ่ายสำหรับโทเคนที่ช่วยปรับปรุงคำตอบอีกต่อไป

ด้วยเหตุผลเดียวกัน ให้รักษาข้อความระบบให้สั้นและคงที่ ข้อความนี้จะถูกส่งในทุกคำขอ ดังนั้นพรอมต์ระบบขนาด 1,000 โทเคนใน 500 คำขอ จะเท่ากับ 500,000 โทเคนอินพุต ซึ่งคิดเป็น 500,000 x 0.15 / 1,000,000 = $0.075 เพียงอย่างเดียว

ข้อผิดพลาดที่มือใหม่ทำ

  • ลืมเพิ่มการตอบกลับของผู้ช่วย โมเดลจะเห็นเพียงคำถามของคุณและเสียการเชื่อมโยงของบทสนทนา
  • ใส่ข้อมูลลับในหน้าเว็บฝั่งไคลเอนต์ คีย์ที่อยู่ในโค้ดเบราว์เซอร์จะมองเห็นได้โดยทุกคน ควรเรียก API จากเซิร์ฟเวอร์ของคุณและทำให้เอนด์พอยต์ของคุณเองสามารถเข้าถึงได้แทน
  • คาดหวังข้อเท็จจริงจากตัวทำนายข้อความ โมเดลสามารถระบุรายละเอียดที่ผิดได้อย่างมั่นใจ ให้ใส่ข้อความต้นฉบับในพรอมต์เมื่อความถูกต้องสำคัญ และตรวจสอบผลลัพธ์ที่สำคัญ
  • การแยกวิเคราะห์ข้อความทั่วไป หากโค้ดต้องอ่านคำตอบ ให้ใช้โหมด JSON หรือการเรียกใช้ฟังก์ชันแทนการใช้ regular expressions

ข้อผิดพลาด ขีดจำกัด และแหล่งข้อมูลเพิ่มเติม

ปัญหาส่วนใหญ่อยู่ในรายการสั้นๆ

อาการสาเหตุที่เป็นไปได้การแก้ไข
สถานะ 401คีย์หายไปหรือผิดตรวจสอบหัว Bearer และคีย์ในหน้าคีย์
429, code rate_limitedเกิน 300 คำขอต่อนาที (60 สำหรับคีย์ทดลอง)ลดความเร็วหรือคิวคำขอ
429, code concurrencyเกิน 8 คำขอพร้อมกัน (2 สำหรับคีย์ทดลอง)จำกัดจำนวน worker ที่ทำงานพร้อมกัน ปิดสตรีมที่เปิดอยู่
429 พร้อม Retry-After: 5โอเวอร์โหลดชั่วคราวรอ 5 วินาทีแล้วลองใหม่
คำขอมีขนาดใหญ่เกินไปบอดี้เกิน 8 MBส่งข้อความน้อยลงในแต่ละคำขอ

การลองใหม่แบบง่ายพร้อมหน่วงเวลาสั้นๆ จะจัดการกรณี 429 ได้ คำขอที่ล้มเหลวจะไม่ถูกเรียกเก็บเงิน ดังนั้นการลองใหม่จึงไม่เสียค่าใช้จ่ายเพิ่ม พรอมต์ไม่ถูกใช้ในการฝึก

จากที่นี่ เอกสาร API ระบุพารามิเตอร์ทั้งหมด และ ภาพรวมการจ่ายต่อโทเคน ครอบคลุมว่าบริการนี้เหมาะสำหรับใคร กฎข้อเดียวที่ใช้ได้ทุกที่: เนื้อหาทางเพศที่เกี่ยวข้องกับผู้เยาว์ไม่อนุญาตเลย

02

ถาม-ตอบ

ฉันต้องส่งโมเดล ID ใดในคำขอ

ใช้ uncensored เป็นค่าโมเดลในทุกคำขอ คุณสามารถยืนยันได้โดยการเรียกใช้ GET /v1/models

ฉันต้องการ SDK พิเศษหรือไม่?

ไม่ต้อง ใช้ SDK หรือไคลเอนต์ OpenAI ใดก็ได้ ทำงานได้ทันทีเมื่อเปลี่ยน base URL เป็น https://api.llmmodelsapi.com/v1 และใช้คีย์ของคุณเอง

ฉันสามารถใช้มันได้โดยไม่ต้องใช้บัตรเครดิตหรือไม่

ใช่ สำหรับการทดสอบ ผู้ใช้ใหม่สามารถรับเครดิตทดลองใช้ $0.50 ได้ด้วยคลิกเดียวหลังจากสมัครสมาชิก โดยไม่ต้องใช้บัตร และใช้ได้เป็นเวลา 7 วัน

พรอมต์ของฉันมีขนาดใหญ่ได้แค่ไหน?

หน้าต่างบริบทมีขนาด 100,000 โทเคนสำหรับพรอมต์และการสร้างข้อความรวมกัน และเนื้อหาคำขอ (request body)สามารถมีขนาดได้สูงสุด 8 MB

คีย์ของคุณอยู่ห่างแค่ฟอร์มเดียว

สร้างบัญชี คัดลอกคีย์ และเปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด

รับคีย์ API