VI ▾
Lấy khóa API

Hướng dẫn sử dụng mô hình LLM qua API từng bước

Sử dụng mô hình ngôn ngữ được lưu trữ chỉ là một lệnh gọi HTTP với khóa, tên model và danh sách tin nhắn. Hướng dẫn này đưa bạn từ một thư mục rỗng đến việc truyền phát, xuất JSON và gọi công cụ.

Cập nhật

Terminal kết nối với khối bong bóng chat có dữ liệu truyền phát giữa chúng, đại diện cho một lệnh gọi API LLM
01

Điểm chính

  • API tương thích OpenAI: thay đổi base URL và khóa, giữ nguyên SDK của bạn.
  • Sử dụng mã mô hình uncensored với POST /v1/chat/completions.
  • Truyền phát, chế độ JSON và gọi công cụ đều hoạt động với các tham số tiêu chuẩn.
  • Mã 429 nghĩa là đã đạt giới hạn, và mã lỗi cho bạn biết đó là giới hạn nào.

Những gì bạn cần trước yêu cầu đầu tiên

Nếu bạn muốn biết cách dùng endpoint mô hình LLM trong mã của mình, chỉ cần ba thứ: một khóa, một base URL và tên mô hình. Không cần cài đặt client đặc biệt. Bất kỳ OpenAI SDK hoặc client nào cũng hoạt động khi bạn trỏ nó đến một địa chỉ khác.

  • URL cơ sở: https://api.llmmodelsapi.com/v1
  • Mã mô hình: uncensored
  • Xác thực: tiêu đề Authorization: Bearer YOUR_KEY, SDK sẽ tự thêm cho bạn

Để lấy khóa, hãy đăng ký bằng Google hoặc bằng email và mật khẩu, sau đó mở trang khóa API. Tài khoản mới có thể nhận $0.50 tín dụng dùng thử chỉ với một cú nhấp chuột, không cần thẻ, có hiệu lực trong 7 ngày. Điều đó là đủ cho mọi thứ trong bài viết này. Endpoint hỗ trợ hai phương thức: POST /v1/chat/completions cho việc tạo nội dung và GET /v1/models để liệt kê những gì có sẵn.

Việc biết mô hình là gì giúp bạn có kỳ vọng chính xác. Đây là một mô hình trọng số mở do nhà cung cấp độc lập vận hành và được tinh chỉnh để trả lời mà không từ chối nội dung cho mục đích người trưởng thành hợp pháp. Đây không phải là API chính thức của bất kỳ nhà cung cấp lớn nào, và nó chỉ xử lý văn bản. Không có tạo ảnh hoặc âm thanh, không có embedding và không có fine-tuning.

Bước 1: kiểm tra khóa bằng curl

Trước khi viết mã ứng dụng, hãy xác nhận khóa và đường dẫn mạng hoạt động. Liệt kê các mô hình là cách kiểm tra rẻ nhất vì nó không tạo ra gì.

export LLM_KEY="paste-your-key-here"

# the list should include the model id: uncensored

curl https://api.llmmodelsapi.com/v1/models   -H "Authorization: Bearer $LLM_KEY"

Bạn sẽ nhận được một danh sách JSON bao gồm uncensored. Nếu bạn thấy lỗi 401, khóa không đúng hoặc thiếu từ Bearer. Bây giờ hãy gửi một yêu cầu trò chuyện thực sự.

curl https://api.llmmodelsapi.com/v1/chat/completions   -H "Authorization: Bearer $LLM_KEY"   -H "Content-Type: application/json"   -d '{
    "model": "uncensored",
    "messages": [
      {"role": "system", "content": "You are a concise assistant."},
      {"role": "user", "content": "Explain what a context window is in two sentences."}
    ],
    "max_tokens": 150
  }'

Phản hồi chứa mảng choices, và văn bản nằm ở choices[0].message.content. Các tiêu đề phản hồi mang X-Request-Id và X-Balance-USD, để bạn có thể xem tín dụng còn lại sau mỗi lần gọi. Trường usage hiển thị các token được tính cho việc thanh toán.

Bước 2: gọi từ Python hoặc Node

Trong thực tế, bạn sẽ sử dụng một SDK. Cài đặt gói OpenAI chính thức, sau đó đặt base URL khi tạo trình khách. Không có gì khác về mã của bạn thay đổi.

Python

from openai import OpenAI

client = OpenAI(
    base_url="https://api.llmmodelsapi.com/v1",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You answer in plain language."},
        {"role": "user", "content": "Give me three names for a fantasy tavern."},
    ],
    temperature=0.9,
    max_tokens=200,
)

print(resp.choices[0].message.content)
print(resp.usage.prompt_tokens, resp.usage.completion_tokens)

Node

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.llmmodelsapi.com/v1",
  apiKey: process.env.LLM_KEY,
});

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Summarise HTTP caching in one paragraph." }],
});

console.log(resp.choices[0].message.content);

Hãy giữ khóa trong biến môi trường thay vì trong tệp mã nguồn. Nếu khóa bị rò rỉ, hãy thay thế nó trên trang khóa và khóa cũ sẽ ngừng hoạt động.

Bước 3: định dạng đầu ra bằng tham số

Mô hình là trình dự đoán văn bản, vì vậy cách bạn diễn đạt yêu cầu quan trọng không kém các tham số. Một vài thói quen mang lại kết quả ngay lập tức.

  • Sử dụng thông điệp hệ thống cho các quy tắc cố định. Đặt giọng điệu, định dạng và vai trò ở đó, và giữ tin nhắn người dùng cho nhiệm vụ thực tế.
  • Hãy cụ thể về độ dài. Yêu cầu "ba gạch đầu dòng" hoặc "dưới 120 từ". Nó đáng tin cậy hơn là chỉ giảm max_tokens, vốn cắt văn bản giữa câu.
  • Điều chỉnh nhiệt độ cho phù hợp với công việc. Khoảng 0.2 phù hợp với trích xuất và phân loại. Khoảng 0.8 đến 1.0 phù hợp với hư cấu và nhập vai.
  • Gửi những gì bạn cần. top_p, stop, seed và các hệ số phạt tần suất và sự hiện diện được chuyển tiếp đến mô hình.

Cửa sổ ngữ cảnh là 100,000 token, tính cả prompt và completion cộng lại. Bạn không cần đặt max_tokens, vì câu trả lời có thể sử dụng bất kỳ không gian còn lại nào. Đặt nó vẫn là một cách tốt để đặt giới hạn chi phí.

Một cách thực tế để học các cài đặt này là chạy cùng một prompt ba lần ở các giá trị nhiệt độ khác nhau và so sánh. Thay đổi một giá trị mỗi lần chạy và giữ nguyên các giá trị khác, sử dụng cùng seed khi có thể. Sau mười phút thực hiện như vậy, bạn sẽ hiểu rõ hơn nhiều về cách mô hình hoạt động cho nhiệm vụ của mình hơn bất kỳ mô tả nào có thể nói cho bạn biết, và chi phí của thí nghiệm chỉ bằng một phần nhỏ của một xu.

Giá là $0.15 cho mỗi triệu token đầu vào và $0.50 cho mỗi triệu token đầu ra. Một yêu cầu với 1,500 token đầu vào và 400 token đầu ra tốn 1,500 x 0.15 / 1,000,000 = $0.000225 cộng 400 x 0.50 / 1,000,000 = $0.0002, tổng cộng $0.000425. trang giá có các tùy chọn nạp tiền.

Bước 4: truyền phát phản hồi

Chờ câu trả lời đầy đủ cảm thấy chậm trong ứng dụng tương tác. Với stream: true, máy chủ gửi token dưới dạng sự kiện gửi bởi máy chủ, và giao diện người dùng của bạn có thể in chúng khi chúng đến. Việc sử dụng được báo cáo vào cuối luồng.

from openai import OpenAI

client = OpenAI(base_url="https://api.llmmodelsapi.com/v1", api_key="YOUR_KEY")

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a short story opening about a lighthouse."}],
    stream=True,
    stream_options={"include_usage": True},
)

for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        print("\ntokens:", chunk.usage.prompt_tokens, chunk.usage.completion_tokens)

Một điều cần nhớ về độ đồng thời: một yêu cầu truyền phát chiếm khe của nó cho đến khi luồng kết thúc. Khóa đầy đủ cho phép 8 yêu cầu đồng thời, khóa dùng thử cho phép 2. Nếu bạn mở một luồng trong trình duyệt và không bao giờ đóng nó, khe đó vẫn bận.

Bước 5: chế độ JSON và gọi hàm

Khi một chương trình khác phải đọc câu trả lời, văn bản tự do trở thành vấn đề. Chế độ JSON yêu cầu mô hình trả về một đối tượng JSON hợp lệ.

import json
from openai import OpenAI

client = OpenAI(base_url="https://api.llmmodelsapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    response_format={"type": "json_object"},
    messages=[
        {"role": "system", "content": "Reply with JSON only: {\"title\": string, \"tags\": [string]}"},
        {"role": "user", "content": "Describe a post about growing tomatoes on a balcony."},
    ],
)

data = json.loads(resp.choices[0].message.content)
print(data["title"], data["tags"])

Mô tả hình dạng bạn muốn trong prompt, vì chế độ JSON đảm bảo cú pháp hợp lệ chứ không phải các tên trường chính xác của bạn. Bao bọc lệnh phân tích trong khối try và thử lại một lần nếu nó thất bại.

Gọi công cụ cho phép mô hình yêu cầu mã của bạn chạy một hàm. Bạn mô tả các công cụ, mô hình trả về một mục tool_calls, bạn chạy nó và gửi kết quả lại dưới dạng tin nhắn với role: "tool".

import json
from openai import OpenAI

client = OpenAI(base_url="https://api.llmmodelsapi.com/v1", api_key="YOUR_KEY")

tools = [{
    "type": "function",
    "function": {
        "name": "get_time",
        "description": "Return the current time for a city",
        "parameters": {
            "type": "object",
            "properties": {"city": {"type": "string"}},
            "required": ["city"],
        },
    },
}]

messages = [{"role": "user", "content": "What time is it in Lisbon?"}]
first = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
call = first.choices[0].message.tool_calls[0]

messages.append(first.choices[0].message)
messages.append({
    "role": "tool",
    "tool_call_id": call.id,
    "content": json.dumps({"time": "14:05"}),
})

final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
print(final.choices[0].message.content)

Trong sản xuất, hãy kiểm tra xem tool_calls có tồn tại trước khi truy cập vào nó, vì mô hình có thể trả lời trực tiếp thay vì gọi hàm. Tham số tool_choice cho phép bạn buộc hoặc cấm một lệnh gọi khi bạn cần điều đó.

Duy trì hội thoại

API không có bộ nhớ giữa các lần gọi. Nếu bạn muốn mô hình nhớ những gì đã được nói hai lượt trước, hãy gửi lại những lượt đó. Một ứng dụng chat do đó là một danh sách phát triển: bạn thêm tin nhắn người dùng, gọi API, thêm phản hồi trợ lý và lặp lại.

from openai import OpenAI

client = OpenAI(base_url="https://api.llmmodelsapi.com/v1", api_key="YOUR_KEY")
history = [{"role": "system", "content": "You are a friendly writing coach."}]

def say(text):
    history.append({"role": "user", "content": text})
    resp = client.chat.completions.create(model="uncensored", messages=history, max_tokens=300)
    reply = resp.choices[0].message.content
    history.append({"role": "assistant", "content": reply})
    return reply

print(say("Give me a tip for opening a short story."))
print(say("Now apply it to a story about a night train."))

Vì mọi lệnh gọi đều mang toàn bộ danh sách, chi phí và độ trễ tăng lên cùng với cuộc trò chuyện. Khi lịch sử dài, hãy loại bỏ các lượt cũ nhất hoặc thay thế chúng bằng tóm tắt một đoạn. Bạn có rất nhiều không gian, vì 100,000 token xấp xỉ độ dài của một tiểu thuyết ngắn, nhưng không có lý do gì phải trả tiền cho các token không còn giúp câu trả lời.

Vì lý do tương tự, hãy giữ tin nhắn hệ thống ngắn và ổn định. Nó được gửi trong mọi lệnh gọi, vì vậy một prompt hệ thống 1,000 token qua 500 yêu cầu là 500,000 token đầu vào, tốn 500,000 x 0.15 / 1,000,000 = $0.075 chỉ riêng nó.

Những lỗi thường gặp của người mới

  • Quên thêm phản hồi của trợ lý. Mô hình sau đó chỉ thấy các câu hỏi của bạn và mất mạch logic.
  • Đặt bí mật ở phía front end. Một khóa trong mã trình duyệt có thể nhìn thấy bởi mọi người. Gọi API từ máy chủ của bạn và tạo endpoint của riêng bạn thay thế.
  • Kỳ vọng sự thật từ một bộ dự đoán văn bản. Mô hình có thể đưa ra các chi tiết sai một cách chắc chắn. Hãy cung cấp văn bản nguồn trong prompt khi độ chính xác quan trọng, và kiểm tra các đầu ra quan trọng.
  • Phân tích văn bản tự do. Nếu mã phải đọc câu trả lời, hãy sử dụng chế độ JSON hoặc gọi công cụ thay vì biểu thức chính quy.

Lỗi, giới hạn và các bước tiếp theo

Hầu hết các vấn đề nằm trong một danh sách ngắn.

Triệu chứngNguyên nhân có thểCách khắc phục
Phản hồi 401Thiếu hoặc khóa saiKiểm tra tiêu đề Bearer và khóa trên trang khóa
429, code rate_limitedHơn 300 yêu cầu mỗi phút (60 trên khóa dùng thử)Giảm tốc độ hoặc xếp hàng yêu cầu
429, code concurrencyHơn 8 yêu cầu đồng thời (2 trên khóa dùng thử)Giới hạn số lượng worker song song, đóng các stream đang mở
429 với Retry-After: 5Quá tải tạm thờiChờ 5 giây và thử lại
Yêu cầu quá lớnBody vượt quá 8 MBGửi ít văn bản hơn mỗi lần gọi

Một lần thử lại đơn giản với độ trễ ngắn sẽ xử lý các trường hợp 429. Các yêu cầu thất bại không bị tính phí, vì vậy việc thử lại không tốn thêm chi phí. Các prompt không được sử dụng để huấn luyện.

Từ đây, tài liệu API liệt kê mọi tham số, và tổng quan trả theo token bao gồm đối tượng dịch vụ hướng đến. Một quy tắc áp dụng ở mọi nơi: nội dung tình dục liên quan đến người chưa thành niên không bao giờ được phép.

02

Hỏi đáp

Tôi phải gửi model ID nào trong yêu cầu?

Sử dụng uncensored làm giá trị của tham số model trong mọi yêu cầu. Bạn có thể xác nhận bằng cách gọi GET /v1/models.

Tôi có cần SDK đặc biệt không?

Không. Bất kỳ SDK hoặc client OpenAI nào cũng hoạt động sau khi bạn thay đổi base URL thành https://api.llmmodelsapi.com/v1 và sử dụng khóa của riêng bạn.

Tôi có thể sử dụng mà không cần thẻ tín dụng không?

Có, để thử nghiệm. Người dùng mới có thể nhận $0.50 tín dụng dùng thử chỉ với một cú nhấp chuột sau khi đăng ký, không cần thẻ, có hiệu lực trong 7 ngày.

Prompt của tôi có thể lớn đến mức nào?

Cửa sổ ngữ cảnh là 100.000 token cho cả prompt và completion, và phần thân yêu cầu có thể lên tới 8 MB.

Khóa của bạn chỉ cách một bước điền mẫu

Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ quá trình cài đặt.

Lấy khóa API