VI ▾
Lấy khóa API

API LLM trong Python: Chat, Streaming và Gọi hàm

Hướng dẫn API LLM Python này dùng SDK OpenAI chính thức trỏ đến một endpoint tương thích OpenAI. Bạn có một yêu cầu đầu tiên, streaming, một gọi hàm và logic thử lại trong mã bạn có thể dán và chạy.

Cập nhật

Dải các khối mã chảy từ máy tính xách tay vào các bong bóng trò chuyện, minh họa một yêu cầu API LLM Python
01

Điểm chính

  • Cài đặt openai, đặt URL gốc và khóa, rồi dùng mô hình ID uncensored.
  • Truyền phát với stream=True và đóng stream sớm để giải phóng slot đồng thời.
  • Gọi hàm trả về các đối số bạn phải phân tích và xác thực trước khi chạy bất cứ thứ gì.
  • Xử lý 429 bằng Retry-After và giới hạn yêu cầu đồng thời ở mức 8 với khóa đầy đủ.

Cài đặt SDK và thực hiện lệnh gọi đầu tiên

Nếu bạn muốn một thiết lập API LLM Python hoạt động trong năm phút, SDK OpenAI là tất cả những gì bạn cần. API tương thích OpenAI, vì vậy bạn giữ client chính thức và thay đổi hai giá trị: URL gốc và khóa. ID mô hình là uncensored.

Trước tiên hãy lấy một khóa. Đăng ký trên trang khóa API, nhận tín dụng dùng thử một cú nhấp và sao chép khóa. Sau đó cài đặt client và giữ khóa ra khỏi mã nguồn của bạn.

pip install openai
export LLM_API_KEY="your-key-here"

Bây giờ là chương trình hữu ích nhỏ nhất:

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.llmmodelsapi.com/v1",
    api_key=os.environ["LLM_API_KEY"],
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a concise technical assistant."},
        {"role": "user", "content": "Explain what a context window is in two sentences."},
    ],
    temperature=0.7,
)

print(resp.choices[0].message.content)
print(resp.usage)

Đó là toàn bộ tích hợp. resp.usage cung cấp số lượng token prompt và completion, bạn có thể nhân chúng với tỷ lệ trên trang giá ($0.15 cho 1M token đầu vào, $0.50 cho 1M token đầu ra) để xem chi phí mỗi lệnh gọi. Endpoint này cũng chấp nhận POST /v1/responses nếu mã của bạn đã dùng định dạng đó, và GET /v1/models liệt kê ID mô hình.

Yêu cầu và phản hồi trông như thế nào

Client OpenAI ẩn các chi tiết HTTP, nhưng việc biết chúng sẽ hữu ích khi có sự cố. SDK gửi một POST đến /v1/chat/completions kèm bearer token. Bạn có thể tái tạo lệnh gọi bằng curl và so sánh.

curl https://api.llmmodelsapi.com/v1/chat/completions \
  -H "Authorization: Bearer $LLM_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "uncensored", "messages": [{"role": "user", "content": "Say hello"}]}'

Các tham số hữu ích được chuyển tiếp đến mô hình: temperature, top_p, stop, seed và các hệ số phạt tần suất và hiện diện. max_tokens là tùy chọn. Nếu bạn bỏ qua nó, phần completion có thể sử dụng phần còn lại của cửa sổ 100.000 token (prompt và completion cộng lại).

Hai tiêu đề phản hồi đáng ghi lại trong mọi lệnh gọi: X-Request-Id cho các câu hỏi hỗ trợ, và X-Balance-USD cho tín dụng còn lại của bạn. Với SDK Python, bạn truy cập chúng qua phản hồi thô:

raw = client.chat.completions.with_raw_response.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Ping"}],
    max_tokens=20,
)
print(raw.headers.get("X-Request-Id"))
print(raw.headers.get("X-Balance-USD"))
completion = raw.parse()
print(completion.choices[0].message.content)

Truyền phát token khi chúng đến

Đối với giao diện trò chuyện và bất cứ thứ gì người dùng đang chờ, hãy truyền phát câu trả lời. Đặt stream=True và lặp qua các chunk. API gửi chúng qua các sự kiện do máy chủ gửi, và chunk cuối cùng mang thông tin sử dụng khi bạn yêu cầu.

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a short product description for a mechanical keyboard."}],
    stream=True,
    stream_options={"include_usage": True},
)

for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        print("\n", chunk.usage)

Hai chi tiết khiến mọi người bối rối. Đầu tiên, một số chunk có danh sách choices trống (ví dụ như chunk sử dụng), vì vậy hãy bảo vệ trước khi truy cập chỉ mục. Thứ hai, một yêu cầu truyền phát giữ slot đồng thời của nó cho đến khi stream kết thúc. Nếu bạn mở một stream và bỏ nó mà không đóng, slot đó vẫn bận và các lệnh gọi sau có thể thất bại với lỗi concurrency. Hãy dùng stream trong một khối with hoặc gọi stream.close() khi bạn ngừng đọc sớm.

Nếu luồng bị ngắt với thông báo không rõ ràng, bài viết về cách sử dụng mô hình LLM trên trang web này bao gồm các kiến thức cơ bản về đọc lỗi và thử lại.

Một lệnh gọi công cụ với mô hình

Gọi công cụ cho phép mô hình yêu cầu mã của bạn chạy một hàm và sau đó tiếp tục với kết quả. Quy trình có ba bước: gửi các định nghĩa công cụ, chạy bất cứ thứ gì mô hình yêu cầu và gửi kết quả lại với role: "tool".

import json

def get_order_status(order_id: str) -> str:
    # Replace with a real lookup
    return json.dumps({"order_id": order_id, "status": "shipped"})

tools = [{
    "type": "function",
    "function": {
        "name": "get_order_status",
        "description": "Look up the status of an order by its ID",
        "parameters": {
            "type": "object",
            "properties": {"order_id": {"type": "string"}},
            "required": ["order_id"],
        },
    },
}]

messages = [{"role": "user", "content": "Where is order A-1042?"}]
first = client.chat.completions.create(
    model="uncensored", messages=messages, tools=tools, tool_choice="auto"
)

msg = first.choices[0].message
if msg.tool_calls:
    messages.append(msg)
    for call in msg.tool_calls:
        args = json.loads(call.function.arguments)
        messages.append({
            "role": "tool",
            "tool_call_id": call.id,
            "content": get_order_status(**args),
        })
    final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
    print(final.choices[0].message.content)
else:
    print(msg.content)

Luôn phân tích call.function.arguments dưới dạng JSON trong khối try trong mã thực tế, vì mô hình đôi khi tạo ra các đối số không khớp với lược đồ của bạn. Xác thực trước khi thực thi bất kỳ tác vụ nào có tác dụng phụ. Đối với các vòng lặp agent dài hơn, xem hướng dẫn sử dụng API này cho agent.

Gọi công cụ cũng truyền phát: các đối số đến từng phần trong delta.tool_calls và bạn nối chúng theo chỉ mục cho đến khi stream kết thúc.

Chế độ JSON cho đầu ra có cấu trúc

Khi bạn cần đầu ra có thể đọc được bằng máy thay vì văn bản, hãy đặt response_format thành một đối tượng JSON. Mô tả hình dạng bạn muốn trong prompt, vì chế độ JSON đảm bảo cú pháp JSON hợp lệ nhưng không đảm bảo lược đồ cụ thể của bạn.

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "Reply only with JSON: {\"sentiment\": \"positive|negative|neutral\", \"confidence\": 0-1}"},
        {"role": "user", "content": "The setup took ten minutes and everything just worked."},
    ],
    response_format={"type": "json_object"},
    temperature=0,
)
data = json.loads(resp.choices[0].message.content)
print(data["sentiment"])

Dùng temperature=0 cho trích xuất và phân loại để các lần chạy lặp lại cho ra cùng nhãn. Thêm seed nếu bạn muốn cố định việc lấy mẫu hơn nữa, và vẫn xác thực kết quả đã phân tích với lược đồ của riêng bạn.

Giới hạn, retry và xử lý lỗi

Một khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút. Một khóa dùng thử cho phép 2 yêu cầu đồng thời và 60 yêu cầu mỗi phút. Vượt quá bất kỳ giới hạn nào sẽ trả về HTTP 429. Mã lỗi cho bạn biết giới hạn nào bạn đã chạm: rate_limited cho yêu cầu mỗi phút và concurrency cho quá nhiều yêu cầu cùng lúc. Trong trường hợp quá tải tạm thời, bạn cũng nhận được mã 429 kèm tiêu đề Retry-After: 5.

SDK OpenAI đã thử lại một số lỗi, nhưng bạn nên tự đặt chính sách:

import os
import time
from openai import OpenAI, RateLimitError, APIConnectionError

client = OpenAI(base_url="https://api.llmmodelsapi.com/v1", api_key=os.environ["LLM_API_KEY"], max_retries=0, timeout=120)

def ask(messages, tries=5):
    delay = 2
    for attempt in range(tries):
        try:
            return client.chat.completions.create(model="uncensored", messages=messages)
        except RateLimitError as e:
            wait = float(e.response.headers.get("Retry-After", delay))
            time.sleep(wait)
            delay = min(delay * 2, 30)
        except APIConnectionError:
            time.sleep(delay)
            delay = min(delay * 2, 30)
    raise RuntimeError("gave up after retries")

Nếu bạn phân phối công việc với các luồng hoặc asyncio, hãy giới hạn nhóm ở mức 8 (hoặc 2 với khóa dùng thử) bằng một semaphore. Điều đó giữ bạn dưới giới hạn đồng thời mà không dựa vào thử lại. Các yêu cầu thất bại hoặc bị từ chối không được tính phí, vì vậy việc thử lại không tốn thêm chi phí cho các nỗ lực thất bại.

Kiểm tra số dư của bạn từ mã với GET /v1/balance, hoặc đọc X-Balance-USD từ bất kỳ phản hồi nào. Danh sách tham số đầy đủ nằm trong tài liệu API.

Chi phí chạy các ví dụ này

Các ví dụ trên rất nhỏ. Một lệnh gọi với 300 token prompt và 200 token completion tốn 300 x $0,15 / 1M cộng 200 x $0,50 / 1M, tức là $0,000045 cộng $0,0001, hay $0,000145. Khoảng 6.900 lệnh gọi như vậy vừa với một đô la. Tín dụng dùng thử $0,50 bao gồm khoảng 3.400 lệnh gọi như vậy, và nó có hiệu lực trong 7 ngày mà không cần thông tin thanh toán.

Sau khi dùng thử, bạn có thể nạp tiền bất kỳ số nguyên nào từ $20 đến $500, với phần thưởng 5% từ $50, 10% từ $100 và 15% từ $200. Tín dụng không hết hạn và không có gói đăng ký. Prompt không được dùng để huấn luyện.

02

Hỏi đáp

Bạn có thể dùng thư viện Python chính thức của OpenAI không?

Có. Bạn đặt base_url thành địa chỉ API và api_key thành khóa của bạn, rồi gọi chat.completions.create với mô hình uncensored.

API có hỗ trợ Python async không?

Có, hãy dùng AsyncOpenAI với cùng base URL và khóa. Giữ số lượng tác vụ đồng thời ở mức bằng hoặc thấp hơn 8 đối với khóa đầy đủ, hoặc 2 đối với khóa dùng thử.

Tôi xem số token mà một lệnh gọi đã sử dụng như thế nào?

Bạn đọc resp.usage trên một lệnh gọi bình thường, hoặc truyền stream_options với include_usage trên một lệnh gọi streaming. Nhân với $0,15 cho mỗi 1M token đầu vào và $0,50 cho mỗi 1M token đầu ra.

Prompt của tôi có thể dài bao nhiêu?

Cửa sổ ngữ cảnh là 100.000 token, bao gồm cả prompt và kết quả. Thân yêu cầu bị giới hạn ở 8 MB.

Khóa của bạn chỉ còn một bước nữa là có

Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ thiết lập.

Lấy khóa API