Python LLM API: 채팅, 스트리밍 및 도구 호출
이 LLM API Python 가이드는 OpenAI 호환 엔드포인트를 가리키는 공식 OpenAI SDK를 사용합니다. 붙여넣고 실행할 수 있는 코드에 첫 호출, 스트리밍, 도구 호출 및 재시도 로직이 제공됩니다.

주요 포인트
- openai를 설치하고 base URL과 키를 설정한 후 모델 ID uncensored를 사용하세요.
- stream=True로 스트리밍하고 스트림을 조기에 종료하여 동시성 슬롯을 해제하세요.
- 도구 호출은 실행하기 전에 구문 분석하고 검증해야 하는 인수를 반환합니다.
- Retry-After로 429을 처리하고 전체 키에서 동시 요청을 8로 제한하세요.
SDK 설치 및 첫 번째 호출 수행
5분 안에 작동하는 LLM API Python 설정을 원한다면 OpenAI SDK면 충분합니다. API는 OpenAI 호환이므로 공식 클라이언트를 유지하고 두 값만 변경하면 됩니다: base URL과 키입니다. 모델 ID는 uncensored입니다.
먼저 키를 얻으세요. API 키 페이지에서 가입하고 원클릭 체험 크레딧을 받으며 키를 복사하세요. 그런 다음 클라이언트를 설치하고 키를 소스 코드 밖에 보관하세요.
pip install openai
export LLM_API_KEY="your-key-here"
이제 가장 작은 유용한 프로그램:
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.llmmodelsapi.com/v1",
api_key=os.environ["LLM_API_KEY"],
)
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You are a concise technical assistant."},
{"role": "user", "content": "Explain what a context window is in two sentences."},
],
temperature=0.7,
)
print(resp.choices[0].message.content)
print(resp.usage)
전체 통합입니다. resp.usage는 프롬프트 및 완료 토큰 수를 제공하며, 이를 가격 책정 페이지($0.15/1M 입력 토큰, $0.50/1M 출력 토큰)의 비율에 곱해 각 호출 비용을 확인할 수 있습니다. 동일한 엔드포인트는 POST /v1/responses도 허용하며, GET /v1/models은 모델 ID를 나열합니다.
요청과 응답의 모습
OpenAI 클라이언트는 HTTP 세부 정보를 숨기지만 문제가 발생하면 알면 도움이 됩니다. SDK는 bearer 토큰으로 POST를 /v1/chat/completions에 보냅니다. curl로 호출을 복제하고 비교할 수 있습니다.
curl https://api.llmmodelsapi.com/v1/chat/completions \
-H "Authorization: Bearer $LLM_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model": "uncensored", "messages": [{"role": "user", "content": "Say hello"}]}'
모델에 전달되는 유용한 매개변수: temperature, top_p, stop, seed 및 빈도 및 존재 패널티입니다. max_tokens은 선택 사항입니다. 생략하면 완성은 프롬프트와 합쳐 100,000-token 창이 남은 만큼 사용할 수 있습니다.
모든 호출에서 로깅할 가치가 있는 두 가지 응답 헤더: 지원 문의용 X-Request-Id 및 남은 크레딧용 X-Balance-USD입니다. Python SDK에서는 원본 응답을 통해 접근할 수 있습니다:
raw = client.chat.completions.with_raw_response.create(
model="uncensored",
messages=[{"role": "user", "content": "Ping"}],
max_tokens=20,
)
print(raw.headers.get("X-Request-Id"))
print(raw.headers.get("X-Balance-USD"))
completion = raw.parse()
print(completion.choices[0].message.content)도착하는 토큰 스트리밍
채팅 인터페이스와 사람이 기다리는 모든 것에 대해 답변을 스트리밍하세요. stream=True을 설정하고 청크를 반복하세요. API는 SSE를 통해 청크를 보내며, 요청 시 마지막 청크에는 사용량이 포함됩니다.
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Write a short product description for a mechanical keyboard."}],
stream=True,
stream_options={"include_usage": True},
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if chunk.usage:
print("\n", chunk.usage)
두 가지 세부 사항이 혼란을 줍니다. 첫째, 일부 청크에는 빈 choices 목록이 있습니다(예: 사용량 청크). 따라서 인덱싱 전에 보호해야 합니다. 둘째, 스트리밍 요청은 스트림이 끝날 때까지 동시성 슬롯을 유지합니다. 스트림을 열고 닫지 않고 중단하면 해당 슬롯이 계속 사용 중이 되어 이후 호출이 concurrency 오류로 실패할 수 있습니다. with 블록에서 스트림을 사용하거나, 조기에 읽기를 중단할 때 stream.close()를 호출하세요.
스트림이 명확하지 않은 메시지로 중단된 경우 이 사이트의 LLM 모델 사용법 기사가 오류 읽기 및 재시도에 대한 기본 사항을 다룹니다.
모델에 대한 도구 호출
도구 호출은 모델이 코드에 함수를 실행하도록 요청하고 결과를 계속 처리할 수 있게 합니다. 흐름에는 세 단계가 있습니다: 도구 정의 보내기, 모델이 요청한 것 실행, role: "tool"로 출력 다시 보내기.
import json
def get_order_status(order_id: str) -> str:
# Replace with a real lookup
return json.dumps({"order_id": order_id, "status": "shipped"})
tools = [{
"type": "function",
"function": {
"name": "get_order_status",
"description": "Look up the status of an order by its ID",
"parameters": {
"type": "object",
"properties": {"order_id": {"type": "string"}},
"required": ["order_id"],
},
},
}]
messages = [{"role": "user", "content": "Where is order A-1042?"}]
first = client.chat.completions.create(
model="uncensored", messages=messages, tools=tools, tool_choice="auto"
)
msg = first.choices[0].message
if msg.tool_calls:
messages.append(msg)
for call in msg.tool_calls:
args = json.loads(call.function.arguments)
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": get_order_status(**args),
})
final = client.chat.completions.create(model="uncensored", messages=messages, tools=tools)
print(final.choices[0].message.content)
else:
print(msg.content)
실제 코드에서는 모델이 스키마와 일치하지 않는 인수를 생성할 수 있으므로 call.function.arguments을 try 블록 내에서 항상 JSON으로 구문 분석하세요. 부작용이 있는 것을 실행하기 전에 검증하세요. 더 긴 에이전트 루프의 경우 에이전트용 API 사용 가이드를 참조하세요.
도구 호출도 스트리밍됩니다: 인수는 delta.tool_calls에 조각으로 도착하며, 스트림이 끝날 때까지 인덱스로 연결합니다.
구조화된 출력을 위한 JSON 모드
텍스트보다 기계 판독 가능한 출력이 필요할 때 response_format을 JSON 객체로 설정하세요. JSON 모드는 유효한 JSON 구문을 보장하지만 특정 스키마는 보장하지 않으므로 프롬프트에서 원하는 모양을 설명하세요.
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "Reply only with JSON: {\"sentiment\": \"positive|negative|neutral\", \"confidence\": 0-1}"},
{"role": "user", "content": "The setup took ten minutes and everything just worked."},
],
response_format={"type": "json_object"},
temperature=0,
)
data = json.loads(resp.choices[0].message.content)
print(data["sentiment"])
추출 및 분류에는 temperature=0을 사용해 반복 실행이 동일한 레이블을 생성하도록 하세요. 샘플링을 더 명확히 하려면 seed을 추가하고 여전히 구문 분석된 결과를 자체 스키마로 검증하세요.
제한, 재시도 및 오류 처리
전체 키는 8개의 동시 요청과 분당 300개의 요청을 허용합니다. 체험 키는 동시 2개와 분당 60개를 허용합니다. 어느 한 쪽을 초과하면 HTTP 429이 반환됩니다. 오류 코드는 도달한 제한을 알려줍니다: 분당 요청은 rate_limited, 동시 초과는 concurrency입니다. 일시적 과부하 시에도 Retry-After: 5 헤더가 있는 429이 반환됩니다.
OpenAI SDK는 이미 일부 실패를 재시도하지만 정책 자체를 설정해야 합니다:
import os
import time
from openai import OpenAI, RateLimitError, APIConnectionError
client = OpenAI(base_url="https://api.llmmodelsapi.com/v1", api_key=os.environ["LLM_API_KEY"], max_retries=0, timeout=120)
def ask(messages, tries=5):
delay = 2
for attempt in range(tries):
try:
return client.chat.completions.create(model="uncensored", messages=messages)
except RateLimitError as e:
wait = float(e.response.headers.get("Retry-After", delay))
time.sleep(wait)
delay = min(delay * 2, 30)
except APIConnectionError:
time.sleep(delay)
delay = min(delay * 2, 30)
raise RuntimeError("gave up after retries")
스레드나 asyncio로 작업을 분산할 경우 세마포어로 풀을 8(또는 체험 키에서는 2)로 제한하세요. 이는 재시도에 의존하지 않고 동시성 제한 아래에 있도록 합니다. 실패하거나 거부된 요청은 요금이 부과되지 않으므로 재시도해도 실행 시도에는 추가 비용이 들지 않습니다.
GET /v1/balance로 코드에서 잔액을 확인하거나 모든 응답에서 X-Balance-USD을 읽으세요. 전체 매개변수 목록은 API 문서에 있습니다.
이 예제들을 실행하는 비용
위의 예제는 작습니다. 프롬프트 토큰 300개와 완료 토큰 200개로 구성된 호출은 300 x $0.15 / 1M + 200 x $0.50 / 1M의 비용이 들며, 이는 $0.000045 + $0.0001, 즉 $0.000145입니다. 약 6,900개의 이러한 호출이 $1에 들어갑니다. $0.50 체험 크레딧은 약 3,400개를 커버하며, 결제 세부 정보 없이 7일 동안 유효합니다.
체험 후 $20에서 $500까지 전체 금액을 충전할 수 있으며, $50부터 5%, $100부터 10%, $200부터 15%의 보너스가 제공됩니다. 크레딧은 만료되지 않으며 구독이 없습니다. 프롬프트는 학습에 사용되지 않습니다.
더 많은 가이드
질문과 답변
공식 OpenAI Python 라이브러리를 사용할 수 있나요?
네. base_url을 API 주소로, api_key를 키로 설정한 후 model uncensored로 chat.completions.create를 호출하세요.
API가 비동기 Python을 지원하나요?
네, 동일한 base URL과 키를 사용하여 AsyncOpenAI를 사용하세요. 전체 키의 경우 동시 작업 수를 8 이하로, 체험 키의 경우 2 이하로 유지하세요.
호출에 사용된 토큰 수를 어떻게 확인합니까?
일반 호출에서는 resp.usage를 읽거나 스트리밍 호출에는 include_usage가 포함된 stream_options을 전달하세요. 1M 입력 토큰당 $0.15, 1M 출력 토큰당 $0.50을 곱하세요.
프롬프트 길이는 얼마나 될 수 있나요?
컨텍스트 창은 프롬프트와 완료 토큰을 합해 100,000 토큰입니다. 요청 본문은 8 MB로 제한됩니다.
키를 받으려면 양식을 하나만 작성하면 됩니다
계정을 생성하고 키를 복사한 후 기본 URL을 변경하세요. 설정은 이것으로 끝입니다.