HI ▾
API कुंजी पाएँ

एजेंट्स के लिए LLM मॉडल API: टूल कॉलिंग गाइड

एक एजेंट एक लूप है: मॉडल एक टूल चुनता है, आपका कोड उसे चलाता है, परिणाम वापस जाता है, और मॉडल अगला कदम तय करता है। यहाँ उस लूप का एक काम करने वाला संस्करण है, साथ ही वे लिमिट और लागतें हैं जिनके आसपास आपको योजना बनानी चाहिए।

अपडेट किया गया

एक केंद्रीय टर्मिनल के चारों ओर टूल ब्लॉक्स से गुजरते हुए एक ऑर्ब का आइसोमेट्रिक लूप, जो एजेंट वर्कफ़्लो को दर्शाता है
01

मुख्य बिंदु

  • एंडपॉइंट टूल्स, tool_choice, स्ट्रीम किए गए tool_calls और भूमिका टूल परिणामों का समर्थन करता है।
  • अपने लूप को कैप करें, टूल तर्कों की जांच करें और एक छोटी प्रतीक्षा के साथ 429 प्रतिक्रियाओं को रीट्राइ करें।
  • एक सक्रिय कुंजी पर समानांतर वर्कर्स की संख्या 8 या उससे कम रखें; स्ट्रीम्स अंत तक अपनी स्लॉट बनाए रखते हैं।
  • बढ़ते कॉन्टेक्स्ट वाला छह-चरणों का एक एजेंट रन लगभग आधा सेंट का खर्च करता है।

एजेंट को API से क्या चाहिए

यदि आप एजेंट्स के लिए LLM मॉडल API चुन रहे हैं, तो चेकलिस्ट मार्केटिंग के दावों से कम है। आपको विश्वसनीय टूल कॉलिंग, एक बड़ी कॉन्टेक्स्ट विंडो की आवश्यकता है जो चलते हुए ट्रांसक्रिप्ट को संभाल सके, भविष्यवाणी योग्य रेट लिमिट, और एक कीमत जो कई कॉल करने वाले लूप को दंडित नहीं करती है।

यह API मानक OpenAI इंटरफ़ेस के माध्यम से उन बिंदुओं को कवर करता है। यह tools और tool_choice का समर्थन करता है, सामान्य और स्ट्रीम किए गए दोनों प्रतिक्रियाओं में tool_calls लौटाता है, और role: "tool" संदेशों के रूप में टूल परिणाम स्वीकार करता है। JSON मोड response_format के माध्यम से उपलब्ध है। प्रॉम्प्ट प्लस कंप्लीशन के लिए कॉन्टेक्स्ट विंडो 100,000 टोकन है, और मॉडल ID uncensored है।

चूँकि फ्रेमवर्क पक्ष केवल OpenAI क्लाइंट है, अधिकांश एजेंट लाइब्रेरी जो आपको बेस URL सेट करने देती हैं, वे काम करेंगी। आप उन्हें https://api.llmmodelsapi.com/v1 पर पॉइंट करें, अपनी कुंजी प्रदान करें और मॉडल का नाम दें। सेटअप विवरण दस्तावेज़ीकरण में हैं, और आप कुंजी पृष्ठ से एक कुंजी प्राप्त कर सकते हैं।

दो सीमाएं डिज़ाइन को आकार देती हैं। पहली, मॉडल केवल टेक्स्ट है, इसलिए किसी भी इमेज, ऑडियो या फ़ाइल हैंडलिंग को आपके टूल्स में होना चाहिए और टेक्स्ट के रूप में वापस आना चाहिए। दूसरी, इस एंडपॉइंट पर कोई एम्बेडिंग नहीं है, इसलिए यदि आपका एजेंट रिट्रीवल करता है, तो वेक्टर सर्च के लिए एक अन्य स्रोत की आवश्यकता होगी।

एक सिस्टम प्रॉम्प्ट जो लूप को संतुलित रखता है

अधिकांश एजेंट विफलताएं अस्पष्ट निर्देशों से आती हैं, API से नहीं। एक अच्छा सिस्टम प्रॉम्प्ट मॉडल को बताता है कि वह कौन है, कौन से टूल्स मौजूद हैं, कब रुकना है और अंतिम उत्तर किस फॉर्मेट में होना चाहिए। यहाँ एक रिसर्च हेल्पर के लिए एक है।

आप एक शोध सहायक हैं। आप search_notes और read_note टूल कॉल कर सकते हैं। केवल तभी टूल कॉल करें जब आपको ऐसी जानकारी की आवश्यकता हो जो आपके पास पहले से नहीं है। अधिकतम पाँच टूल कॉल का उपयोग करें। जब आपके पास पर्याप्त हो, तो एक छोटे उत्तर के साथ जवाब दें और उन नोट ID की सूची बनाएं जिन्हें आपने उपयोग किया। यदि नोटों में उत्तर नहीं है, तो स्पष्ट रूप से कहें।

ध्यान दें कि यह क्या करता है। यह टूल्स का नाम बताता है, एक कॉल बजट सेट करता है, स्टॉपिंग कंडीशन परिभाषित करता है और मॉडल को यह कहने की अनुमति देता है कि उसे नहीं पता। वह आखिरी हिस्सा मायने रखता है, क्योंकि एक एजेंट जिसे जवाब देने के लिए मजबूर किया जाता है, वह कुछ भी गढ़ सकता है।

टूल उपयोग के लिए कम तापमान सेट करें। 0.2 से 0.4 के आसपास मान टूल नामों और तर्क फॉर्मेट को स्थिर रखते हैं। यदि आपका एजेंट अंत में रचनात्मक टेक्स्ट भी लिखता है, तो आप केवल उस अंतिम कॉल के लिए तापमान बढ़ा सकते हैं। seed पैरामीटर पास-थ्रू होता है, जो डीबगिंग के दौरान एक रन को पुन: उत्पन्न करने में मदद करता है।

वयस्क कथा साहित्य और रोलप्ले एजेंट्स के लिए, वही पैटर्न काम करता है: पर्सोना, दृश्य नियम और टूल्स को सिस्टम संदेश में डालें। मॉडल को कानूनी वयस्क उपयोग के लिए बिना सामग्री अस्वीकृति के उत्तर देने के लिए ट्यून किया गया है। नाबालिगों से जुड़ी यौन सामग्री अभी भी सीमा से बाहर है।

पायथन में एक न्यूनतम एजेंट लूप

नीचे दिया गया लूप एक टूल है, जो आपके असली डेटा के लिए एक डिक्शनरी के रूप में काम करता है। यह तब रुक जाता है जब मॉडल बिना टूल कॉल के जवाब देता है, या एक निश्चित संख्या में स्टेप्स के बाद।

import json
from openai import OpenAI

client = OpenAI(base_url="https://api.llmmodelsapi.com/v1", api_key="YOUR_KEY")

NOTES = {
    "n1": "Invoice 114 was paid on March 3.",
    "n2": "Invoice 115 is overdue by 12 days.",
}

def search_notes(query):
    return [{"id": k, "text": v} for k, v in NOTES.items() if query.lower() in v.lower()]

TOOLS = [{
    "type": "function",
    "function": {
        "name": "search_notes",
        "description": "Search internal notes by keyword",
        "parameters": {
            "type": "object",
            "properties": {"query": {"type": "string"}},
            "required": ["query"],
        },
    },
}]

SYSTEM = "You are a research assistant. Use search_notes when needed, at most five calls. Then answer briefly."

def run(question, max_steps=6):
    messages = [
        {"role": "system", "content": SYSTEM},
        {"role": "user", "content": question},
    ]
    for step in range(max_steps):
        resp = client.chat.completions.create(
            model="uncensored",
            messages=messages,
            tools=TOOLS,
            temperature=0.3,
            max_tokens=500,
        )
        msg = resp.choices[0].message
        messages.append(msg)
        if not msg.tool_calls:
            return msg.content
        for call in msg.tool_calls:
            try:
                args = json.loads(call.function.arguments)
                result = search_notes(args["query"])
            except Exception as exc:
                result = {"error": str(exc)}
            messages.append({
                "role": "tool",
                "tool_call_id": call.id,
                "content": json.dumps(result),
            })
    return "Stopped: step limit reached."

print(run("Which invoice is overdue?"))

तीन विवरण ध्यान योग्य हैं। स्टेप लिमिट एक भ्रमित मॉडल को लूपिंग से रोकता है जब तक आपका बजट खत्म न हो जाए। ट्राई ब्लॉक एक खराब तर्क स्ट्रिंग को एक त्रुटि संदेश में बदल देता है जिसे मॉडल पढ़ और सुधार सकता है। और हर टूल परिणाम मेल खाने वाले tool_call_id के साथ वापस भेजा जाता है, जो मॉडल को बताता है कि प्रत्येक उत्तर किस कॉल से संबंधित है।

429 प्रतिक्रियाओं और कन्करेंसी का प्रबंधन

एजेंट्स बर्स्टी होते हैं। एक प्लानर एक साथ पांच सब-टास्क फैन आउट कर सकता है, और उनमें से प्रत्येक अपना लूप चलाता है। वहीं रेट लिमिट दिखाई देते हैं।

एक पूर्ण कुंजी 8 समानांतर अनुरोध और प्रति मिनट 300 अनुरोध की अनुमति देती है। एक ट्रायल कुंजी 2 और 60 की अनुमति देती है। सीमा पार करने पर API HTTP 429 के साथ जवाब देता है। त्रुटि कोड आपको बताता है कि आपने कौन सी सीमा पार की: प्रति मिनट अनुरोधों के लिए rate_limited, एक साथ बहुत अधिक के लिए concurrency। अस्थायी ओवरलोड पर आपको 429 भी मिलता है, Retry-After: 5 हेडर के साथ।

इन सभी को पुन: प्रयास योग्य मानें। हेडर में सेकंड्स की संख्या प्रतीक्षा करें, या यदि यह अनुपस्थित है तो कुछ सेकंड, और अनुरोध फिर से भेजें। विफल अनुरोधों के लिए चार्ज नहीं किया जाता है, इसलिए रेट्रीज़ की कोई लागत नहीं आती। एक छोटा वर्पर काम करता है।

import time
from openai import OpenAI, RateLimitError

client = OpenAI(base_url="https://api.llmmodelsapi.com/v1", api_key="YOUR_KEY", max_retries=0)

def chat_with_retry(**kwargs):
    for attempt in range(5):
        try:
            return client.chat.completions.create(model="uncensored", **kwargs)
        except RateLimitError as err:
            wait = 5
            if err.response is not None:
                wait = int(err.response.headers.get("retry-after", 5))
            time.sleep(wait)
    raise RuntimeError("Still rate limited after 5 attempts")

पहले से 429 से बचने के लिए, अपने वर्कर पूल को कैप करें। 8 का सेमाफोर पूर्ण कुंजी से मेल खाता है। यदि आप उपयोगकर्ता इंटरफ़ेस के लिए स्ट्रीम प्रतिक्रियाएँ भेज रहे हैं, तो याद रखें कि एक स्ट्रीम अपनी कॉन्करेंसी स्लॉट को आखिरी टोकन आने तक बनाए रखता है, इसलिए एक धीमी क्लाइंट एक लंबे उत्तर को पढ़ते समय पूरी समय एक स्लॉट घेरता है। X-RateLimit-Limit-Requests और X-RateLimit-Limit-Concurrency हेडर पढ़ने से आपका कोड उस कुंजी के अनुसार अनुकूलित हो सकता है।

कॉन्टेक्स्ट, मेमोरी और एक रन की लागत

लूप का हर स्टेप पूरा ट्रांसक्रिप्ट पुनः भेजता है। चैट APIs इसी तरह काम करते हैं, और इसका मतलब है कि इनपुट टोकन हर टूल कॉल के साथ बढ़ते हैं। एक छह-चरणों वाला रन लें जहाँ प्रॉम्प्ट 2,000 टोकन से शुरू होता है और हर स्टेप पर 1,000 से बढ़ता है, हर स्टेप पर 300 आउटपुट टोकन के साथ।

  • इनपुट टोकन: 2,000 + 3,000 + 4,000 + 5,000 + 6,000 + 7,000 = 27,000
  • आउटपुट टोकन: 6 x 300 = 1,800
  • इनपुट लागत: 27,000 x 0.15 / 1,000,000 = $0.00405
  • आउटपुट लागत: 1,800 x 0.50 / 1,000,000 = $0.0009
  • कुल: प्रति रन $0.00495

ऐसे एक हजार रनों का खर्च $4.95 होता है। यह इतना सस्ता है कि एजेंट कई चरणों में सोच सके, लेकिन वृद्धि पर नज़र रखना जरूरी है। 100,000 टोकन की जगह के साथ, एक लंबे समय तक चलने वाला एजेंट अंततः विंडो भर देगा, और एक इतना बड़ा प्रॉम्प्ट हर एक स्टेप पर इनपुट के लिए 100,000 x 0.15 / 1,000,000 = $0.015 का खर्च करेगा।

तीन आदतें इसे नियंत्रण में रखती हैं। बड़े टूल परिणामों को ट्रांसक्रिप्ट में जाने से पहले ट्रंक करें, उदाहरण के लिए एक वेब पेज के पहले 2,000 वर्ण। पुराने स्टेप्स को एक छोटे संदेश में सारांशित करें जब इतिहास एक थ्रेशोल्ड से गुजर जाता है। और अपने डेटाबेस में टिकाऊ तथ्यों को स्टोर करें, मेमोरी के रूप में बातचीत पर निर्भर रहने के बजाय।

प्रत्येक प्रतिक्रिया पर X-Balance-USD हेडर शेष क्रेडिट दिखाता है, ताकि एजेंट सुपरवाइजर संतुलन किसी न्यूनतम सीमा से नीचे जाने पर रन रोक सके। क्रेडिट $20 से प्रीपेड होता है और यह कभी समाप्त नहीं होता। टॉप-अप बोनस के लिए मूल्य निर्धारण पृष्ठ देखें।

योजना बनाने के लिए ईमानदार लिमिट्स

किसी भी मॉडल पर बने एजेंट्स को गार्डरेल्स की ज़रूरत होती है, और यह इसमें अपवाद नहीं है। निम्नलिखित के लिए तैयार रहें।

  • गलत प्रारूप वाले तर्क। मॉडल ऐसे टूल तर्क उत्पन्न कर सकता है जो मान्य JSON नहीं हैं या एक आवश्यक फ़ील्ड छूट जाता है। सावधानीपूर्वक पार्स करें और त्रुटि को टूल परिणाम के रूप में लौटाएं।
  • गलत टूल चॉइस। छोटे, अलग-अलग टूल विवरण लिखें। यदि दो टूल्स एक जैसे लगते हैं, तो मॉडल उन्हें मिक्स कर देगा। जब फ़्लो एक की मांग करता है, तो एक विशिष्ट कॉल को फोर्स करने के लिए tool_choice का उपयोग करें।
  • केवल टेक्स्ट। कोई इमेज इनपुट या आउटपुट, कोई ऑडियो, कोई एम्बेडिंग्स, कोई फाइन-ट्यूनिंग नहीं। उन भागों को कहीं और करें और परिणाम टेक्स्ट के रूप में पास करें।
  • एकल मॉडल। एंडपॉइंट के पीछे एक ओपन-वेट मॉडल है, न कि वेंडर्स के बीच एक रूटर। आप आसान स्टेप्स के लिए एक छोटा मॉडल नहीं चुन सकते।
  • डिस्ट्रक्टिव टूल्स। अपने कोड में एक कन्फर्मेशन स्टेप के बिना एजेंट को डिलीट या पेमेंट टूल न दें।

प्लानिंग एजेंट्स को एक दूसरे पास से भी लाभ होता है। लूप एक उत्तर लौटाने के बाद, आप एक और सस्ता कॉल कर सकते हैं जो मॉडल से टूल परिणामों के खिलाफ उत्तर की जाँच करने के लिए कहता है, JSON मोड का उपयोग करके एक निर्णय और एक सूची लौटाने के लिए। यह कुछ सौ टोकन जोड़ता है और सबसे आम विफलता को पकड़ता है, जो एक आत्मविश्वासी उत्तर है जो टूल्स के लौटाने को नज़रअंदाज करता है।

अंत में, हर कदम लॉग करें। संदेश, टूल तर्क और प्रत्येक प्रतिक्रिया से X-Request-Id हेडर को स्टोर करें। जब कोई रन गलत होता है, तो रिक्वेस्ट ID आपको सटीक कॉल की ओर इशारा करने की अनुमति देती है, और लॉग किए गए ट्रांसक्रिप्ट से पता चलता है कि किस टूल रिजल्ट ने मॉडल को भ्रमित किया। एजेंट्स को तब आसानी से बेहतर बनाया जा सकता है जब आप एक खराब रन को रीप्ले कर सकें और एक समय में एक चीज़ बदल सकें।

प्रतिबद्ध होने से पहले ट्रायल के साथ एजेंट का परीक्षण करें। नए उपयोगकर्ता $0.50 का क्रेडिट दावा कर सकते हैं, जो ऊपर दिए गए छह-कदम वाले रन के लिए लगभग 101 पूर्ण रनों को कवर करता है (0.50 / 0.00495)। ट्रायल के 2 समानांतर अनुरोधों को ध्यान में रखें और एक समय में एक एजेंट चलाएं। सेवा के बारे में व्यापक जानकारी के लिए, टोकन के अनुसार भुगतान का अवलोकन पढ़ें। प्रॉम्प्ट्स को प्रशिक्षण के लिए उपयोग नहीं किया जाता है।

02

प्रश्न और उत्तर

क्या API एजेंट्स के लिए टूल कॉलिंग का समर्थन करता है?

हाँ। यह टूल्स और tool_choice स्वीकार करता है, tool_calls लौटाता है (स्ट्रीमिंग के दौरान भी), और role tool वाले संदेशों के रूप में परिणाम लेता है।

कितने एजेंट कॉल समानांतर में चल सकते हैं?

एक फुल कुंजी 8 समानांतर अनुरोध और प्रति मिनट 300 की अनुमति देती है। एक ट्रायल कुंजी 2 समानांतर और प्रति मिनट 60 की अनुमति देती है।

जब एजेंट को 429 मिलता है तो उसे क्या करना चाहिए?

Retry-After मान या यदि कोई नहीं है तो कुछ सेकंड का प्रतीक्षा करें और पुनः प्रयास करें। अस्वीकृत अनुरोधों के लिए शुल्क नहीं लगाया जाता है।

क्या एजेंट छवियों या ऑडियो संभाल सकता है?

नहीं। मॉडल केवल टेक्स्ट के साथ काम करता है, इसलिए किसी भी अन्य मीडिया को आपके अपने टूल्स द्वारा प्रोसेस किया जाना चाहिए और टेक्स्ट के रूप में पास किया जाना चाहिए।

आपकी कुंजी बस एक फ़ॉर्म दूर है

एक खाता बनाएँ, कुंजी कॉपी करें, बेस URL बदलें। सेटअप यही है।

API कुंजी पाएँ