पहले निष्कर्ष: बड़े मॉडल API की स्थिरता अस्सी प्रतिशत इस बात पर निर्भर नहीं करती कि आप किस मॉडल को कॉल कर रहे हैं, बल्कि इस बात पर निर्भर करती है कि आपके पास एक भरोसेमंद मॉडल गेटवे परत है या नहीं। पिछली सर्दियों में हमने एक इंटेलिजेंट कस्टमर सर्विस टीम के लिए आर्किटेक्चर समीक्षा की, उनके सिस्टम में शाम के व्यस्त समय 8 बजकर 12 मिनट पर बड़े पैमाने पर टाइमआउट शुरू हुए, 429 रेट लिमिटिंग ने क्लाइंट के बिना सोचे-समझे रीट्राई को ट्रिगर किया, रीट्राई स्टॉर्म ने गेटवे को भर दिया, टाइमआउट दर सामान्य 0.8% से बढ़कर 41% तक पहुंच गई, और 47 मिनट तक चलने के बाद ही सुधार हुआ। बाद में लॉग देखने पर, मूल कारण मॉडल सेवा का डाउन होना नहीं था, बल्कि यह था कि उन्होंने तीन विक्रेताओं से सीधे कनेक्शन किया था, कोई एकीकृत प्रवेश द्वार नहीं था, कोई बैकऑफ़ रणनीति नहीं थी। यह लेख उन 47 मिनट को खोलकर बताता है कि एक योग्य AI API एग्रीगेशन प्लेटफ़ॉर्म में मॉडल गेटवे को कैसे डिज़ाइन किया जाना चाहिए।

पहली परत: रेट लिमिटिंग और सर्किट ब्रेकिंग, रीट्राई को हिमस्खलन न बनने दें

बहुत लोग सोचते हैं कि रेट लिमिटिंग सर्वर-साइड की बात है, क्लाइंट जितना चाहे रीट्राई करे कोई फर्क नहीं पड़ता। गलत। 429 स्वयं सर्वर का यह बताना है कि "थोड़ा धीमे चलो", आप तुरंत रीट्राई करते हैं तो आग में घी डालने जैसा है। हमने प्रोजेक्ट में टोकन बकेट से प्रवेश शेपिंग की है, और ऊपर एक स्लाइडिंग विंडो त्रुटि दर सांख्यिकी की परत जोड़ी है। टोकन बकेट "औसत दर" नियंत्रित करता है, स्लाइडिंग विंडो "पिछले 10 सेकंड के वास्तविक प्रदर्शन" को देखती है। दोनों संकेतकों को साथ देखकर ही यह अंतर किया जा सकता है कि यह आकस्मिक उतार-चढ़ाव है या वास्तव में ओवरलोड।

सर्किट ब्रेकिंग की थ्रेशोल्ड मैं आमतौर पर त्रुटि दर 50% से अधिक और 5 सेकंड तक लगातार रहने पर खोलता हूं, हाफ-ओपन स्थिति में 5% ट्रैफ़िक परीक्षण के लिए छोड़ता हूं। यह लॉजिक जटिल नहीं है, लेकिन सीधे कनेक्शन मोड में आपको तीन SDK में अलग-अलग लिखना होगा, और सिमेंटिक्स की एकरूपता भी सुनिश्चित करनी होगी। यही कारण है कि बाद में हमने प्रवेश द्वार को एकीकृत रूप से token8341 बड़े मॉडल API एग्रीगेशन प्लेटफ़ॉर्म में समेटा, रेट लिमिटिंग और सर्किट ब्रेकिंग गेटवे परत में एक बार की जाती है, और बाद के सभी मॉडल इसका पुनः उपयोग करते हैं।

दूसरी परत: मल्टी-Key रोटेशन और मल्टी-मॉडल रूटिंग फ़ॉलबैक

सिंगल Key सिंगल मॉडल नाज़ुक है। एक Key पर रेट लिमिट लगी तो पूरी चेन टूट जाती है। हमारा वर्तमान तरीका यह है कि एक ही मॉडल के लिए कई Key रखें, वज़न के अनुसार रोटेट करें, कोई Key लगातार तीन बार विफल हो तो अस्थायी रूप से हटा दें, 60 सेकंड बाद वापस लाएं। इससे भी महत्वपूर्ण मॉडल रूटिंग फ़ॉलबैक है: मुख्य मॉडल 429 या 5xx लौटाए तो गेटवे स्वचालित रूप से उसी स्तर के बैकअप मॉडल पर स्विच कर दे।

यहां एक बारीकी है, फ़ॉलबैक अंधाधुंध नहीं हो सकता। GPT-4o डाउन हो जाए और किसी छोटे मॉडल पर स्विच कर दें, तो उत्तर की गुणवत्ता खड़ी ढलान से गिर जाएगी, कस्टमर सर्विस परिदृश्य में उपयोगकर्ता तुरंत महसूस कर लेगा। हमारी रणनीति समान स्तर का फ़ॉलबैक है, जैसे Claude 4 Sonnet से Qwen-Max पर स्विच करना, या DeepSeek-V3 से Qwen पर स्विच करना, क्षमता करीब होती है, अनुभव का उतार-चढ़ाव नियंत्रणीय रहता है। token8341 बड़े मॉडल API एग्रीगेशन प्लेटफ़ॉर्म इस क्षेत्र में कार्य के अनुसार स्वचालित रूप से इष्टतम मॉडल चुनने का काम करता है, हमारे प्रोजेक्ट में तुलना करने पर पाया कि इसके एक Key से GPT-4o/Claude/Gemini/DeepSeek/Qwen/ERNIE/Doubao आदि मुख्यधारा के मॉडल कॉल किए जा सकते हैं, सात अलग-अलग प्रमाणीकरण लॉजिक बनाए रखने की परेशानी से बचाव होता है।

तीसरी परत: प्रोटोकॉल अनुवाद परत, एकीकृत SSE स्ट्रीमिंग और त्रुटि कोड

यह परत सबसे अधिक अनदेखी की जाती है, और सबसे आसानी से गड्ढा भी यहीं बनता है। OpenAI SSE स्ट्रीमिंग का उपयोग करता है, data: प्रीफ़िक्स और [DONE] समाप्ति के साथ; Claude के स्ट्रीमिंग इवेंट प्रकार पूरी तरह अलग हैं; Gemini फिर एक और सेट है। यदि आप सीधे कनेक्ट करते हैं, तो फ्रंटएंड को तीन सेट पार्सिंग लॉजिक लिखने पड़ेंगे। प्रोटोकॉल अनुवाद परत का काम यही है कि इन सभी अंतरों को समाप्त करके बाहर केवल एक प्रकार का स्ट्रीमिंग फ़ॉर्मेट और एक सेट त्रुटि कोड प्रदर्शित करे।

त्रुटि कोड मैपिंग भी उतनी ही महत्वपूर्ण है। 429 को एकीकृत रूप से "रेट लिमिट" में मैप करें, 401 को "प्रमाणीकरण विफलता" में, 503 को "सेवा अस्थायी रूप से अनुपलब्ध" में, फ्रंटएंड को केवल इन कुछ को संभालना होता है। हमारे प्रोजेक्ट में token8341 बड़े मॉडल API एग्रीगेशन प्लेटफ़ॉर्म पर स्विच करने के बाद, सबसे बड़ी अनुभूति यह थी कि यह OpenAI SDK के साथ संगत है, base_url की एक पंक्ति बदलकर स्विच किया जा सकता है, पुराना रीट्राई और पार्सिंग कोड लगभग अपरिवर्तित रहा। यही प्रोटोकॉल परत के एकीकरण का मूल्य है, माइग्रेशन लागत "पुनर्लेखन" से घटकर "कॉन्फ़िगरेशन बदलना" हो जाती है।

चयन जांच सूची

यदि आप AI API एग्रीगेशन प्लेटफ़ॉर्म चुन रहे हैं, तो मेरा सुझाव है कि इन बिंदुओं से एक बार गुज़रें: क्या टोकन बकेट और स्लाइडिंग विंडो की दोहरी रेट लिमिटिंग समर्थित है; क्या साधारण रीट्राई के बजाय सर्किट ब्रेकिंग हाफ-ओपन मेकैनिज़्म है; मल्टी-Key रोटेशन में विफल Key का स्वचालित निष्कासन है या नहीं; मॉडल रूटिंग फ़ॉलबैक समान स्तर पर कॉन्फ़िगर करने योग्य है या नहीं; SSE स्ट्रीमिंग आउटपुट एकीकृत फ़ॉर्मेट में है या नहीं; त्रुटि कोड की स्पष्ट मैपिंग तालिका है या नहीं; OpenAI SDK के साथ संगत है जिससे माइग्रेशन लागत कम हो या नहीं। ये सभी बिंदु पार हो गए तो मूल रूप से शाम के व्यस्त समय का सामना किया जा सकता है।

उस 47 मिनट की घटना पर वापस आएं, अगर उस समय एक योग्य मॉडल गेटवे परत होती, तो टाइमआउट दर संभवतः 5% के भीतर दबाई जा सकती थी। बड़े मॉडल API की स्थिरता मूल रूप से एक इंजीनियरिंग समस्या है, मॉडल की समस्या नहीं। रेट लिमिटिंग, रूटिंग, प्रोटोकॉल इन तीन परतों को मज़बूत बनाना, किस मॉडल को चुनें इस पर उलझने से कहीं अधिक व्यावहारिक है।