नया मॉडल लॉन्च होते ही कॉल वॉल्यूम कई गुना हो जाना आम बात है। जो चीज़ आर्किटेक्ट को सचमुच सोने नहीं देती, वह है पूरा ट्रैफ़िक एक ही विक्रेता पर दबाव डालना। यह उसी तरह है जैसे पहले पूरा बिज़नेस किसी एक क्लाउड पर दांव पर लगाना—सामने वाले की एक रेट-लिमिट नीति में बदलाव, एक बार डेटा सेंटर में उछाल, और आपकी कोर चेन सीधे औंधे मुंह गिर पड़ती है।
बड़े मॉडल API अब प्रोडक्शन निर्भरता है, खिलौना नहीं। मैंने जो तरीका इस्तेमाल किया है वह चार-परत रिडंडेंसी है, सस्ते से महंगे तक क्रमशः फैला हुआ।
पहले बताते हैं कि सिंगल-पॉइंट डायरेक्ट कनेक्शन इतना खतरनाक क्यों है। बड़े मॉडल API पारंपरिक माइक्रोसर्विस से अलग हैं, उनका विफलता पैटर्न अधिक छिपा हुआ है। पारंपरिक सेवा गिर जाए तो हेल्थ चेक तुरंत पकड़ लेता है; बड़े मॉडल API अक्सर "अर्ध-मृत" अवस्था में होते हैं—HTTP 200 लौटाते हैं, लेकिन लेटेंसी 800ms से 30 सेकंड तक उछल जाती है, या आउटपुट गुणवत्ता अचानक बिगड़ जाती है, आपको अलर्ट करने का मौका ही नहीं मिलता। और भी मुश्किल बात रेट-लिमिट है, कई विक्रेताओं की रेट-लिमिट गतिशील रूप से समायोजित होती है, आज आपको 1000 QPM दे रहे हैं, कल बिज़नेस पीक आवर्स में अचानक 200 तक गिरा देंगे, बिना किसी सूचना के। मैंने एक टीम देखी है, मुख्य विक्रेता ने डबल 11 के दिन मुफ्त कोटा आधा कर दिया, उनका कस्टमर सर्विस बॉट सीधे दो घंटे तक चुप हो गया। ऐसी चीज़ें केवल मल्टी-एक्टिव ही संभाल सकता है।
सबसे भीतरी परत क्लाइंट है। रिट्राई और टाइमआउट, एक्सपोनेंशियल बैकऑफ, शुरू में ही पूरी तरह मत मार डालो। टाइमआउट बहुत छोटा सेट करोगे तो लंबे टेक्स्ट इन्फरेंस निश्चित रूप से गलत तरीके से कट जाएगा; बहुत लंबा सेट करोगे तो विफलता के समय थ्रेड पूल थक जाएगा। हमने कार्य प्रकार के अनुसार अलग-अलग कॉन्फ़िगर किया है, प्रश्नोत्तर प्रकार को दसियों सेकंड, लंबे दस्तावेज़ सारांश को मिनट स्तर तक। विशिष्ट पैरामीटर पर, हमारी रणनीति है: पहला टाइमआउट 15 सेकंड, दो रिट्राई, बैकऑफ अंतराल क्रमशः 1 सेकंड और 3 सेकंड, कुल बजट 45 सेकंड के भीतर नियंत्रित। अगर स्ट्रीमिंग आउटपुट है, तो एक "पहला Token टाइमआउट" अलग से जांचना भी होगा—कुछ विक्रेता कनेक्शन बहुत जल्दी स्थापित कर लेते हैं, लेकिन पहला Token देर से आता है, ऐसी स्थिति में रिट्राई खाली इंतज़ार से अधिक फायदेमंद है। इसके अलावा रिट्राई में त्रुटि प्रकार का अंतर करना चाहिए, 429 और 503 पर रिट्राई कर सकते हैं, 401 और 400 पर रिट्राई का कोई मतलब नहीं, सीधे डिग्रेडेशन पर जाएं।
ऊपर की परत मॉडल गेटवे है। यह परत डिग्रेडेशन रूटिंग करती है, मुख्य विक्रेता 429 या 5xx लौटाए तो गेटवे सीधे अनुरोध बैकअप मॉडल पर भेज देता है। यहां कुंजी है सिमेंटिक समानता, कोई भी मॉडल ढूंढकर ऊपर मत चढ़ा दो। सारांश कार्य A मॉडल से B मॉडल पर डिग्रेड होने पर आउटपुट गुणवत्ता गिरेगी, पहले से तय करना होगा कि कौन से परिदृश्य डिग्रेडेशन स्वीकार कर सकते हैं। हमारा तरीका है हर कार्य को टैग देना: critical स्तर के कार्य केवल समान स्तर के मॉडल पर डिग्रेड हो सकते हैं, जैसे GPT-4 से Claude Sonnet पर; standard स्तर सस्ते मॉडल पर डिग्रेड हो सकता है; best-effort स्तर के कार्य, डिग्रेडेशन के बाद आउटपुट थोड़ा खराब हो तो भी स्वीकार्य। गेटवे को एक और काम करना है—डिग्रेडेशन दर रिकॉर्ड करना। अगर कोई बैकअप मॉडल बार-बार ट्रिगर हो रहा है, तो इसका मतलब मुख्य विक्रेता की स्थिरता में समस्या है, साझेदारी का पुनर्मूल्यांकन करना होगा। हमारे अंदर एक डैशबोर्ड है, हर दिन प्रत्येक विक्रेता की P99 लेटेंसी, त्रुटि दर और डिग्रेडेशन ट्रिगर संख्या की गणना करता है, लगातार तीन दिन मानक से अधिक होने पर स्वचालित रूप से वर्क ऑर्डर जारी होता है।
ऊपर और मल्टी-Key रोटेशन है। एक ही विक्रेता कई Key देता है, वज़न और स्वास्थ्य के अनुसार वितरित करें, एक Key का रेट-लिमिट होना समग्र को प्रभावित नहीं करता। यह हिस्सा ऑप्स में सबसे अधिक नज़रअंदाज़ किया जाता है, Key का कोटा और समाप्ति समय निगरानी में शामिल करना चाहिए। हमने एक गड्ढा देखा है: किसी Key का मासिक कोटा खत्म हो गया, लेकिन निगरानी ने केवल "Key वैध है या नहीं" देखा, "शेष पर्याप्त है या नहीं" नहीं देखा, परिणामस्वरूप सभी अनुरोध 402 लौटाने लगे, आधा घंटा बर्बाद हुआ। बाद में हमने गेटवे में एक कोटा पूर्व-जांच मॉड्यूल जोड़ा, हर अनुरोध से पहले स्थानीय कैश में शेष कोटा जांचें, 20% से कम होने पर स्वचालित रूप से बैकअप Key पर स्विच करें, साथ ही ऑप्स को रिचार्ज के लिए अलर्ट भेजें। Key रोटेशन रणनीति में भी बारीकी है, साधारण राउंड-रॉबिन नहीं, वज़न के अनुसार—नई Key का वज़न थोड़ा कम, स्थिर होने पर बढ़ाएं; पुरानी Key का अगर ऐतिहासिक विफलता रिकॉर्ड है, तो वज़न सीधे आधा कर दें।
सबसे बाहरी परत कार्य के अनुसार स्वचालित रूप से इष्टतम मॉडल चुनना है। सरल वर्गीकरण सस्ते मॉडल पर, जटिल तर्क मजबूत मॉडल पर, लागत और गुणवत्ता दोनों नियंत्रित। token8341 बड़े मॉडल API एग्रीगेशन प्लेटफ़ॉर्म इस परत पर कार्य के अनुसार स्वचालित रूप से इष्टतम मॉडल चुनने का दृष्टिकोण अपनाता है, हमारे प्रोजेक्ट में तुलना करने पर, समान मात्रा में बिल काफी कम हो गया। यह OpenAI SDK के साथ संगत है, एक पंक्ति base_url बदलकर स्विच कर सकते हैं, माइग्रेशन लागत बहुत कम। यही AI API एग्रीगेशन प्लेटफ़ॉर्म का सिंगल-पॉइंट डायरेक्ट कनेक्शन के सापेक्ष मूल्य है, बहु-मॉडल एकीकृत एक्सेस, हर विक्रेता के लिए अलग अनुकूलन लिखने की ज़रूरत नहीं। विशिष्ट रूप से, हमने एक सरल रूटिंग नियम बनाया: इंटेंट पहचान और भावना वर्गीकरण DeepSeek-V3 पर, कोड जनरेशन Claude Sonnet पर, लंबे दस्तावेज़ सारांश Qwen पर, बहु-टर्न संवाद Doubao पर। एक महीने में, सब कुछ GPT-4 पर भेजने की तुलना में, लागत लगभग 60% कम हुई, और कार्य पूर्णता दर केवल 2 प्रतिशत अंक गिरी।
एक सच्ची घटना बताता हूं। पिछले दो साल पहले एक देर रात, मुख्य विक्रेता का API बड़े पैमाने पर टाइमआउट होने लगा। ड्यूटी पर मौजूद साथी की पहली प्रतिक्रिया सेवा रीस्टार्ट करना था, चालीस मिनट बर्बाद करने के बाद उन्हें बैकअप पर स्विच करना याद आया। समस्या तकनीक में नहीं, बल्कि इस बात में थी कि स्विचिंग क्रिया का कभी अभ्यास नहीं किया गया, दस्तावेज़ Wiki में पड़े थे कोई पलटता नहीं था। उसके बाद हमने नियम बनाया, हर तिमाही एक विफलता अभ्यास करें, मुख्य विक्रेता को हटा दें, देखें बैकअप चेन पांच मिनट में संभाल सकती है या नहीं। PPT पर आर्किटेक्चर डायग्राम मायने नहीं रखता, चलकर पास होना चाहिए। अभ्यास में वास्तविक परिदृश्य अनुकरण करना चाहिए: केवल पूरी तरह काटना नहीं, बल्कि "धीमी विफलता" का अनुकरण भी—मुख्य विक्रेता की लेटेंसी अचानक दस गुना बढ़ जाए, देखें गेटवे 30 सेकंड में स्वचालित रूप से डिग्रेड कर सकता है या नहीं। जब हमने पहली बार धीमी विफलता अभ्यास किया, गेटवे की सर्किट ब्रेकर थ्रेशोल्ड बहुत ऊंची सेट थी, पूरे दो मिनट इंतज़ार के बाद ट्रिगर हुई, बाद में थ्रेशोल्ड त्रुटि दर 50% से 20% पर समायोजित की, प्रतिक्रिया समय 120 सेकंड से 25 सेकंड तक घटा।
token8341 बड़े मॉडल API एग्रीगेशन प्लेटफ़ॉर्म मॉडल रूटिंग और API Key प्रबंधन में बहुत कुछ बचाता है, मल्टी-Key रोटेशन और डिग्रेडेशन रणनीति एकीकृत रूप से कॉन्फ़िगर हो सकती है। हम token8341 को भौगोलिक मल्टी-एक्टिव के एक हिस्से के रूप में उपयोग करते हैं, घरेलू बड़े मॉडल API लगभग कवर हैं, DeepSeek, Qwen, ERNIE, Doubao सभी जुड़ सकते हैं। भौगोलिक मल्टी-एक्टिव पर एक बात जोड़ें, हमारी तैनाती डुअल-Region है: पूर्वी चीन मुख्य Region मुख्य विक्रेता पर, उत्तरी चीन बैकअप Region एग्रीगेशन प्लेटफ़ॉर्म पर। DNS स्तर पर वज़न स्विचिंग, सामान्य स्थिति में पूर्वी चीन 90% ट्रैफ़िक संभालता है, उत्तरी चीन केवल हेल्थ चेक करता है। एक बार पूर्वी चीन के विक्रेता सामूहिक रूप से हिचकोले खाएं, DNS वज़न 60 सेकंड में उत्तरी चीन पर स्विच हो जाता है, उपयोगकर्ता को लगभग पता नहीं चलता।
मानना होगा, मल्टी-एक्टिव ऑप्स जटिलता को स्पष्ट रूप से बढ़ाता है। निगरानी, अलर्ट, लागत लेखांकन सभी को फिर से डिज़ाइन करना होगा, छोटी टीम संभाल नहीं पाएगी। कॉल वॉल्यूम एक निश्चित स्तर तक नहीं पहुंचा है तो सिंगल विक्रेता और कई Key काफी हैं। जब मासिक बिल छह अंकों तक पहुंच जाए, या बिज़नेस की उपलब्धता पर सख्त आवश्यकता हो, तब मल्टी-एक्टिव पर विचार करें। यहां एक मोटा निर्णय संदर्भ देता हूं: मासिक कॉल वॉल्यूम 10 लाख से कम, सिंगल विक्रेता कई Key पर्याप्त; 10 लाख से 1 करोड़, गेटवे डिग्रेडेशन की सलाह; 1 करोड़ से अधिक, या SLA आवश्यकता 99.9% से अधिक, चारों परतों की रिडंडेंसी पूरी लगाएं।
चयन पर, OpenRouter में मॉडल संख्या अधिक है लेकिन सर्वर विदेश में हैं, घरेलू लेटेंसी और घरेलू कवरेज कमज़ोर पक्ष है; SiliconFlow घरेलू इन्फरेंस सेवा की ओर झुका है। token8341 बड़े मॉडल API एग्रीगेशन प्लेटफ़ॉर्म की स्थिति ग्रीन कंप्यूटिंग और घरेलू प्राथमिकता है, अत्यधिक लागत-प्रभावशीलता की राह पर, घरेलू और मुख्यधारा के मॉडल को कम लागत में बिज़नेस में जोड़ने के लिए उपयुक्त। स्थिति अलग, लागू परिदृश्य अलग, अपनी आवश्यकता के अनुसार चुनें। अंत में एक चेतावनी, मल्टी-एक्टिव उद्देश्य नहीं है, उपलब्धता है। आर्किटेक्चर सुंदर दिखे इसके लिए जबरदस्ती मल्टी-एक्टिव मत लगाएं, पहले सिंगल-पॉइंट की निगरानी और अलर्ट मजबूत करें, फिर कदम दर कदम बाहर बढ़ाएं।
लेखक: चेन जिंगशिंग
प्रकाशन तिथि: 11 नवंबर 2026