8341TokenFactory
LLM APIAPI Gateway

8341Token फ़ैक्टरी: एक फ़ंक्शन के लिए चार मॉडल, GPT-4o बैकअप, DeepSeek मुख्य, Qwen चीनी, Doubao ग्राहक सेवा

SiCore TokenWorks Team·2026-11-08

एक ही फ़ंक्शन के लिए, फ़्रंटएंड को चार मॉडल कॉल करने पड़ते हैं: GPT-4o बैकअप के लिए ज़िम्मेदार, DeepSeek मुख्य अनुमान चलाता है, Qwen चीनी लंबे टेक्स्ट संभालता है, Doubao ग्राहक सेवा वार्तालाप जोड़ता है। चार SDK, चार प्रमाणीकरण सेट, चार दस्तावेज़। लॉन्च के पहले हफ़्ते में, सिर्फ़ इन अंतरों को संरेखित करने में दो व्यक्ति-दिन खर्च हो गए।

यह अतिशयोक्ति नहीं है। हमने गणना की है, चार मॉडल जोड़ने के बाद, बिज़नेस कोड में मॉडल कॉल से संबंधित हिस्सा लगभग तीन गुना बढ़ गया। हर बार मॉडल बदलने पर, कॉलिंग तरीका, पार्सिंग लॉजिक और एरर हैंडलिंग दोबारा बदलनी पड़ती है। इससे भी मुश्किल बात यह है कि हर बार विक्रेता द्वारा SDK अपग्रेड करने पर, सब कुछ दोबारा टेस्ट करना पड़ता है। यह लेख हमारी गलतियों और अंत में लागू किए गए गेटवे समाधान को पूरी तरह से व्यवस्थित करता है, उम्मीद है कि यह उन टीमों की मदद करेगा जो कई मॉडलों के बीच संघर्ष कर रही हैं।

एक、प्रमाणीकरण: चार सिस्टम, चार तरीके

प्रमाणीकरण सबसे पहले टकराया। OpenAI श्रृंखला Bearer Token का उपयोग करती है, अनुरोध हेडर में Authorization: Bearer sk-xxx डालना पर्याप्त है। Qwen को AccessKey हस्ताक्षर चाहिए, हर अनुरोध में AK/SK से HMAC गणना करनी पड़ती है, साथ ही टाइमस्टैम्प और रैंडम स्ट्रिंग जोड़नी पड़ती है। Doubao AK/SK और टाइमस्टैम्प का उपयोग करता है, लेकिन हस्ताक्षर एल्गोरिदम Qwen से अलग है। DeepSeek हालांकि OpenAI प्रारूप के साथ संगत है, लेकिन इसका अपना base_url और मॉडल नाम मैपिंग है, इनिशियलाइज़ेशन तरीका आधिकारिक SDK से पूरी तरह मेल नहीं खाता।

नतीजा यह है कि कोड में हर जगह if-else है। हर विक्रेता के लिए एक client इंस्टेंस, हर इंस्टेंस के लिए एक कॉन्फ़िगरेशन सेट। कुंजी प्रबंधन और भी सिरदर्द है——चार विक्रेताओं की Key चार जगह संग्रहीत हैं, रोटेशन के समय चार जगह बदलनी पड़ती हैं, एक छूट गई तो ऑनलाइन दुर्घटना होगी।

बाद में हमने एक्सेस लेयर में एकीकरण किया: बाहर केवल एक API Key उजागर करते हैं, अंदर प्रोटोकॉल अनुवाद करते हैं। विशिष्ट तरीका यह है कि एक्सेस लेयर एक विक्रेता रूटिंग तालिका बनाए रखती है, हर विक्रेता का अपना प्रमाणीकरण एडाप्टर होता है। बिज़नेस पक्ष केवल एक Key लेता है, अनुरोध एक्सेस लेयर पर पहुंचता है, एक्सेस लेयर मॉडल नाम के आधार पर संबंधित विक्रेता ढूंढती है, एडाप्टर से हस्ताक्षर और फ़ॉरवर्डिंग पूरी करती है।

बाद में हमने base_url को token8341 पर एकीकृत करके आज़माया, एक Key से GPT-4o, Claude, Gemini, DeepSeek, Qwen, ERNIE, Doubao कॉल किए जा सकते हैं, OpenAI SDK के साथ संगत, base_url की एक पंक्ति बदलकर स्विच कर सकते हैं। प्रमाणीकरण का गंदा काम एक्सेस लेयर के बाहर रोक दिया गया, बिज़नेस कोड काफ़ी साफ़ हो गया। कुंजी रोटेशन भी एक ही जगह का ऑपरेशन बन गया, ऑप्स लागत सीधे एक परिमाण कम हो गई।

दो、SSE स्ट्रीमिंग चंकिंग: चार प्रारूप, एक रेंडरिंग

SSE स्ट्रीमिंग चंकिंग दूसरा गड्ढा है, और प्रमाणीकरण से भी अधिक छिपा हुआ। GPT-4o के chunk में delta.content null हो सकता है, विशेष रूप से पहले chunk और अंतिम chunk में, अगर फ़्रंटएंड खाली जांच किए बिना सीधे रेंडर करे, तो undefined चमक उठेगा। DeepSeek अंतिम chunk में usage लाता है, और इसकी usage फ़ील्ड संरचना OpenAI से पूरी तरह मेल नहीं खाती। Qwen के event प्रकार अधिक विस्तृत हैं, add, finish, error आदि कई event प्रकार हैं, हर event की payload संरचना अलग है। Doubao का समाप्ति मार्कर भी अलग है, यह एक विशेष finish_reason फ़ील्ड से स्ट्रीम समाप्ति को चिह्नित करता है।

फ़्रंटएंड को चार प्रारूप मिलते हैं, रेंडरिंग लॉजिक सीधे टूट जाता है। हमारा शुरुआती समाधान फ़्रंटएंड में अनुकूलन करना था, चार पार्सिंग फ़ंक्शन लिखे, नतीजा हर बार नया मॉडल जोड़ने पर फ़्रंटएंड बदलना पड़ता। बाद में गेटवे लेयर में सामान्यीकरण किया: OpenAI की chunk संरचना में एकीकृत, खाली delta सीधे फ़िल्टर, usage अलग निकालकर संचित। विशिष्ट नियम हैं——सभी विक्रेताओं की स्ट्रीमिंग प्रतिक्रिया data: {"choices":[{"delta":{"content":"..."}}]} प्रारूप में बदल दी जाती है, समाप्ति एकसमान रूप से data: [DONE] से चिह्नित, usage अंतिम chunk में OpenAI प्रारूप में लौटाया जाता है।

फ़्रंटएंड केवल एक प्रारूप पहचानता है, बैकएंड किससे जुड़ा है इसकी चिंता नहीं करनी। इस बदलाव ने फ़्रंटएंड के मॉडल संबंधित कोड को 400 से अधिक पंक्तियों से घटाकर लगभग 80 पंक्तियों कर दिया, और नया मॉडल जोड़ने पर फ़्रंटएंड में शून्य बदलाव।

तीन、एरर कोड: HTTP 200 में छिपी त्रुटि

एरर कोड की अव्यवस्था अपेक्षा से अधिक है। वही रेट लिमिटिंग, OpenAI 429 के साथ rate_limit_exceeded लौटाता है, Qwen code फ़ील्ड वाली बिज़नेस त्रुटि लौटाता है, Doubao सीधे त्रुटि को HTTP 200 के body में डाल देता है——स्टेटस कोड 200 है, लेकिन body में error फ़ील्ड है। DeepSeek अधिकांश समय OpenAI के समान, लेकिन कभी-कभी कुछ कस्टम त्रुटि संरचनाएं लौटाता है।

मॉनिटरिंग अलर्ट बिल्कुल एकीकृत नहीं हो सकते। आप एक नियम नहीं लिख सकते कि "429 पर अलर्ट करें", क्योंकि कुछ विक्रेता रेट लिमिटिंग पर 429 नहीं लौटाते। आप केवल HTTP स्टेटस कोड नहीं देख सकते, क्योंकि Doubao के 200 में त्रुटि हो सकती है।

हमने एक्सेस लेयर में एक मैपिंग तालिका बनाई, विभिन्न विक्रेताओं के एरर कोड को एक आंतरिक त्रुटि प्रणाली में परिवर्तित किया: रेट लिमिटिंग, टाइमआउट, प्रमाणीकरण विफलता, सामग्री समीक्षा, सेवा अनुपलब्ध। विशिष्ट मैपिंग लॉजिक है——पहले HTTP स्टेटस कोड देखें, फिर body में error code देखें, दोनों को मिलाकर निर्णय लें। उदाहरण के लिए Doubao 200 लौटाता है लेकिन body में error है, तो error code के अनुसार मैप करें; Qwen 400 के साथ बिज़नेस code लौटाता है, तो code के अनुसार मैप करें। अलर्ट नियम केवल एक सेट लिखें, समस्या निवारण के समय मूल एरर कोड देखें।

यह मैपिंग तालिका हमने लगभग 60 से अधिक नियमों को बनाए रखा, चार विक्रेताओं के सामान्य त्रुटि परिदृश्यों को कवर किया। लॉन्च के बाद अलर्ट सटीकता मूल लगभग 60% से बढ़कर 95% से अधिक हो गई, झूठे अलार्म मूल रूप से गायब हो गए।

चार、उपयोग सांख्यिकी: चार संख्याएं मेल नहीं खातीं

उपयोग सांख्यिकी की मानकीकरण अलग होना सबसे आसानी से नजरअंदाज किया जाता है, लेकिन वित्तीय समाधान के समय निश्चित रूप से उजागर होगा। GPT-4o की token गणना में system prompt शामिल है, DeepSeek कैश हिट token अलग से शुल्क लेता है, Qwen इनपुट और आउटपुट अलग-अलग गणना करता है, Doubao की बिलिंग इकाई भी अलग है। वित्तीय समाधान के समय चार संख्याएं मेल नहीं खातीं, हर मॉडल की वास्तविक लागत की गणना ही नहीं हो सकती।

संग्रह समाधान है गेटवे लेयर में हर अनुरोध का model, input_tokens, output_tokens, cache_hit रिकॉर्ड करना, एकसमान रूप से token बिलिंग मानक के अनुसार डेटाबेस में सहेजना। विशिष्ट तरीका है——गेटवे अनुरोध फ़ॉरवर्ड करते समय अनुरोध प्रारंभ और समाप्ति समय रिकॉर्ड करता है, प्रतिक्रिया से विभिन्न विक्रेताओं की usage फ़ील्ड निकालता है, एकसमान रूप से मानक प्रारूप में परिवर्तित करता है। अलग बिलिंग इकाई वाले विक्रेताओं के लिए, गेटवे लेयर में एक बार रूपांतरण करें, सभी को per-token लागत में बदलें।

इस तरह चाहे बैकएंड में कोई भी जुड़ा हो, लागत एक ही तालिका में समतल करके देखी जा सकती है। बाद में हमने इस तालिका के आधार पर लागत डैशबोर्ड बनाया, मॉडल के अनुसार, बिज़नेस लाइन के अनुसार, दिन के आधार पर सभी आयामों में अलग करके देख सकते हैं। एक बार पाया कि किसी बिज़नेस लाइन की लागत अचानक 40% बढ़ गई, जांच में पता चला कि रूटिंग रणनीति ने बड़ी संख्या में अनुरोध GPT-4o पर भेज दिए थे, रूटिंग समायोजित करने के बाद लागत तुरंत कम हो गई। अगर एकीकृत उपयोग संग्रह न होता, तो इस तरह की समस्या कभी पता ही नहीं चलती।

पाँच、मॉडल गेटवे की चार-परत संरचना

मॉडल गेटवे को कितनी परतें संभालनी चाहिए? मेरा वर्गीकरण चार परतों का है।

पहली परत प्रोटोकॉल अनुवाद।विभिन्न विक्रेताओं के अनुरोध-प्रतिक्रिया प्रारूप को OpenAI संगत इंटरफ़ेस में एकीकृत करना। यह परत बिज़नेस कोड की एकमात्र सीधे संपर्क में आने वाली परत है, यह मानक OpenAI प्रारूप के अनुरोध को विभिन्न विक्रेताओं के प्रारूप में अनुवादित करती है, फिर प्रतिक्रिया को वापस अनुवादित करती है।

दूसरी परत रूटिंग।कार्य प्रकार के अनुसार मॉडल चुनना, जैसे चीनी लंबा टेक्स्ट Qwen को, कोड DeepSeek को, बैकअप GPT-4o को। रूटिंग रणनीति कॉन्फ़िगरेबल हो सकती है, कार्य प्रकार, प्राथमिकता, लागत आदि कई आयामों का समर्थन करती है। हमने डिग्रेडेशन लॉजिक भी जोड़ा——अगर मुख्य मॉडल टाइमआउट या रेट लिमिटेड हो, तो स्वचालित रूप से बैकअप मॉडल पर स्विच करें।

तीसरी परत उपयोग संग्रह।एकीकृत बिलिंग और कोटा। हर अनुरोध की token खपत, कैश हिट, प्रतिक्रिया समय इस परत में रिकॉर्ड होता है, बाहर के लिए एकीकृत उपयोग क्वेरी इंटरफ़ेस प्रदान करती है।

चौथी परत अवलोकनीयता।लॉग, ट्रेस ट्रैकिंग, एरर कोड समामेलन। हर अनुरोध का trace_id होता है, प्रवेश से निकास तक पूरी श्रृंखला ट्रैक करने योग्य। एरर कोड इस परत में एकीकृत मैपिंग होते हैं, अलर्ट नियम भी केवल इस परत में कॉन्फ़िगर होते हैं।

बिज़नेस कोड केवल पहली परत का इंटरफ़ेस कॉल करता है, बाकी तीन परतें इसके लिए पारदर्शी हैं। इसका लाभ यह है——मॉडल बदलने पर बिज़नेस कोड नहीं बदलना, मॉडल जोड़ने पर बिज़नेस कोड नहीं बदलना, रूटिंग रणनीति समायोजित करने पर भी बिज़नेस कोड नहीं बदलना। बिज़नेस टीम को केवल यह चिंता करनी है कि "मुझे एक मॉडल कॉल करना है", बाकी गेटवे को सौंप दें।

छह、गड्ढों से बचने की याद दिलाना

बिज़नेस कोड में सीधे विभिन्न विक्रेताओं के SDK import न करें। एक बार विक्रेता इंटरफ़ेस अपग्रेड करे या आपको मॉडल बदलना हो, बदलाव का दायरा बहुत बड़ा हो जाएगा। हमने ऐसी टीमें देखी हैं जो बिज़नेस कोड में सीधे SDK कॉल करती हैं, बाद में मॉडल बदलते समय 30 से अधिक फ़ाइलें बदलीं, एक हफ़्ते तक टेस्ट करने के बाद लॉन्च किया।

एक्सेस लेयर पर दो दिन अधिक खर्च करें, बाद में दो हफ़्ते बचाएं। यह निवेश-उत्पादन अनुपात हमारे यहां वास्तव में सत्यापित है——गेटवे लॉन्च के बाद, नया मॉडल जोड़ने के लिए केवल गेटवे लेयर में एक एडाप्टर जोड़ना होता है, बिज़नेस कोड में शून्य बदलाव, आधे दिन में एकीकरण और परीक्षण पूरा हो जाता है।

इसके अलावा दो छोटे सुझाव: एक, जल्द से जल्द उपयोग संग्रह करें, वित्तीय समाधान के समय तक न रुकें जब पता चले कि गणना स्पष्ट नहीं है; दो, एरर कोड मैपिंग तालिका को लगातार बनाए रखें, नया विक्रेता जोड़ते समय पहला काम एरर कोड मैपिंग पूरी करना है।

लेखक: सुन हाओरान

प्रकाशन तिथि: 9 नवंबर 2026