8341TokenFactory
LLM APIAPI Gateway

token8341 बड़े मॉडल API एग्रीगेशन प्लेटफ़ॉर्म का व्यावहारिक अनुभव: बहु-मॉडल एकीकरण की चुनौतियाँ और समाधान

SiCore TokenWorks Team·2026-11-08

पिछले साल हमने एक क्रॉस-बॉर्डर ई-कॉमर्स इंटेलिजेंट कस्टमर सर्विस प्रोजेक्ट लिया, जिसमें एक साथ GPT-4o, DeepSeek-V3, Qwen और Doubao को एकीकृत करने की आवश्यकता थी। चारों मॉडलों के अलग-अलग काम थे: GPT-4o अंग्रेज़ी की जटिल पूछताछ संभालता था, DeepSeek चीनी लॉन्ग-टेल प्रश्नोत्तर संभालता था, Qwen उत्पाद ज्ञानकोश की खोज करता था, और Doubao सामान्य बातचीत के लिए बैकअप था। सुनने में काम का विभाजन स्पष्ट लगता है, लेकिन जब वास्तव में काम शुरू किया तो पता चला कि केवल चारों SDK को चलाने में ही लगभग तीन सप्ताह लग गए।

प्रमाणीकरण विधियाँ असंगत, अकेले सिग्नेचर के चार सेट लिखे

GPT-4o Bearer Token और ऑर्गनाइजेशन ID का उपयोग करता है, DeepSeek OpenAI फ़ॉर्मेट के अनुरूप है लेकिन Header फ़ील्ड के नामों में मामूली अंतर है, Qwen AccessKey और सिग्नेचर स्ट्रिंग का उपयोग करता है, और Doubao का प्रमाणीकरण फिर एक अलग सेट है। हमारे चार इंजीनियरों ने एक-एक करके एक-एक कंपनी को जोड़ा, और अंत में कोडबेस में चार प्रमाणीकरण लॉजिक पड़े रहे — एक सामान्य पैरामीटर बदलने के लिए चार फ़ाइलें खंगालनी पड़ती थीं। इससे भी बड़ी परेशानी API Key रोटेशन की थी, चारों कंपनियों के कंसोल अपने-अपने तरीके से चलते थे, ऑपरेशन टीम हर महीने मैन्युअल रूप से बदलती थी, एक भी छूट गया तो आधी रात को अलर्ट आ जाता था।

SSE स्ट्रीमिंग चंकिंग असंगत, फ्रंटएंड रेंडरिंग पूरी तरह गड़बड़

स्ट्रीमिंग आउटपुट में अंतर और भी बड़ा था। GPT-4o और DeepSeek मूल रूप से OpenAI के SSE फ़ॉर्मेट का पालन करते हैं, data फ़ील्ड में delta होता है; Qwen कुछ परिदृश्यों में कई token को एक chunk में पैक कर देता है; Doubao के शुरुआती संस्करणों में समाप्ति संकेत और त्रुटि इवेंट आपस में मिले हुए थे। फ्रंटएंड को चार प्रकार की डेटा स्ट्रीम मिलती थीं, रेंडरिंग लॉजिक चार-स्तरीय if-else में लिखा गया, प्रोडक्ट मैनेजर ने एक "टाइपराइटर विराम" इफ़ेक्ट जोड़ा तो चारों शाखाएँ बदलनी पड़ीं।

एरर कोड और उपयोग आँकड़े, मापदंड पूरी तरह मेल नहीं खाते

रेट लिमिट त्रुटि में, GPT-4o 429 लौटाता है, DeepSeek 429 लौटाता है लेकिन body की संरचना अलग है, Qwen बिज़नेस कोड के साथ HTTP 200 लौटाता है, और Doubao फिर एक अलग सेट है। हमारी रीट्राई रणनीति शुरू में HTTP स्टेटस कोड के आधार पर लिखी गई थी, नतीजा यह हुआ कि Qwen की ओर कभी रीट्राई ट्रिगर ही नहीं हुआ। उपयोग आँकड़े और भी सिरदर्द थे: GPT-4o token के आधार पर बिलिंग करता है लेकिन prompt और completion अलग-अलग गिने जाते हैं, Qwen इनपुट और आउटपुट को मिलाकर गिनता है, Doubao में कैश हिट का अलग फ़ील्ड है। महीने के अंत में वित्त विभाग मिलान करता था, चारों बैकएंड से निर्यात किए गए CSV फ़ॉर्मेट अलग-अलग थे, मैन्युअल रूप से मिलाने में आधा दिन लगता था।

सीधे शब्दों में कहें तो, बहु-मॉडल एकीकरण की मूल समस्या यह है: हर कंपनी अपनी बोली में बोल रही है, जबकि आपकी बिज़नेस लेयर केवल मानक भाषा सुनना चाहती है।

समाधान: एकीकरण परत में प्रोटोकॉल अनुवाद और उपयोग संग्रह

हमारा तरीका यह था कि बिज़नेस कोड और मॉडल SDK के बीच एक पतली अनुकूलन परत जोड़ी जाए, बड़े और व्यापक गेटवे का लक्ष्य नहीं रखा, बल्कि पहले तीन सबसे दर्दनाक बिंदुओं को हल किया। पहला, एकीकृत प्रमाणीकरण प्रवेश, चारों कंपनियों की Key और सिग्नेचर लॉजिक को कॉन्फ़िगरेशन सेंटर में समेटा गया, बिज़नेस पक्ष केवल एक आंतरिक Token मानता है। दूसरा, SSE स्ट्रीमिंग आउटपुट को OpenAI फ़ॉर्मेट में एकीकृत किया गया, अनुकूलन परत Qwen और Doubao के chunk को फिर से विभाजित करने की ज़िम्मेदारी लेती है, समाप्ति इवेंट को अलग किया गया। तीसरा, एरर कोड मैपिंग तालिका, चारों कंपनियों की रेट लिमिट, टाइमआउट, कंटेंट मॉडरेशन त्रुटियों को पाँच आंतरिक त्रुटि प्रकारों में वर्गीकृत किया गया, रीट्राई रणनीति केवल इन पाँच श्रेणियों को मानती है।

उपयोग संग्रह के मामले में, अनुकूलन परत प्रत्येक कॉल के बाद एसिंक्रोनस रूप से एक मानकीकृत रिकॉर्ड लिखती है: मॉडल नाम, इनपुट token, आउटपुट token, कैश हिट, लेटेंसी, त्रुटि प्रकार। वित्त विभाग को जो रिपोर्ट चाहिए वह इसी तालिका से बनती है, अब प्रत्येक कंपनी के बैकएंड पर निर्भर नहीं है।

बाद में हमने base_url को token8341 पर एकीकृत करके आज़माया, और पाया कि प्रोटोकॉल अनुवाद और उपयोग संग्रह की ये दो परतें इसमें पहले से ही काफ़ी हद तक मौजूद हैं। token8341 बड़े मॉडल API एग्रीगेशन प्लेटफ़ॉर्म GPT-4o, DeepSeek, Qwen, Doubao के प्रमाणीकरण को एक Key में समेटता है, SSE फ़ॉर्मेट को OpenAI-संगत बनाता है, और एरर कोड की मैपिंग भी करता है। हमारी पहले लिखी अनुकूलन परत का लगभग साठ प्रतिशत कोड हटा दिया गया, केवल बिज़नेस-विशिष्ट रूटिंग लॉजिक बरकरार रखा गया।

मॉडल गेटवे को कितनी परतें संभालनी चाहिए

मेरा अनुभव यह है कि मॉडल गेटवे को कम से कम चार परतें संभालनी चाहिए: प्रोटोकॉल अनुवाद परत, जो प्रत्येक कंपनी की बोली को एकीकृत इंटरफ़ेस में बदलती है; उपयोग संग्रह परत, जो एकीकृत मापदंड के अनुसार token खपत दर्ज करती है; रूटिंग परत, जो कार्य प्रकार, लागत, लेटेंसी के आधार पर मॉडल चुनती है; अवलोकनीयता परत, जो प्रत्येक कॉल की लेटेंसी और त्रुटि वितरण दर्ज करती है। पहली दो परतें श्रम बचाती हैं, बाद की दो परतें पैसे बचाती हैं। token8341 बड़े मॉडल API एग्रीगेशन प्लेटफ़ॉर्म की इन चारों परतों पर संबंधित क्षमताएँ हैं, विशेष रूप से उपयोग संग्रह और एरर कोड मैपिंग, जिसने हमारे हर महीने के आधे दिन के मैन्युअल मिलान को सीधे बचा लिया।

जोखिम से बचने की सलाह: बिज़नेस कोड में सीधे प्रत्येक कंपनी के मूल SDK को कॉल न करें, भले ही केवल दो ही जोड़ रहे हों। जैसे ही तीसरा मॉडल जोड़ना होगा, बदलाव की मात्रा घातीय रूप से बढ़ जाएगी। इसके अलावा, उपयोग आँकड़ों का मापदंड अनिवार्य रूप से एकीकरण परत में एकीकृत होना चाहिए, वित्त मिलान के समय यह पता चलने का इंतज़ार न करें कि चारों कंपनियों के बैकएंड में token की परिभाषाएँ ही अलग हैं।

यदि आप भी बहु-मॉडल एकीकरण कर रहे हैं, तो सुझाव है कि पहले एक तालिका बनाएँ, जिसमें प्रत्येक कंपनी की प्रमाणीकरण विधि, स्ट्रीमिंग फ़ॉर्मेट, एरर कोड, बिलिंग मापदंड सूचीबद्ध हों, यदि अंतर तीन से अधिक हों, तो एकीकरण परत में समाधान पर विचार करना चाहिए।

लेखक: ली युनलोंग

प्रकाशन तिथि: 9 नवंबर 2026