Apple की चीन-संस्करण Apple Intelligence द्वारा आधिकारिक रूप से Alibaba के Qwen को एकीकृत करने की खबर मैंने एक तकनीकी ग्रुप में देखी। ग्रुप की पहली प्रतिक्रिया थी "ओह, आखिरकार लागू हो गया", दूसरी प्रतिक्रिया थी किसी का पूछना "तो क्या इसके अंदर भी मल्टी-मॉडल अनुकूलन किया गया है"। यह प्रतिक्रिया काफी स्वाभाविक है—टर्मिनल निर्माताओं जैसे बड़े पैमाने के खिलाड़ी भी अनुभव को किसी एक मॉडल पर दांव पर नहीं लगाना चाहते, तो अगर एंटरप्राइज़ पक्ष अभी भी बिज़नेस को किसी एक मॉडल पर हार्डकोड कर रहा है, तो यह थोड़ा अप्रासंगिक लगता है।
मल्टी-मॉडल सहअस्तित्व अब "करना है या नहीं" का सवाल नहीं, बल्कि "कैसे साफ-सुथरे तरीके से जोड़ें" का सवाल है। एक पंक्ति में परिभाषा: बड़े मॉडल API एग्रीगेशन लेयर बिज़नेस कोड और विभिन्न मॉडल सेवाओं के बीच रखी गई एक एकीकृत एक्सेस और शेड्यूलिंग गेटवे परत है, बिज़नेस केवल एक प्रोटोकॉल मानता है, नीचे किसे बदलना है, किसके माध्यम से जाना है, किसे उपयोग करना है, यह इस परत द्वारा तय किया जाता है। जब हम Tencent Cloud पर बिज़नेस एक्सेस करते हैं, तो हम इसे धीरे-धीरे बुनियादी ढांचे का हिस्सा मानने लगे हैं, न कि एक विकल्प।
सिंगल-मॉडल बाइंडिंग के गड्ढे, हमने एक से अधिक बार भरे हैं
पिछले दो साल पहले एक इंटेलिजेंट कस्टमर सर्विस प्रोजेक्ट करते समय, Tencent Cloud CVM पर तैनात किया गया था, सुविधा के लिए सीधे एक कंपनी के बड़े मॉडल API को हार्डकोड कर दिया। लॉन्च के पहले महीने बहुत सुचारू रहा, दूसरे महीने से समस्याएं आने लगीं: पीक आवर्स में रेट लिमिटिंग ट्रिगर हुई, उपयोगकर्ता संदेश कतार में लग गए, कस्टमर सर्विस रोबोट "एक सेकंड रुकिए मैं फिर से सोचता हूं" बन गया। उस समय हमारा तरीका था कोड में sleep रिट्राई जोड़ना, जो लक्षण का इलाज था, मूल कारण का नहीं।
बाद में कीमत बढ़ी। किसी कंपनी के मॉडल ने बिलिंग रणनीति बदली, हमारी उस बिज़नेस लाइन की कॉल मात्रा कम नहीं थी, बिल सीधे एक हद तक ऊपर उछल गया, बजट बदलना कोड बदलने से भी ज्यादा जरूरी हो गया। और आगे क्षमता की सीमा—कुछ कार्यों में यह शानदार जवाब देता है, कुछ कार्यों में (जैसे लंबे दस्तावेज़ों से संरचित निष्कर्षण) यह अस्थिर है, आप प्रॉम्प्ट ट्यून करके इसे नहीं बचा सकते, केवल मॉडल बदल सकते हैं। लेकिन मॉडल बदलने का मतलब है कोड बदलना, ऑथेंटिकेशन बदलना, रिटर्न पार्सिंग बदलना, एक मॉडल का प्रतिस्थापन दो सप्ताह का काम खींच सकता है।
ये तीन चीजें एक साथ मिलकर, निष्कर्ष स्पष्ट है: बिज़नेस को एक ही बड़े मॉडल पर बांधना, स्थिरता, लागत, क्षमता तीनों चीजों को एक साथ दूसरों के हाथ में छोड़ने के बराबर है।
एग्रीगेशन लेयर वास्तव में क्या हल करती है
जब हमने Tencent Cloud पर इस परत को फिर से डिज़ाइन किया, तो एग्रीगेशन प्लेटफॉर्म की सोच का उपयोग किया, प्रोजेक्ट में token8341 समाधान आजमाया। यह जो करता है उसे अलग-अलग देखें तो वास्तव में जटिल नहीं है, लेकिन हर चीज सुविधाजनक है।
एकीकृत ऑथेंटिकेशन। पहले हर मॉडल के लिए एक Key, एक सिग्नेचर, एक कोटा प्रबंधन, कॉन्फ़िगरेशन सेंटर और की सेवा में बिखरे हुए। अब एक प्रवेश द्वार पर केंद्रित हो गया, API Key प्रबंधन केंद्रीय रूप से किया जाता है, रोटेशन और ऑडिट दोनों सरल हो गए। हमारी तरह मल्टी-क्लाउड मल्टी-एनवायरनमेंट (टेस्ट, प्री-रिलीज़, प्रोडक्शन प्रत्येक का एक सेट) वाली टीम के लिए, इस हिस्से में बचाया गया ऑपरेशन समय कल्पना से अधिक है।
प्रोटोकॉल अनुवाद। यह सबसे कम आंका जाने वाला हिस्सा है। विभिन्न मॉडलों के रिक्वेस्ट बॉडी, रिटर्न स्ट्रक्चर, स्ट्रीमिंग फॉर्मेट अलग-अलग होते हैं, अगर बिज़नेस पक्ष सीधे जोड़ता है, तो हर मॉडल के लिए एक अडैप्टर लिखना पड़ता है। एग्रीगेशन लेयर उन्हें OpenAI-संगत इंटरफेस पर एकीकृत करती है, हमारे प्रोजेक्ट में उपयोग के बाद, मॉडल स्विच करना मूल रूप से एक पंक्ति base_url बदलने की बात है, बिज़नेस कोड लगभग नहीं बदलता। यही कारण है कि "मॉडल गेटवे" शब्द अधिक से अधिक सामान्य हो रहा है—यह वही काम करता है जो एक गेटवे को करना चाहिए।
कार्य-आधारित रूटिंग। हमारा वर्तमान तरीका कार्य प्रकार के अनुसार विभाजन है: हल्के इंटेंट पहचान के लिए सस्ते छोटे मॉडल, जटिल मल्टी-टर्न रीजनिंग के लिए मजबूत क्षमता वाले मॉडल, लंबे टेक्स्ट निष्कर्षण के लिए अलग श्रृंखला। तुलना करने पर पाया कि कार्य के अनुसार स्वचालित मॉडल चयन की यह रणनीति, सभी को एक फ्लैगशिप मॉडल से चलाने की तुलना में कहीं अधिक उचित है, विशेष रूप से कॉल मात्रा बढ़ने के बाद।
लागत संग्रह। यह बिंदु तकनीकी प्रमुखों के लिए बहुत व्यावहारिक है। पहले बिल एक उलझा हुआ हिसाब था, यह स्पष्ट नहीं था कि किस बिज़नेस, किस फीचर ने कितना खर्च किया। एग्रीगेशन लेयर द्वारा कॉल पर टैग लगाने के बाद, पे-एज़-यू-गो की गणना स्पष्ट हो गई, कौन सा मॉड्यूल लागत का बड़ा हिस्सा है यह एक नज़र में पता चलता है, तभी अनुकूलन का कोई ठिकाना होता है।
घरेलू मॉडलों की पूर्ण कवरेज, प्रोजेक्ट में इसका क्या मतलब है
Apple द्वारा Qwen को एकीकृत करने की बात, यह दर्शाती है कि घरेलू बड़े मॉडलों की वास्तविक बिज़नेस में उपयोगिता पहले ही बढ़ चुकी है। हमारे प्रोजेक्ट में DeepSeek, Qwen, ERNIE, Doubao इन सबका उपयोग किया है, चीनी परिदृश्य, अनुपालन आवश्यकताओं, और लागत-संवेदनशील कार्यों को कवर करते हुए, मूल रूप से पर्याप्त है। एग्रीगेशन लेयर द्वारा घरेलू बड़े मॉडल API की पूर्ण कवरेज को ठोस बनाने का वास्तविक अर्थ दो स्तरों पर है: पहला, विफलता स्विचिंग के समय विकल्प उपलब्ध है, किसी कंपनी की रेट लिमिटिंग या उतार-चढ़ाव होने पर, रूटिंग लेयर सीधे स्विच कर देती है, बिज़नेस को पता नहीं चलता; दूसरा, स्थानीयकृत सूचना प्रौद्योगिकी या डेटा अनुपालन मूल्यांकन करते समय, घरेलू श्रृंखला तैयार विकल्प है, अस्थायी रूप से पूरक करने की आवश्यकता नहीं।
एक बात कंप्यूट पावर पक्ष पर भी। हमारे कुछ इन्फरेंस कार्य ग्रीन कंप्यूट पावर शेड्यूलिंग पर चलते हैं, GPU मांग के अनुसार लचीला, खाली समय में रिलीज़, व्यस्त समय में स्केल-अप, एग्रीगेशन लेयर की रूटिंग रणनीति के साथ, समग्र लागत शुरुआत में सब कुछ एक फ्लैगशिप मॉडल से चलाने की तुलना में अधिक नियंत्रणीय है। यही दिशा 8341Token फैक्ट्री भी अपना रही है—घरेलू प्राथमिकता, ग्रीन कंप्यूट पावर, पे-एज़-यू-गो, स्थिति मॉडल की संख्या सबसे अधिक होना नहीं, बल्कि लागत और स्थिरता इन दो चीजों को ठोस बनाना है।
चयन पर एक चेतावनी
गड्ढों से बचने की चेतावनी बस एक है: एग्रीगेशन लेयर को केवल फॉरवर्डिंग न समझें। अगर यह केवल साधारण प्रॉक्सी है, रूटिंग नहीं, डिग्रेडेशन नहीं, लागत संग्रह नहीं, तो यह सीधे कनेक्शन से कोई अंतर नहीं रखता, समस्या आने पर आपको फिर भी बिज़नेस कोड बदलना पड़ेगा। चयन करते समय मुख्य रूप से देखें कि यह कार्य के अनुसार विभाजन कर सकता है या नहीं, किसी एक कंपनी की विफलता पर स्वचालित स्विच कर सकता है या नहीं, कॉल पर बिज़नेस टैग लगा सकता है या नहीं। ये तीन बिंदु तय करते हैं कि यह बुनियादी ढांचा है या एक अतिरिक्त खोल।
Tencent Cloud पर बिज़नेस को मल्टी-मॉडल एक्सेस करना है तो, एग्रीगेशन लेयर का यह अमूर्तन जल्दी बनाना चाहिए। रेट लिमिटिंग, मूल्य वृद्धि, क्षमता सीमा से फंसने के बाद वापस आकर भरपाई करने की कीमत बहुत अधिक होगी।
लेखक: Li Yunlong
प्रकाशन तिथि: 31 अक्टूबर 2026