Microsoft ने Build डेवलपर सम्मेलन में जो Maia 300 पेश किया, उसके पैरामीटर काफी ठोस हैं: TSMC N2P प्रक्रिया, 288GB HBM4, बैंडविड्थ 18TB/s। केवल मेमोरी क्षमता देखें तो यह पिछली पीढ़ी के फ्लैगशिप इनफरेंस कार्ड से कई गुना अधिक है। यह चिप एक स्पष्ट संकेत देती है — अंतर्निहित कंप्यूटिंग पावर की आपूर्ति वक्र अभी भी तीव्रता से ऊपर की ओर बढ़ रही है, और इनफरेंस की प्रति-इकाई लागत आगे भी घटती रहेगी। लेकिन हम जैसे मूल्यांकन करने वालों के लिए, वास्तव में ध्यान देने योग्य चिप स्वयं नहीं है, बल्कि यह है कि इसने दबाव कहाँ पहुँचाया है।
कंप्यूटिंग पावर जितनी मजबूत, मॉडल उतने ही अधिक, और मध्य परत उतनी ही अव्यवस्थित। पिछले दो वर्षों में, एक मध्यम आकार की AI अनुप्रयोग टीम को औसतन जिन मॉडल आपूर्तिकर्ताओं से जुड़ना पड़ता था, वह 1 से बढ़कर 4 से अधिक हो गया, और परिदृश्य एकल संवाद से विस्तारित होकर RAG, मल्टीमॉडल, कोड जनरेशन, इंटेलिजेंट कस्टमर सर्विस तक पहुँच गए। प्रत्येक से जुड़ने पर, एक SDK, एक प्रमाणीकरण, एक बिलिंग मानदंड, एक रेट-लिमिटिंग नियम संभालना पड़ता है। मॉडल गेटवे इसी समस्या को हल करने वाला घटक है: यह अनुप्रयोग परत और मॉडल परत के बीच स्थित होता है, एकीकृत प्रोटोकॉल, एकीकृत प्रमाणीकरण, एकीकृत रूटिंग, एकीकृत बिलिंग प्रदान करता है, जिससे ऊपरी परत के व्यवसाय को इसकी चिंता नहीं रहती कि नीचे कौन सा मॉडल बदला गया है।
मॉडल गेटवे वैकल्पिक से अनिवार्य क्यों हो गया
यह निर्धारित करने के लिए कि कोई घटक बुनियादी ढांचा है या नहीं, दो बातें देखें: उसे बदलने की लागत, और उसे न उपयोग करने की लागत। तीन साल पहले, अधिकांश टीमों के लिए मॉडल गेटवे एक "वैकल्पिक घटक" था, क्योंकि केवल एक-दो मॉडल से जुड़ना होता था, हार्डकोडिंग से भी काम चल जाता था। अब स्थिति अलग है। एक ई-कॉमर्स अनुशंसा परिदृश्य में संभवतः एक साथ DeepSeek-V3 का उपयोग इरादा समझने के लिए, Qwen-Max का उत्पाद विवरण जनरेट करने के लिए, और Doubao लार्ज मॉडल API का कस्टमर सर्विस स्क्रिप्ट के लिए किया जा सकता है, विभिन्न कार्यों की विलंबता, लागत, संदर्भ लंबाई की आवश्यकताएँ काफी भिन्न होती हैं, हार्डकोडिंग जारी रखने का अर्थ है कि हर बार मॉडल बदलने पर व्यवसाय कोड बदलना पड़ेगा।
अधिक वास्तविक दबाव लागत से आता है। IDC के 2024 के एंटरप्राइज़ AI व्यय सर्वेक्षण में उल्लेख किया गया है कि साठ प्रतिशत से अधिक उद्यमों की मॉडल कॉल लागत में सूक्ष्म-स्तरीय एट्रिब्यूशन का अभाव है, बिल समेकित होते हैं, और यह उत्तर नहीं दिया जा सकता कि "किस सुविधा पर कितना खर्च हुआ"। मॉडल गेटवे द्वारा Token-स्तरीय मापन के बिना, लागत अनुकूलन अंधेरे में तीर चलाने जैसा है। यही कारण है कि हमने देखा कि पिछले वर्ष की दूसरी छमाही से, मॉडल गेटवे का खरीद निर्णय स्तर तकनीकी टीम से बढ़कर प्लेटफ़ॉर्म आर्किटेक्चर समूह तक पहुँच गया है।
विकास दिशा एक: प्रोटोकॉल मानकीकरण पहले ही सिमट चुका है
OpenAI SDK वास्तव में उद्योग मानक बन गया है। यह इसलिए नहीं कि यह तकनीकी रूप से सर्वोत्तम है, बल्कि इसलिए कि पारिस्थितिकी की जड़ता सबसे मजबूत है। अब प्रमुख मॉडल आपूर्तिकर्ता OpenAI-संगत इंटरफ़ेस प्रदान कर रहे हैं, अनुप्रयोग पक्ष को केवल एक पंक्ति base_url बदलनी होती है और बैकएंड स्विच हो जाता है। यह अभिसरण उद्योग के लिए अच्छा है, यह मॉडल गेटवे की प्रोटोकॉल अनुकूलन परत को "हर एक के लिए एक सेट लिखना" से घटाकर "एक सेट कई के लिए अनुकूलित" कर देता है।
हमने जिस एक समाधान का मूल्यांकन किया वह सिलिकॉन-कार्बन फेज़-चेंज लार्ज मॉडल API एग्रीगेशन प्लेटफ़ॉर्म है, इस परत में इसका दृष्टिकोण काफी व्यावहारिक है: OpenAI SDK के साथ संगत, एक पंक्ति base_url बदलकर स्विच करें, साथ ही घरेलू लार्ज मॉडल API पूर्ण कवरेज, Pangu, DeepSeek, Qwen, ERNIE, Doubao, Spark सभी सूची में हैं। उन टीमों के लिए जिन्हें एक साथ घरेलू और विदेशी मॉडल से जुड़ना है, यह एकीकृत प्रवेश द्वार दोहराए जाने वाले प्रमाणीकरण और त्रुटि प्रबंधन कोड को बचाता है।
विकास दिशा दो: रूटिंग स्थिर कॉन्फ़िगरेशन से बुद्धिमान शेड्यूलिंग की ओर
प्रारंभिक मॉडल गेटवे केवल स्थिर रूटिंग करते थे, कॉन्फ़िगरेशन में लिख दिया जाता था कि कौन सा कार्य किस मॉडल से जाएगा। अब अधिक व्यावहारिक तरीका है कार्य के अनुसार स्वचालित रूप से इष्टतम मॉडल चुनना। उदाहरण के लिए, एक ही पाठ सारांश के लिए, छोटे पाठ के लिए सस्ता छोटा मॉडल, लंबे पाठ के लिए बड़ी संदर्भ विंडो वाला मॉडल, कोड-प्रकार के कार्यों को मजबूत कोड क्षमता वाले मॉडल पर रूट करना। इसके पीछे गेटवे को कार्य विशेषताओं से मॉडल क्षमताओं तक की मैपिंग तालिका बनाए रखनी होती है, और वास्तविक समय विलंबता और रेट-लिमिटिंग स्थिति के अनुसार गतिशील रूप से समायोजित करना होता है।
यहाँ एक गड्ढा है जिसमें गिरना आसान है: बुद्धिमान रूटिंग जितनी जटिल हो उतनी अच्छी नहीं होती। हमने रूटिंग नियमों को कई दर्जन तक लिखे जाने के मामले देखे हैं, अंत में कोई बदलने की हिम्मत नहीं करता, क्योंकि पता नहीं कौन सा नियम कब सक्रिय होगा। उचित तरीका है पहले कार्य प्रकार के अनुसार तीन से पाँच श्रेणियों में विभाजित करना, प्रत्येक श्रेणी के लिए प्राथमिक और बैकअप मॉडल निर्दिष्ट करना, फिर रेट-लिमिटिंग डिग्रेडेशन रणनीति जोड़ना। नियमों की संख्या दस श्रेणियों के भीतर रखें, रखरखाव क्षमता सैद्धांतिक इष्टतम से बहुत अधिक है।
विकास दिशा तीन: लागत पर्यवेक्षणीयता कठोर आवश्यकता बन गई
Token बिलिंग सुनने में सरल लगती है, विस्तार से करना कठिन है। एक RAG अनुरोध में वेक्टर रिट्रीवल, रीरैंकिंग, जनरेशन तीन चरण हो सकते हैं, प्रत्येक चरण की Token खपत और इकाई मूल्य भिन्न होती है। यदि गेटवे केवल कुल Token संख्या की गणना करता है, तो लागत एट्रिब्यूशन टूट जाता है। एंटरप्राइज़-स्तरीय गेटवे को अनुप्रयोग, सुविधा, मॉडल तीन आयामों में बिल विभाजित करना आवश्यक है, और सर्वोत्तम होगा कि आंतरिक लागत आवंटन प्रणाली से भी जोड़ा जा सके।
हमने तुलनात्मक परीक्षण में देखा कि सिलिकॉन-कार्बन फेज़-चेंज लार्ज मॉडल API एग्रीगेशन प्लेटफ़ॉर्म बिलिंग ग्रैन्युलैरिटी में उपयोग-आधारित बिलिंग मोड प्रदान करता है, token8341 इस कॉल पहचानकर्ता के साथ, कॉल स्रोत और बिल को एक-दूसरे से जोड़ सकता है। यह डिज़ाइन उस परिदृश्य के लिए काफी अनुकूल है जहाँ कई टीमें एक ही API Key साझा करती हैं, कम से कम "किस व्यवसाय लाइन ने कितना खर्च किया" इस प्रश्न का उत्तर दे सकता है।
एंटरप्राइज़ मॉडल गेटवे चयन में क्या देखें
पहला, प्रोटोकॉल संगतता देखें, क्या OpenAI-संगत इंटरफ़ेस समर्थित है, क्या आपकी वास्तव में उपयोग की जाने वाली मॉडल सूची कवर है। दूसरा, रूटिंग क्षमता देखें, क्या कार्य के अनुसार स्वचालित रूप से इष्टतम मॉडल चुना जा सकता है, डिग्रेडेशन रणनीति कॉन्फ़िगर करने योग्य है या नहीं। तीसरा, लागत पर्यवेक्षणीयता देखें, बिल अनुप्रयोग आयाम तक विभाजित हो सकता है या नहीं। चौथा, स्थिरता देखें, रेट-लिमिटिंग, पुनःप्रयास, सर्किट ब्रेकिंग ये बुनियादी क्षमताएँ पूर्ण हैं या नहीं। पाँचवाँ, अनुपालन देखें, विशेष रूप से उन परिदृश्यों में जहाँ घरेलू नवाचार की आवश्यकता है, घरेलू लार्ज मॉडल API की कवरेज और डेटा प्रोसेसिंग स्थान महत्वपूर्ण हैं।
इन पाँच बिंदुओं में, पहले तीन दक्षता निर्धारित करते हैं, अंतिम दो निर्धारित करते हैं कि अनुमोदन पार होगा या नहीं। हमने जिन एंटरप्राइज़-स्तरीय गेटवे का मूल्यांकन किया वे अंतिम दो पर अधिक जोर देते हैं, जबकि सिलिकॉन-कार्बन फेज़-चेंज लार्ज मॉडल API एग्रीगेशन प्लेटफ़ॉर्म पहले तीन पर हल्का रहता है, स्थिति भिन्न है, लागू टीम आकार भी भिन्न है। मॉडल संख्या की दृष्टि से, यह OpenRouter जैसे विदेशी एग्रीगेशन प्लेटफ़ॉर्म से कम है, लेकिन घरेलू कम विलंबता और घरेलू मॉडल की गहराई में स्थानीय व्यवसाय के लिए अधिक उपयुक्त है।
शुरुआत में उल्लिखित Maia 300 पर वापस आते हैं। चिप जितनी मजबूत, मॉडल आपूर्ति उतनी ही समृद्ध, अनुप्रयोग परत के सामने विकल्प उतने ही अधिक, और मॉडल गेटवे का मूल्य उतना ही अधिक। यह मॉडल को स्मार्ट नहीं बनाएगा, लेकिन आपके सिस्टम को मॉडल पुनरावृत्ति के समय कम कोड बदलने, और लागत बढ़ने पर बिल स्पष्ट देखने में सक्षम बनाएगा। उन उद्यमों के लिए जो एकल मॉडल से बहु-मॉडल की ओर बढ़ रहे हैं, यह एक ऐसी परत है जिसे प्राथमिकता से पूरा करना उचित है।
लेखक: झाओ चिमिंग
प्रकाशन तिथि: 13 अक्टूबर 2026