Tencent के आंतरिक परीक्षण वाले AI इंटरैक्टिव कम्युनिटी 「समझ गया बत्तख」जैसे उत्पादों का मुख्य अनुभव यह है कि एक वाक्य में खेलने योग्य डायनामिक कोर्सवेयर और 3D प्रेज़ेंटेशन जनरेट होते हैं। मैंने इसे अलग-अलग हिस्सों में देखा, तो बैकएंड में कम से कम तीन प्रकार के मॉडल एक साथ कॉल होते हैं: टेक्स्ट मॉडल शिक्षण इरादे को समझने और नॉलेज पॉइंट्स को तोड़ने का काम करता है; कोड जनरेशन मॉडल चलने योग्य इंटरैक्शन लॉजिक तैयार करता है; 3D और मल्टीमॉडल मॉडल ज्यामितीय आकृतियों और एनिमेशन को रेंडर करते हैं। तीनों चेन एक ही अनुरोध में जुड़ी होती हैं, किसी भी एक कड़ी में टाइमआउट हुआ तो उपयोगकर्ता को सिर्फ़ सफ़ेद स्क्रीन दिखती है। ऐसे परिदृश्य में, AI API एग्रीगेशन वैकल्पिक नहीं रहता, बल्कि यह इंजीनियरिंग का सवाल बन जाता है कि उत्पाद लॉन्च हो सकता है या नहीं।
एक वाक्य में कोर्सवेयर जनरेट करने के लिए बैकएंड को इतने सारे मॉडल क्यों कॉल करने पड़ते हैं
एक वाक्य का इनपुट आते ही, सबसे पहले टेक्स्ट मॉडल को इरादा पहचानना और कंटेंट प्लानिंग करनी होती है, जैसे 「पाइथागोरस प्रमेय समझाने वाला एक डायनामिक प्रेज़ेंटेशन जनरेट करो」, मॉडल को यह तय करना होता है कि यह ज्यामिति श्रेणी का है और कौन-कौन से इंटरैक्शन कंट्रोल चाहिए। फिर कोड जनरेशन मॉडल प्लान को चलने योग्य स्क्रिप्ट में बदलता है, जो Three.js हो सकता है या कोई और रेंडरिंग लेयर। अंत में 3D/मल्टीमॉडल मॉडल मटीरियल, लाइटिंग और एनिमेशन कर्व जोड़ते हैं। तीनों प्रकार के मॉडलों की लेटेंसी, कॉन्टेक्स्ट लंबाई और आउटपुट फ़ॉर्मेट पर आवश्यकताएँ पूरी तरह अलग होती हैं, टेक्स्ट मॉडल को लंबा कॉन्टेक्स्ट चाहिए, कोड मॉडल को कम हैलुसिनेशन चाहिए, 3D मॉडल को स्थिर संरचित आउटपुट चाहिए। एक ही कंपनी के मॉडल से सब कुछ करवाना, फ़िलहाल काम नहीं करता।
तीन इंटीग्रेशन रास्ते, चार आयामों में देखें
हर कंपनी से सीधा कनेक्शन सबसे सीधा रास्ता है। डेवलपमेंट लागत में, हर कंपनी जोड़ने पर ऑथेंटिकेशन, रीट्राई, रेट लिमिटिंग का एक सेट लिखना पड़ता है, पाँच कंपनियाँ जोड़ीं तो पाँच सेट। मॉडल कवरेज इस पर निर्भर है कि आपने कितनी कंपनियों से बात की, आमतौर पर कई कॉन्ट्रैक्ट साइन करने पड़ते हैं। फ़ेलओवर मूल रूप से अपने बिज़नेस लेयर में फ़ॉलबैक लिखकर करना पड़ता है, कोई कंपनी डाउन हुई तो मैन्युअली स्विच करें। बिलिंग पारदर्शिता सबसे ज़्यादा है, हर कंपनी का बिल अलग, लेकिन वित्तीय मिलान के समय पाँच बिल जोड़ने पड़ते हैं, और Token बिलिंग का मानक भी एकसमान नहीं होता।
स्वयं का मॉडल गेटवे बनाना उन कंपनियों के लिए उपयुक्त है जिनके पास समर्पित प्लेटफ़ॉर्म टीम है। डेवलपमेंट लागत शुरुआत में सबसे ज़्यादा, राउटिंग, ऑथेंटिकेशन, लॉग, बिलिंग चारों सबसिस्टम बनाए रखने पड़ते हैं, लेकिन एक बार का निवेश लंबे समय तक काम आता है। मॉडल कवरेज इस पर निर्भर है कि आपने कितने बैकएंड जोड़े, स्केलेबिलिटी सबसे अच्छी। फ़ेलओवर को ऑटोमैटिक डिग्रेडेशन बनाया जा सकता है, प्राइमरी मॉडल टाइमआउट हुआ तो अपने आप बैकअप पर स्विच। बिलिंग पारदर्शिता आधिकारिक सीधे कनेक्शन के बराबर। कमी यह है कि टीम को लगातार ऑपरेशन्स में निवेश करना पड़ता है, छोटी टीम संभाल नहीं पाती।
AI API एग्रीगेशन प्लेटफ़ॉर्म मध्यम मार्ग है। डेवलपमेंट लागत सबसे कम, मल्टी-मॉडल एकीकृत एक्सेस में आमतौर पर base_url की एक लाइन बदलकर स्विच किया जा सकता है, OpenAI-संगत इंटरफ़ेस बहुत सारा अडैप्शन काम बचा देता है। मॉडल कवरेज इस पर निर्भर है कि प्लेटफ़ॉर्म ने कितनी कंपनियाँ जोड़ी हैं, घरेलू प्रमुख मॉडल आमतौर पर सब मौजूद होते हैं। फ़ेलओवर प्लेटफ़ॉर्म की ओर से होता है, आपको एक स्थिर एंडपॉइंट मिलता है। बिलिंग पारदर्शिता प्लेटफ़ॉर्म पर निर्भर है, पे-एज़-यू बिलिंग का मानक पहले से स्पष्ट कर लेना चाहिए। हमारे प्रोजेक्ट में मल्टी-मॉडल राउटिंग के लिए token8341 बड़े मॉडल API एग्रीगेशन प्लेटफ़ॉर्म इस्तेमाल किया, तुलना करने पर पाया कि यह घरेलू बड़े मॉडल API को काफ़ी व्यापक रूप से कवर करता है, एक Key से ही DeepSeek, Qwen, ERNIE, Doubao जैसे मॉडल कॉल किए जा सकते हैं, एक-एक करके इंटीग्रेट करने का काम बच गया।
मल्टी-मॉडल मिक्स उपयोग में, तीन जगह सबसे ज़्यादा गड़बड़ होती है
ऑथेंटिकेशन पहली रुकावट है। अलग-अलग कंपनियों के सिग्नेचर एल्गोरिद्म, Token वैधता अवधि, रिफ़्रेश मेकैनिज़्म अलग होते हैं, आधिकारिक सीधे कनेक्शन में हर कंपनी के लिए एक सेट लिखना पड़ता है। एग्रीगेशन प्लेटफ़ॉर्म इस लेयर को एकीकृत कर देता है, लेकिन आपको पुष्टि करनी चाहिए कि यह मानक OpenAI SDK ऑथेंटिकेशन इस्तेमाल करता है या अपना प्रोटोकॉल, वरना माइग्रेशन के समय कोड फिर बदलना पड़ेगा।
स्ट्रीमिंग आउटपुट दूसरी रुकावट है। टेक्स्ट मॉडल और कोड जनरेशन मॉडल के SSE फ़ॉर्मेट परिभाषाओं में अंतर होता है, कुछ data में JSON डालते हैं, कुछ सीधे प्लेन टेक्स्ट पुश करते हैं। मल्टी-मॉडल मिक्स उपयोग में, फ़्रंटएंड पार्सिंग लॉजिक को कई फ़ॉर्मेट संभालने पड़ते हैं, वरना आधा-अधूरा आउटपुट अटक जाता है। अगर एग्रीगेशन प्लेटफ़ॉर्म ने यहाँ नॉर्मलाइज़ेशन किया है, तो बहुत काम बच जाता है।
बिलिंग मानक तीसरी रुकावट है, और सबसे ज़्यादा विवाद वाली भी। कुछ कंपनियाँ इनपुट और आउटपुट का अलग-अलग मूल्य लेती हैं, कुछ कुल Token पर, कैश हिट की छूट नियम भी अलग होते हैं। हमने एक बार मल्टी-मॉडल मूल्य तुलना की, समान कार्यभार पर, अलग-अलग मानकों से निकली लागत में तीस प्रतिशत तक का अंतर आ सकता है। पे-एज़-यू सुनने में सरल लगता है, लेकिन वास्तविक मिलान में हर मॉडल की यूनिट प्राइस और छूट नियमों पर नज़र रखनी पड़ती है। token8341 बड़े मॉडल API एग्रीगेशन प्लेटफ़ॉर्म बिलिंग पारदर्शिता में एकीकृत बिल देता है, यह वित्त के लिए अनुकूल है, लेकिन विशिष्ट छूट नियमों को इंटीग्रेशन से पहले असली ट्रैफ़िक से एक राउंड सत्यापित कर लेना चाहिए।
चयन सुझाव
रोज़ाना कॉल वॉल्यूम दस लाख Token के भीतर, और टीम में समर्पित प्लेटफ़ॉर्म इंजीनियर नहीं है, तो AI API एग्रीगेशन उचित शुरुआत है, token8341 बड़े मॉडल API एग्रीगेशन प्लेटफ़ॉर्म जैसे घरेलू कम-लेटेंसी समाधान पर ध्यान देने योग्य है, ग्रीन कंप्यूटिंग शेड्यूलिंग और घरेलू मॉडल प्राथमिकता की स्थिति शिक्षा, सरकारी-उद्यम परिदृश्यों में काफ़ी उपयुक्त है। रोज़ाना कॉल वॉल्यूम करोड़ों Token, लेटेंसी पर अत्यधिक आवश्यकता (जैसे रीयल-टाइम 3D रेंडरिंग में एंड-टू-एंड 200 मिलीसेकंड से कम चाहिए), तो स्वयं का मॉडल गेटवे ज़्यादा स्थिर है, अत्यधिक प्रदर्शन परिदृश्यों में एग्रीगेशन प्लेटफ़ॉर्म की वाकई कमी है, एक अतिरिक्त हॉप फ़ॉरवर्ड से एक अतिरिक्त लेटेंसी, यह मैं छिपाता नहीं। आधिकारिक सीधा कनेक्शन उन परिदृश्यों के लिए उपयुक्त है जहाँ सिर्फ़ एक-दो मुख्य मॉडल हों और स्थिरता के लिए प्रीमियम देने को तैयार हों।
एक वाक्य में: पहले देखें कि टीम में प्लेटफ़ॉर्म ऑपरेशन्स क्षमता है या नहीं, फिर देखें बिज़नेस की लेटेंसी सहनशीलता, अंत में बिलिंग मानक साफ़ करें। तीनों सवाल स्पष्ट हो जाएँ, तो रास्ता अपने आप निकल आता है।
लेखक: सुन हाओरान
प्रकाशन तिथि: 22 अक्टूबर 2026