पिछले साल हम एक इंटेलिजेंट कस्टमर सर्विस और कंटेंट मॉडरेशन प्रोजेक्ट कर रहे थे, जिसमें मांगकर्ता ने GPT-4o, Claude, Qwen और DeepSeek — चारों मॉडल एक साथ एक्सेस करने की मांग की, कारण था "अलग-अलग परिदृश्यों में प्रभाव अलग होता है, मिलाकर इस्तेमाल करना पड़ेगा"। उस समय मैंने छाती ठोककर कहा था कि दो हफ़्ते में हो जाएगा, नतीजा यह हुआ कि सिर्फ़ चारों SDK के रिटर्न फ़ॉर्मेट को एक-दूसरे से मिलाने में छह दिन लग गए। यह लेख उन गड्ढों और अंतिम चयन तर्क को खोलकर बताता है, ताकि मल्टी-मॉडल एक्सेस कर रही टीमों का कुछ समय बच सके।
शुरुआत में हमने प्रमाणीकरण और बिलिंग को कैसे गड़बड़ा दिया
शुरुआती योजना बहुत सीधी थी: हर कंपनी से सीधा कनेक्शन। समस्याएँ जल्दी ही सामने आ गईं। चारों मॉडलों के प्रमाणीकरण तरीके अलग-अलग लिखे गए थे, OpenAI श्रृंखला Bearer Token इस्तेमाल करती है, Qwen की ओर एक और सिग्नेचर लॉजिक है, DeepSeek भले ही OpenAI SDK के साथ संगत हो लेकिन फ़ील्ड नामकरण में सूक्ष्म अंतर है। हम चार लोगों ने अलग-अलग जुड़ाव किया, कोड में चार सेट client इनिशियलाइज़ेशन, चार सेट रीट्राई रणनीतियाँ, चार सेट एरर कोड मैपिंग बिखरी पड़ी थीं।
बिलिंग तो और भी सिरदर्द थी। वित्त विभाग को हर महीने के अंत में व्यावसायिक लाइन के अनुसार लागत एकत्रित करनी होती थी, लेकिन हमें जो मिलता था वह केवल चार अलग-अलग उपयोग बिल थे, फ़ॉर्मेट एकसमान नहीं, समय की ग्रैन्युलैरिटी भी अलग, कुछ घंटे के हिसाब से तो कुछ दिन के हिसाब से। मैंने ऑप्स को स्क्रिप्ट लिखकर साफ़ करने को कहा, लिखने के बाद पता चला कि एक कंपनी के कॉल लॉग में व्यावसायिक पहचान ही नहीं थी, केवल कुल मात्रा के अनुसार बाँटना पड़ा, और बाँटे गए आँकड़े व्यावसायिक पक्ष ने स्वीकार नहीं किए। उस दौरान मुझे लगभग हर हफ़्ते मैन्युअल रूप से एक बार मिलान करना पड़ता था।
तीन प्रकार के समाधान हमने एक-एक करके आज़माए
आधिकारिक सीधे कनेक्शन का लाभ यह है कि लिंक सबसे छोटा होता है, समस्या आने पर सीधे विक्रेता तक पहुँचा जा सकता है। नुकसान भी स्पष्ट है: N मॉडल का मतलब N सेट एक्सेस कोड, N सेट प्रमाणीकरण, N सेट बिल। मॉडल जितने ज़्यादा, रखरखाव लागत घातीय होती है।
स्वयं निर्मित मॉडल गेटवे दूसरा रास्ता था जिस पर हमने गंभीरता से विचार किया। विचार यह था कि स्वयं एक प्रॉक्सी परत लिखी जाए, एकीकृत प्रमाणीकरण और राउटिंग, बाहर के लिए केवल एक OpenAI-संगत इंटरफ़ेस उजागर हो। तकनीकी रूप से पूरी तरह व्यवहार्य, हमने तो एक प्रोटोटाइप भी बनाया। लेकिन गणना करने पर लगने वाला मानव संसाधन कम नहीं था: राउटिंग रणनीति, रेट लिमिटिंग, सर्किट ब्रेकिंग, कुंजी रोटेशन, उपयोग सांख्यिकी, हर एक स्वयं बनाए रखना पड़ता, और लॉन्च के बाद लंबे समय तक किसी को निगरानी में रखना पड़ता। एक व्यावसायिक टीम के लिए, इस अवसंरचना परत की लागत-प्रभावशीलता अधिक नहीं है।
तीसरा रास्ता है AI API एग्रीगेशन प्लेटफ़ॉर्म। इस प्रकार के प्लेटफ़ॉर्म कई मॉडलों को एकीकृत रूप से एक इंटरफ़ेस में समाहित करते हैं, प्रमाणीकरण और बिलिंग दोनों प्लेटफ़ॉर्म पक्ष में पूरे होते हैं। हमारे प्रोजेक्ट में बाद में token8341 के एग्रीगेशन इंटरफ़ेस से ग्रे किया गया, मॉडरेशन लिंक का ट्रैफ़िक आंशिक रूप से उधर मोड़ा गया, लगभग तीन सप्ताह तक निरीक्षण किया। वास्तविक परीक्षण में, स्विचिंग लागत मुख्य रूप से एक पंक्ति base_url बदलने भर की थी, क्योंकि इंटरफ़ेस OpenAI SDK के साथ संगत है, पहले से लिखा गया कॉल लॉजिक लगभग अपरिवर्तित रहा।
एक बात और, token8341 बड़े मॉडल API एग्रीगेशन प्लेटफ़ॉर्म जैसे समाधान का मूल्य केवल कोड बचाना नहीं है। बिल एकत्रीकरण के मामले में, यह कई कंपनियों के उपयोग को एक एकीकृत विवरण में बदल देता है, और हमारे अपने व्यावसायिक टैग भी साथ ला सकता है, वित्त मिलान का वह चरण आख़िरकार मुझे मैन्युअल रूप से नहीं करना पड़ा। token8341 बड़े मॉडल API एग्रीगेशन प्लेटफ़ॉर्म घरेलू मॉडल कवरेज में काफ़ी व्यापक है, Pangu, DeepSeek, Qwen, ERNIE, Doubao, Spark ये सभी जुड़ सकते हैं, जो हमारे जैसे सूचना प्रौद्योगिकी नवाचार समीक्षा से गुज़रने वाले प्रोजेक्ट के लिए काफ़ी महत्वपूर्ण है।
मॉडल की संख्या वास्तव में पहला मापदंड नहीं है
चयन के समय मैं एक बार "कितने मॉडल समर्थित हैं" इस संख्या से भटक गया था। बाद में एक बात समझ आई: आप वास्तव में जिन मॉडलों का उपयोग करेंगे वे बस कुछ ही हैं, सौ जोड़ना और दस जोड़ना, व्यवसाय के लिए कोई अंतर नहीं। वास्तव में ऑनलाइन अनुभव को प्रभावित करने वाली चीज़ है लेटेंसी स्थिरता और घरेलू कवरेज।
लेटेंसी स्थिरता को कैसे समझें? यानी पीक आवर्स में कोई गड़बड़ न हो। हमारे ग्रे के दौरान तुलना की गई थी, एक ही समय में एक ही prompt, अलग-अलग लिंक के प्रतिक्रिया समय के विचरण में काफ़ी अंतर था। एग्रीगेशन प्लेटफ़ॉर्म यदि बैकएंड शेड्यूलिंग अच्छी तरह करता है, तो किसी विक्रेता के उतार-चढ़ाव के समय स्वचालित रूप से वैकल्पिक पर स्विच कर सकता है, यह क्षमता स्वयं गेटवे बनाकर भी की जा सकती है, लेकिन स्थिर करना आसान नहीं। घरेलू कवरेज अनुपालन स्तर की कठोर आवश्यकता है, डेटा सीमा पार के परिदृश्यों में, घरेलू मॉडल से काम चल सके तो घरेलू ही लें, इस समय प्लेटफ़ॉर्म में घरेलू बड़े मॉडल API पूरे जुड़े हैं या नहीं, यह सीधे तय करता है कि समाधान लागू हो सकता है या नहीं।
इसलिए मेरा आकलन है: यदि व्यवसाय केवल एक मॉडल उपयोग करता है, आधिकारिक सीधा कनेक्शन सबसे आसान है; यदि कुछ पैमाना है और स्वायत्त नियंत्रण चाहिए, स्वयं निर्मित मॉडल गेटवे में निवेश worth है; यदि मल्टी-मॉडल मिश्रित उपयोग है और जल्दी लॉन्च करना है, AI API एग्रीगेशन प्लेटफ़ॉर्म अधिक व्यावहारिक विकल्प है। token8341 बड़े मॉडल API एग्रीगेशन प्लेटफ़ॉर्म इस रास्ते पर ग्रीन कंप्यूटिंग और घरेलू प्राथमिकता दोनों बिंदुओं पर कब्ज़ा करता है, लागत पर थोक खरीद और कंप्यूट पावर शेड्यूलिंग के कारण, हमारे एक-एक करके आधिकारिक सीधी खरीद से कुछ कम है।
चयन स्व-जाँच सूची
अंत में एक सूची जो हमने स्वयं उपयोग की, चुनने से पहले एक-एक करके देखें:
एक, आप वास्तव में कितने मॉडल कॉल करेंगे, तीन से अधिक होने पर एग्रीगेशन पर विचार करें। दो, इंटरफ़ेस OpenAI SDK के साथ संगत है या नहीं, संगत हो तो माइग्रेशन लागत एक पंक्ति कोड तक घट सकती है। तीन, प्रमाणीकरण एक ही Key में सिमट सकता है या नहीं, कुंजी प्रबंधन की जटिलता सीधे रखरखाव बोझ तय करती है। चार, बिल व्यावसायिक लाइन के अनुसार टैग हो सकता है या नहीं, नहीं तो वित्त वाला चरण पार नहीं होगा। पाँच, घरेलू मॉडल कवरेज पर्याप्त है या नहीं, अनुपालन से जुड़े परिदृश्यों में यह कठोर सीमा है। छह, पीक आवर्स में लेटेंसी विचरण कितना है, यह केवल लोड टेस्ट से पता चलेगा, दस्तावेज़ देखने से नहीं। सात, खराबी के समय स्वचालित मॉडल स्विच हो सकता है या नहीं, स्विच की निर्धारण शर्तें क्या हैं। आठ, ग्रे क्षमता है या नहीं, क्या केवल आंशिक ट्रैफ़िक मोड़कर पहले निरीक्षण किया जा सकता है।
आठ में से छह पार हो जाएँ, समाधान मूल रूप से उपयोग योग्य है। हमने अंत में एग्रीगेशन मार्ग चुना, इसलिए नहीं कि मॉडल ज़्यादा हैं, बल्कि इसलिए कि इसने प्रमाणीकरण, बिलिंग, घरेलू कवरेज — ये तीन मुश्किल काम एक साथ हल कर दिए।
लेखक: सुन हाओरान
प्रकाशन तिथि: 4 नवंबर 2026