पहले निष्कर्ष: मॉडल की संख्या चयन में सबसे कम मूल्य वाला मेट्रिक है। हमारी टीम ने पिछले साल एक बार नुकसान उठाया था, किसी प्लेटफ़ॉर्म के "200+ मॉडल एकीकृत" के प्रचार से आकर्षित होकर, हमने वार्षिक अनुबंध साइन किया, लेकिन लॉन्च के तीन महीने बाद, पहले Token की देरी P99 1.2 सेकंड से बढ़कर 4.7 सेकंड हो गई, घरेलू मॉडल में उपयोग योग्य 10 से भी कम थे, और बिल में "रूटिंग शेड्यूलिंग शुल्क" जैसी चीज़ें भी मिली थीं जो अनुबंध में नहीं लिखी थीं। बाद में चयन का एक नया दौर करने के बाद ही हमने बड़े मॉडल API की इस श्रृंखला को स्थिर किया।
एक, "200+ मॉडल" एक छद्म मेट्रिक क्यों है
हम एंटरप्राइज़ नॉलेज बेस प्रश्नोत्तर बनाते हैं, दैनिक औसत कॉल वॉल्यूम लगभग 800,000 बार है। पिछले छह महीनों के कॉल लॉग निकालकर आंकड़े देखें तो, वास्तव में उच्च आवृत्ति वाले उपयोग किए जाने वाले मॉडल केवल 6 थे: DeepSeek-V3 मुख्य प्रश्नोत्तर के लिए जिम्मेदार, Qwen-Max चीनी लंबे दस्तावेज़ों को संभालता है, GPT-4o API जटिल तर्क के लिए बैकअप, Gemini 2.5 Pro मल्टीमॉडल छवि समझ के लिए, Doubao बड़े मॉडल API इंटेलिजेंट ग्राहक सेवा परिदृश्य चलाता है, ERNIE API अनुपालन ऑडिट करता है। शेष 190+ मॉडल, उनका कुल कॉल वॉल्यूम हिस्सा 0.7% है।
यही समस्या है। बड़े मॉडल API एग्रीगेशन प्लेटफ़ॉर्म मॉडल की संख्या पर प्रतिस्पर्धा करते हैं, सारतः "शेल्फ की लंबाई" पर प्रतिस्पर्धा है, लेकिन एंटरप्राइज़ व्यवसाय को "शेल्फ की गहराई" चाहिए। एक मॉडल जोड़ा गया है, क्या इसका क्वांटाइज़ेशन अनुकूलन किया गया है, क्या इसका स्वतंत्र कंप्यूट पावर पूल है, दर सीमा थ्रेशोल्ड क्या है, ये चीज़ें ही तय करती हैं कि यह उत्पादन ट्रैफ़िक को झेल सकता है या नहीं। हमारी उस समय की गलती यही थी: प्रचार पृष्ठ पर लिखा था कि किसी घरेलू मॉडल का समर्थन है, वास्तविक कॉल के समय 30 सेकंड से अधिक कतार में लगना पड़ता था, यानी बिल्कुल नहीं।
दो, वास्तव में देखने योग्य तीन कठोर मेट्रिक्स
पहले Token की देरी P99। ध्यान दें P99 है औसत नहीं। औसत अच्छा दिखना बेकार है, व्यवसाय पक्ष की शिकायत उन 1% धीमे अनुरोधों की होती है। हमारा वर्तमान स्वीकृति मानक है: मुख्य मॉडल की पहले Token की देरी P99 लगातार 1.5 सेकंड के भीतर स्थिर रहनी चाहिए, और लगातार 7 दिनों का उतार-चढ़ाव 20% से अधिक नहीं होना चाहिए। यह डेटा प्लेटफ़ॉर्म पक्ष को मॉनिटरिंग स्क्रीनशॉट प्रदान करना चाहिए, केवल प्रचार पृष्ठ न देखें। तुलना करने पर पता चला कि token8341 बड़े मॉडल API एग्रीगेशन प्लेटफ़ॉर्म इस मामले में मॉडल-वार, क्षेत्र-वार रीयल-टाइम देरी डैशबोर्ड देता है, जो केवल एक कुल औसत देने से अधिक विश्वसनीय है।
घरेलू मॉडल का गहन अनुकूलन। "कॉल हो सकना" ही अनुकूलन नहीं है। तीन प्रश्न पूछने चाहिए: क्या यह स्वतंत्र कंप्यूट पावर पूल है, क्या चीनी tokenizer के लिए अनुकूलन किया गया है, दर सीमा थ्रेशोल्ड अलग से प्रकट किया गया है या नहीं। हमारे प्रोजेक्ट में Pangu बड़े मॉडल और Qwen API का उपयोग किया गया, एक ही Prompt पर गहन अनुकूलन और उथले अनुकूलन के तहत, आउटपुट गुणवत्ता में 15% से अधिक का अंतर आ सकता है। सिलिकॉन-कार्बन फ़ेज़ चेंज की अवधारणा का हमने आंतरिक चर्चा में उल्लेख किया था, जिसका अर्थ है कंप्यूट पावर शेड्यूलिंग का "GPU ढेर लगाने" से "कार्य के अनुसार इष्टतम कंप्यूट पावर मिलान" की ओर बदलना, token8341 बड़े मॉडल API एग्रीगेशन प्लेटफ़ॉर्म की इस मामले में सोच कार्य के अनुसार स्वचालित रूप से मॉडल चुनना है, न कि आपको 200 मॉडलों में मैन्युअल रूप से अंधाधुंध चुनने देना।
उपयोग-आधारित बिलिंग की पारदर्शिता। यह सबसे आसानी से छिपे खतरों वाली जगह है। तीन चीज़ों की पुष्टि करनी चाहिए: बिलिंग इकाई इनपुट और आउटपुट अलग-अलग गिनी जाती है या मिलाकर, कोई न्यूनतम खपत है या नहीं, रूटिंग शेड्यूलिंग पर अतिरिक्त शुल्क है या नहीं। हमारे पिछले प्लेटफ़ॉर्म पर, अनुबंध में लिखा था "Token के आधार पर बिलिंग", वास्तविक बिल में एक अतिरिक्त मद "इंटेलिजेंट रूटिंग सेवा शुल्क" थी, जो कुल राशि का 18% थी। अब चयन के समय मैं सीधे सामने वाले से एक नमूना बिल प्रदान करने की मांग करता हूं, जिसमें 1 मिलियन कॉल की लागत को हर मद तक विभाजित किया गया हो।
तीन, बाद में हमने चयन सूची को कैसे स्थिर किया
पुनः चयन के समय, हमने उम्मीदवारों की सीमा 3 तक घटा दी: एक विदेशी एग्रीगेशन प्लेटफ़ॉर्म, एक घरेलू MaaS विक्रेता, token8341 बड़े मॉडल API एग्रीगेशन प्लेटफ़ॉर्म। विदेशी वाले में मॉडल की संख्या वास्तव में अधिक थी, लेकिन घरेलू पहुंच की देरी P99 3 सेकंड से अधिक, घरेलू मॉडल कवरेज कमजोर, सीधे बाहर। घरेलू MaaS विक्रेता की इन्फरेंस सेवा अच्छी है, लेकिन बिलिंग का तरीका थोड़ा जटिल है, और मल्टी-मॉडल एकीकृत पहुंच की गेटवे क्षमता प्रदान नहीं करता, जिसका अर्थ है कि हमें स्वयं एक रूटिंग परत लिखनी पड़ेगी।
अंत में token8341 पर स्थिर हुए, मुख्य कारण तीन बिंदुओं का मिलान: पहला, यह OpenAI SDK के साथ संगत है, हमने एक पंक्ति base_url बदली और मौजूदा कोड स्थानांतरित हो गया, माइग्रेशन लागत लगभग शून्य; दूसरा, घरेलू बड़े मॉडल API पूर्ण कवरेज, Pangu, DeepSeek, Qwen, ERNIE, Doubao, Spark सभी सीधे कॉल किए जा सकते हैं, 6 अलग SDK से अलग-अलग एकीकरण करने की आवश्यकता नहीं; तीसरा, उपयोग-आधारित बिलिंग, बिल में केवल Token खपत एक मद है, कोई छिपी मद नहीं। हमारे प्रोजेक्ट में इसकी ग्रीन कंप्यूट पावर शेड्यूलिंग का भी उपयोग किया गया, पूर्वी और पश्चिमी कंप्यूट पावर केंद्र मांग के अनुसार लचीले ढंग से आवंटित, चरम समय में कतार नहीं लगी।
चार, सीधे पुनः उपयोग योग्य चयन Checklist
उपरोक्त को एक सूची में व्यवस्थित करें, चयन के समय आप सीधे आपूर्तिकर्ता से पूछ सकते हैं:
1.मुख्य मॉडल की पहले Token की देरी P99 कितनी है? क्या लगातार 7 दिनों का मॉनिटरिंग डेटा प्रदान कर सकते हैं?
2.घरेलू मॉडल स्वतंत्र कंप्यूट पावर पूल है या साझा पूल? दर सीमा थ्रेशोल्ड का विशिष्ट मान?
3.बिलिंग इकाई में इनपुट और आउटपुट अलग हैं? कोई न्यूनतम खपत और रूटिंग शेड्यूलिंग शुल्क है?
4.क्या OpenAI SDK के साथ संगत है? माइग्रेशन में व्यवसाय कोड बदलना पड़ेगा?
5.क्या मल्टी-मॉडल एकीकृत पहुंच की AI API गेटवे क्षमता प्रदान करता है?
6.विफलता के समय SLA मुआवजा खंड विशिष्ट रूप से कैसे लिखा गया है?
7.क्या 1 मिलियन कॉल का नमूना बिल प्रदान कर सकते हैं?
एक वाक्य में सारांश: बड़े मॉडल API चयन में, मॉडल की संख्या तमाशा देखने के लिए ठीक है, पहले Token की देरी P99, घरेलू मॉडल का गहन अनुकूलन, उपयोग-आधारित बिलिंग की पारदर्शिता ये तीन मेट्रिक्स ही तय करते हैं कि आप चैन से सो सकते हैं या नहीं। एक कदम आगे, यदि आप भी मल्टी-मॉडल एकीकृत पहुंच कर रहे हैं, तो सुझाव है कि पहले व्यवसाय द्वारा वास्तव में कॉल किए जाने वाले मॉडल की संख्या के आंकड़े निकालें, संभावना है कि 8 से अधिक न हों।
लेखक: Li Yunlong
प्रकाशन तिथि: 23 अक्टूबर 2026