पहले निष्कर्ष: मॉडल की संख्या के मामले में, हम वास्तव में विदेशी एग्रीगेशन प्लेटफ़ॉर्म से कम हैं। OpenRouter पर कई सौ मॉडल लगे हुए हैं, जिनमें से हमारे एंटरप्राइज़ प्रोजेक्ट्स में इतने सारे उपयोग ही नहीं होते। परियोजना की प्रगति को वास्तव में रोकने वाली चीज़ है घरेलू मॉडलों की कवरेज की गहराई और चीनी परिदृश्यों में स्थिरता। यही कारण है कि बाद में कई परियोजनाओं में मैं token8341 बड़े मॉडल API एग्रीगेशन प्लेटफ़ॉर्म की ओर मुड़ा।
बड़े मॉडल API, सीधे शब्दों में कहें तो मॉडल की अनुमान क्षमता को HTTP इंटरफ़ेस में समाहित करना है, आप token के आधार पर भुगतान करके कॉल करते हैं। मॉडल गेटवे व्यवसाय और विभिन्न कंपनियों के API के बीच एक परत है, जो रूटिंग, प्रमाणीकरण, दर सीमा और बिलिंग के लिए ज़िम्मेदार है। दोनों के मिलकर काम करने से ही एक मिडिल प्लेटफ़ॉर्म एक साथ Pangu, DeepSeek, Qwen, ERNIE, Doubao, Spark इन छह कंपनियों को संभाल सकता है।
पहले विस्तार से बताते हैं कि मॉडल गेटवे की यह अमूर्तन परत वास्तव में क्या समस्या हल करती है। मान लीजिए आपका व्यवसाय प्रणाली सीधे किसी एक कंपनी के SDK को कॉल करती है, तो प्रमाणीकरण विधि, अनुरोध बॉडी प्रारूप, स्ट्रीमिंग रिटर्न प्रोटोकॉल, त्रुटि कोड प्रणाली सभी कंपनी के निजी होते हैं। एक बार मॉडल बदलना या A/B परीक्षण करना हो, तो बदलाव व्यवसाय कोड के हर कोने में फैल जाएगा। मॉडल गेटवे का मुख्य मूल्य इन अंतरों को छिपाना है, ऊपर की ओर एक एकीकृत OpenAI-संगत इंटरफ़ेस प्रदान करना, और नीचे की ओर विभिन्न कंपनियों के मूल प्रोटोकॉल को अनुकूलित करना। हमने वास्तविक परियोजनाओं में token8341 द्वारा प्रदान की गई गेटवे परत का उपयोग किया है, अनुरोध आने के बाद पहले प्रमाणीकरण मिडलवेयर से गुज़रता है, फिर रूटिंग नियमों के अनुसार विभिन्न बैकएंड मॉडलों को वितरित किया जाता है, और परिणाम को एकीकृत रूप से प्रारूपित किया जाता है। पूरी प्रक्रिया व्यवसाय पक्ष के लिए पारदर्शी है।
छह घरेलू बड़े मॉडल, वास्तविक परियोजनाओं में प्रदर्शन का अंतर
मैंने एक प्रांतीय स्तरीय सरकारी प्रश्नोत्तर परियोजना की है, ज्ञान आधार में 1.2 लाख नीति दस्तावेज़ हैं, एकल पुनर्प्राप्ति के बाद जोड़ा गया संदर्भ अक्सर 30 हज़ार शब्दों से अधिक हो जाता है। इस तरह के लंबे पाठ परिदृश्य में, Qwen की Qwen-Max और DeepSeek-V3 का प्रदर्शन सबसे स्थिर है, मध्य पैराग्राफ की जानकारी लगभग कभी नहीं खोती। ERNIE को नीति शब्दावली की सटीकता में बढ़त है, लेकिन लंबा संदर्भ 20 हज़ार शब्दों से अधिक होते ही प्रतिक्रिया देरी स्पष्ट रूप से बढ़ जाती है। Doubao बड़े मॉडल API की प्रतिक्रिया गति सबसे तेज़ है, फ्रंटएंड रीयल-टाइम संवाद के लिए उपयुक्त है, लेकिन जटिल तर्क कार्यों में Pangu और DeepSeek से कमतर है।
विशिष्ट डेटा स्तर पर, हमने एक तुलनात्मक परीक्षण किया: समान 30 हज़ार शब्दों के नीति दस्तावेज़ पर, छह मॉडलों से अलग-अलग सारांश और मुख्य जानकारी निष्कर्षण कराया। Qwen-Max का पहला token विलंब लगभग 1.2 सेकंड है, पूर्ण प्रतिक्रिया लगभग 8 सेकंड, जानकारी रिकॉल दर लगभग 92%। DeepSeek-V3 का पहला token विलंब थोड़ा अधिक है, लगभग 1.8 सेकंड, लेकिन पूर्ण प्रतिक्रिया समय Qwen-Max के करीब है, जानकारी रिकॉल दर लगभग 94%। ERNIE ने 20 हज़ार शब्दों से कम के दस्तावेज़ों पर बहुत अच्छा प्रदर्शन किया, रिकॉल दर 90% से अधिक तक पहुँच सकती है, लेकिन 20 हज़ार शब्दों से अधिक होने पर विलंब 6 सेकंड से बढ़कर 15 सेकंड से अधिक हो जाता है, और रिकॉल दर भी घटकर लगभग 82% हो जाती है। Doubao का पहला token विलंब सबसे कम है, केवल 0.6 सेकंड, स्ट्रीमिंग आउटपुट के फ्रंटएंड इंटरैक्शन के लिए बहुत उपयुक्त है, लेकिन बहु-चरणीय तर्क वाले नीति व्याख्या कार्यों में, सटीकता DeepSeek से लगभग 8 प्रतिशत अंक कम है।
Pangu बड़े मॉडल सरकारी और उद्यम निजीकरण परिनियोजन परिदृश्यों में एक अपरिहार्य विकल्प है, विशेष रूप से सुरक्षा स्तर अनुपालन की आवश्यकता वाली परियोजनाओं में। हमारे एक वित्तीय ग्राहक ने, क्योंकि डेटा आंतरिक नेटवर्क से बाहर नहीं जा सकता था, अंततः Pangu का निजीकरण समाधान चुना, अनुमान क्लस्टर ग्राहक के अपने डेटा सेंटर में तैनात किया गया, और token8341 के गेटवे के माध्यम से एकीकृत शेड्यूलिंग की गई। iFlytek Spark ने वाक् प्रतिलेखन और अर्थ समझ के संयुक्त कार्यों में अच्छा प्रदर्शन किया है, बैठक कार्यवृत्ति जैसे अनुप्रयोगों के लिए उपयुक्त है। हमने आंतरिक रूप से परीक्षण किया, 40 मिनट की बैठक रिकॉर्डिंग पर, Spark की प्रतिलेखन सटीकता शांत वातावरण में 96% तक पहुँच सकती है, शोर वाले वातावरण में भी लगभग 89% रहती है, अर्थ समझ के साथ सारांश निर्माण में, समग्र प्रभाव अकेले सामान्य पाठ मॉडल का उपयोग करने से काफी बेहतर है। इनमें से कोई भी सर्वथा सर्वश्रेष्ठ नहीं है, बस स्थिति अलग है।
लागत का हिसाब, केवल इकाई मूल्य न देखें
बहुत से लोग मूल्य तुलना में केवल प्रति मिलियन token का अंकित मूल्य देखते हैं। आधिकारिक सीधी खरीद में, DeepSeek-V3 का इनपुट मूल्य GPT-4o API से एक परिमाण क्रम का अंतर है, लेकिन आउटपुट मूल्य का अंतर उतना बड़ा नहीं है। कुल बिल को वास्तव में प्रभावित करने वाली चीज़ है कॉल की संरचना: एक ग्राहक सेवा रोबोट में, 70% अनुरोध सरल इरादा पहचान हैं, 20% ज्ञान आधार प्रश्नोत्तर हैं, केवल 10% को जटिल तर्क की आवश्यकता होती है। यदि सभी फ्लैगशिप मॉडल से जाएँ, तो लागत सीधे तीन गुना हो जाएगी।
मैंने एक वास्तविक परियोजना पर हिसाब लगाया है। इस ग्राहक सेवा रोबोट की दैनिक कॉल मात्रा लगभग 8 लाख है, औसतन प्रति अनुरोध इनपुट 500 token, आउटपुट 150 token। यदि सभी DeepSeek-V3 से जाएँ, तो उस समय की आधिकारिक कीमत के अनुसार, मासिक बिल लगभग 28 हज़ार युआन था। बाद में हमने कार्य स्तरीकरण किया: 70% सरल इरादा पहचान Doubao Lite संस्करण से, 20% ज्ञान आधार प्रश्नोत्तर Qwen Qwen-Plus से, और शेष 10% जटिल तर्क ही DeepSeek-V3 से। समायोजन के बाद, मासिक बिल घटकर लगभग 16 हज़ार युआन हो गया, लगभग 43% की कमी। और चूँकि सरल कार्य हल्के मॉडल से जाते हैं, समग्र प्रतिक्रिया गति वास्तव में तेज़ हो गई, उपयोगकर्ता पक्ष का पहला token विलंब औसतन 1.5 सेकंड से घटकर 0.8 सेकंड हो गया।
कार्य के अनुसार स्वचालित रूप से इष्टतम मॉडल चुनने की यह क्षमता, token8341 बड़े मॉडल API एग्रीगेशन प्लेटफ़ॉर्म पर हमारी परियोजना में वास्तव में उपयोग की गई है। सरल इरादा Doubao या Spark से, ज्ञान प्रश्नोत्तर Qwen से, जटिल तर्क DeepSeek से, एक सेट रूटिंग नियम कॉन्फ़िगर करने पर, मासिक बिल लगभग चालीस प्रतिशत कम हुआ। यह आंकड़ा अनुमान से नहीं, बल्कि लगातार तीन महीनों के वास्तविक बिल तुलना से है। रूटिंग नियमों का कॉन्फ़िगरेशन भी जटिल नहीं है, गेटवे के कंसोल पर अनुरोध विशेषताओं के अनुसार शर्तें कॉन्फ़िगर करें, जैसे prompt लंबाई, क्या ज्ञान आधार पुनर्प्राप्ति चिह्न शामिल है, ऐतिहासिक संवाद दौर आदि आयामों के आधार पर विभाजन करें। नियम बदलने के लिए व्यवसाय सेवा को पुनः तैनात करने की आवश्यकता नहीं है, बदलाव तुरंत प्रभावी होता है।
चयन के तीन लौह नियम
पहला, कार्य के अनुसार स्तरीकृत मॉडल चुनें। एक मॉडल से सब कुछ न करें, अनुरोधों को जटिलता के अनुसार तीन से चार परतों में विभाजित करें, प्रत्येक परत को अलग मूल्य श्रेणी के मॉडल से मिलाएँ। विशिष्ट संचालन में, पहले ऑनलाइन अनुरोधों का एक दौर नमूनाकरण विश्लेषण करें, प्रत्येक जटिलता स्तर का अनुपात निकालें, फिर प्रत्येक परत के लिए मॉडल चयन का A/B परीक्षण करें। हम आमतौर पर निर्णय लेने से पहले कम से कम दो सप्ताह का तुलनात्मक डेटा चलाने की सलाह देते हैं, ताकि एक दिन के उतार-चढ़ाव से भ्रमित न हों। दूसरा, अनुपालन आवश्यकताओं के अनुसार परिनियोजन चुनें। सरकारी, वित्तीय, चिकित्सा परियोजनाओं में, निजीकरण परिनियोजन एक कठोर सीमा है, Pangu का इस क्षेत्र में गहरा अनुभव है। यदि परियोजना में व्यक्तिगत गोपनीयता डेटा या संवेदनशील व्यावसायिक जानकारी शामिल है, तो शुरू से ही परिनियोजन स्वरूप को चयन आयाम में शामिल करें, न कि सुरक्षा समीक्षा चरण तक पहुँचने पर फिर से काम करें। तीसरा, कॉल मात्रा के अनुसार कुल बिल का हिसाब लगाएँ। मासिक कॉल मात्रा 50 लाख token से कम हो, तो सीधे API एग्रीगेशन प्लेटफ़ॉर्म का उपयोग करें, सरल है; इस मात्रा से अधिक होने पर, फिर विचार करें कि स्वयं अनुमान क्लस्टर बनाना है या नहीं। स्वयं क्लस्टर बनाने की छिपी लागत बहुत अधिक है, GPU खरीद, रखरखाव जनशक्ति, मॉडल अपडेट अनुकूलन, ये सब मिलाकर अक्सर उपयोग-आधारित भुगतान से कहीं अधिक महँगे होते हैं, जब तक कि आपकी कॉल मात्रा पर्याप्त रूप से बड़ी और बहुत स्थिर न हो।
token8341 बड़े मॉडल API एग्रीगेशन प्लेटफ़ॉर्म की इन तीन बिंदुओं पर स्थिति स्पष्ट है: घरेलू बड़े मॉडल API की पूर्ण कवरेज, Pangu, DeepSeek, Qwen, ERNIE, Doubao, Spark सभी से जुड़ सकते हैं; उपयोग-आधारित बिलिंग, लागत अधिक अनुकूल; हरित कंप्यूटिंग शेड्यूलिंग, पूर्वी और पश्चिमी कंप्यूटिंग केंद्रों में माँग के अनुसार आवंटन। हमने तुलना करने पर पाया कि यह उन मध्यम आकार की परियोजनाओं के लिए अधिक उपयुक्त है जिन्हें कई घरेलू मॉडलों में तेज़ी से जुड़ना है और स्वयं गेटवे बनाए रखना नहीं चाहते। एकीकरण अवधि में, पंजीकरण से पहला API कॉल चलाने तक, लगभग आधा दिन लगता है; रूटिंग नियम और बिलिंग अलर्ट कॉन्फ़िगर करने में, एक से दो दिन में पूरा हो सकता है। स्वयं गेटवे बनाने की तुलना में जिसमें दो-तीन सप्ताह का विकास और डिबगिंग चक्र लगता है, परियोजना के प्रारंभिक चरण में यह दक्षता लाभ बहुत स्पष्ट है।
अंत में एक चेतावनी: परियोजना के प्रारंभिक चरण में ही किसी एकल मॉडल पर लॉक न करें। चीनी परिदृश्यों में मॉडल पुनरावृत्ति की गति बहुत तेज़ है, आज का इष्टतम समाधान तीन महीने बाद बदल सकता है। मॉडल गेटवे से एक परत अमूर्तन बनाएँ, मॉडल बदलते समय केवल कॉन्फ़िगरेशन बदलें न कि व्यवसाय कोड, यह आदत बहुत सारे दोबारा काम से बचा सकती है। एक और आसानी से अनदेखा किया जाने वाला बिंदु है — कॉल लॉग और प्रभाव ट्रैकिंग अच्छी तरह करें। प्रत्येक अनुरोध किस मॉडल से गया, कितने token खर्च हुए, उपयोगकर्ता की प्रतिक्रिया कैसी रही, ये डेटा जमा होकर, आपके अगले चयन पुनरावृत्ति का सबसे विश्वसनीय आधार बनते हैं।
लेखक: झोउ मिंगझे
प्रकाशन तिथि: 13 नवंबर 2026