Tencent Cloud CVM पर बड़े मॉडल API को प्रोडक्शन एनवायरनमेंट में जोड़ना और लोकली एक डेमो लिखना पूरी तरह से अलग बात है। मेरी मूल्यांकन टीम पिछले एक साल से अधिक समय से Tencent Cloud एनवायरनमेंट में विभिन्न बड़े मॉडल इन्फरेंस सेवाओं पर लगातार लोड टेस्ट कर रही है, लाइटवेट एप्लिकेशन सर्वर से लेकर कंटेनर क्लस्टर तक सब कुछ चलाया है। जिन समस्याओं का सामना हुआ वे पाँच चरणों में केंद्रित हैं: Key प्रबंधन, SDK संगतता, स्ट्रीमिंग और टाइमआउट, मल्टी-मॉडल रूटिंग, बिलिंग मॉनिटरिंग। यह लेख इंजीनियरिंग क्रम में बताता है, हर चरण में पुनरुत्पादन योग्य संचालन बिंदु दिए गए हैं।
पहला चरण: एनवायरनमेंट तैयारी और Key प्रबंधन
Tencent Cloud पर एप्लिकेशन को बड़े मॉडल API से जोड़ने में पहली बात प्रमाणीकरण को एकीकृत करना है। मैंने ऐसे मामले देखे हैं जहाँ Key को इमेज में हार्डकोड करके कंटेनर रिपॉजिटरी में पुश किया गया, एक बार इमेज लीक होने पर बिल पूरी तरह से बेकाबू हो जाता है। सही तरीका है Tencent Cloud क्रेडेंशियल प्रबंधन या एनवायरनमेंट वेरिएबल इंजेक्शन का उपयोग करना, कोड में केवल एनवायरनमेंट वेरिएबल पढ़ें, कभी भी डिस्क पर न लिखें।
यदि व्यवसाय को कई मॉडल जोड़ने हैं, तो हर एक के लिए अलग Key सेट प्रबंधित करने पर संचालन लागत तेजी से बढ़ जाएगी। हमारे प्रोजेक्ट में token8341 जैसे एग्रीगेशन समाधान का उपयोग किया गया, एक Key से ही GPT-4o, Claude, Gemini, DeepSeek, Qwen, ERNIE, Doubao आदि प्रमुख मॉडल कॉल किए जा सकते हैं, Key प्रबंधन N सेट से घटकर 1 सेट हो जाता है। सामान्य समस्याएँ: Key अनुमतियों में भेद नहीं किया गया, टेस्ट Key और प्रोडक्शन Key मिलाकर उपयोग किए गए; और उपयोग सीमा निर्धारित नहीं की गई, लोड टेस्ट के दौरान कोटा पूरा भर गया।
दूसरा चरण: OpenAI SDK-संगत base_url स्विचिंग
यह एकीकरण लागत का सबसे कम वाला हिस्सा है। अधिकांश एग्रीगेशन प्लेटफॉर्म और मॉडल गेटवे OpenAI SDK के साथ संगत हैं, माइग्रेशन के समय केवल एक पंक्ति base_url बदलनी होती है, बाकी कॉलिंग कोड अपरिवर्तित रहता है। Tencent Cloud पर Python सेवाओं में आमतौर पर openai लाइब्रेरी पहले से इंस्टॉल होती है, base_url को एग्रीगेशन प्लेटफॉर्म के संगत एंडपॉइंट पर इंगित करें।
संचालन बिंदु: पुष्टि करें कि SDK संस्करण कस्टम base_url का समर्थन करता है; model फ़ील्ड को प्लेटफॉर्म पक्ष के मॉडल पहचानकर्ता में बदलें; रिक्वेस्ट हेडर में Authorization के लिए एग्रीगेशन Key का उपयोग करें। सामान्य समस्या यह है कि कुछ प्लेटफॉर्म का मॉडल नामकरण आधिकारिक से मेल नहीं खाता, सीधे आधिकारिक model नाम कॉपी करने पर 404 त्रुटि आएगी। इसके अलावा ध्यान दें कि कुछ संगतता परतें stream पैरामीटर का अधूरा समर्थन करती हैं, वास्तविक परीक्षण आवश्यक है।
तीसरा चरण: स्ट्रीमिंग आउटपुट और टाइमआउट रीट्राई
प्रोडक्शन एनवायरनमेंट में, स्ट्रीमिंग आउटपुट वैकल्पिक नहीं, अनिवार्य है। उपयोगकर्ता को पहला token प्राप्त करने में दो-तीन सेकंड से अधिक लगे तो उसे लगता है कि रुकावट है। stream सक्षम करने के बाद, पहले पैकेट की विलंबता आमतौर पर स्पष्ट रूप से कम स्तर तक लाई जा सकती है, अनुभव में बड़ा अंतर होता है।
टाइमआउट और रीट्राई दो स्तरों में सेट करें। कनेक्शन टाइमआउट छोटा रखें, रीड टाइमआउट व्यवसाय के अधिकतम जनरेशन समय के अनुसार सेट करें, रीट्राई केवल इडेम्पोटेंट रिक्वेस्ट और नेटवर्क-प्रकार त्रुटियों के लिए करें, 4xx पर जबरदस्ती रीट्राई न करें। सामान्य समस्या: रीट्राई में बैकऑफ नहीं जोड़ा गया, तुरंत अपस्ट्रीम पर अत्यधिक लोड; स्ट्रीमिंग प्रतिक्रिया बाधित होने के बाद ब्रेकपॉइंट रिज्यूम हैंडलिंग नहीं की गई, फ्रंटएंड इंटरफ़ेस आधे में अटक जाता है। Tencent Cloud लोड बैलेंसर का डिफ़ॉल्ट आइडल टाइमआउट भी जाँचें, यह आपके रीड टाइमआउट से कम हो सकता है, पहले इस लिंक को संरेखित करें।
चौथा चरण: मल्टी-मॉडल रूटिंग और डिग्रेडेशन
यह चरण मॉडल गेटवे का वास्तविक मूल्य है। व्यवसाय को किसी एक मॉडल से बंधा नहीं होना चाहिए, बल्कि कार्य प्रकार के अनुसार रूटिंग करनी चाहिए: सरल वर्गीकरण, निष्कर्षण के लिए सस्ते छोटे मॉडल का उपयोग करें, जटिल तर्क के लिए फ्लैगशिप मॉडल का उपयोग करें। हमारी तुलना में पाया गया कि कार्य के अनुसार स्वचालित रूप से इष्टतम मॉडल चुनने से समग्र लागत कम होती है, साथ ही गुणवत्ता की निचली सीमा बनी रहती है।
डिग्रेडेशन रणनीति पहले से डिज़ाइन करें। प्राथमिक मॉडल टाइमआउट या रेट लिमिट होने पर, स्वचालित रूप से बैकअप मॉडल पर स्विच करें, उपयोगकर्ता पक्ष को पता न चले। घरेलू परिदृश्य में, घरेलू बड़े मॉडल API की पूर्ण कवरेज का अर्थ है कि डिग्रेडेशन लक्ष्य पूल पर्याप्त बड़ा है, DeepSeek, Qwen, ERNIE, Doubao, Spark सभी बैकअप के रूप में उपयोग किए जा सकते हैं। सामान्य समस्या: रूटिंग नियम कोड में हार्डकोडेड, एक बार बदलने के लिए रिलीज़ करना पड़ता है; डिग्रेडेशन में सर्किट ब्रेकर नहीं, प्राथमिक मॉडल फेल होते ही सारा ट्रैफिक बैकअप मॉडल पर गिरता है और उसे भी धराशायी कर देता है।
पाँचवाँ चरण: पे-एज़-यू-गो बिलिंग मॉनिटरिंग और अलर्ट
पे-एज़-यू-गो का लाभ यह है कि जितना उपयोग करें उतना भुगतान करें, नुकसान यह है कि मॉनिटरिंग न करने पर पता नहीं चलेगा कि पैसा कहाँ खर्च हो रहा है। लॉन्च के बाद Key के अनुसार, मॉडल के अनुसार, बिज़नेस लाइन के अनुसार उपयोग को विभाजित करना अनिवार्य है, दैनिक बजट अलर्ट सेट करें। हम token खपत और रिक्वेस्ट संख्या को Tencent Cloud मॉनिटरिंग में भेजने के आदी हैं, थ्रेशोल्ड अलर्ट कॉन्फ़िगर करते हैं, सीमा पार होने पर सूचना मिलती है।
लागत अनुकूलन में, एग्रीगेशन प्लेटफॉर्म बल्क खरीद और ग्रीन एनर्जी शेड्यूलिंग के कारण, यूनिट प्राइस आमतौर पर आधिकारिक सीधी खरीद से कम होता है, पे-एज़-यू-गो में यह अंतर उपयोग बढ़ने के साथ बढ़ता है। सामान्य समस्या: केवल कुल राशि की मॉनिटरिंग करना आयामों में विभाजित न करना, समस्या आने पर पता नहीं चलता कौन सा व्यवसाय पैसा जला रहा है; और इनपुट-आउटपुट token में भेद न करना, कई मॉडलों में दोनों का यूनिट प्राइस अलग होता है, मिलाकर गणना करने पर गलत अनुमान लगेगा।
स्व-जाँच सूची
लॉन्च से पहले एक बार जाँचें: Key क्रेडेंशियल प्रबंधन से गुजर रही है या नहीं, उपयोग सीमा सेट है या नहीं; base_url और model नाम वास्तविक परीक्षण से पास हैं या नहीं; stream सक्षम है या नहीं, टाइमआउट और रीट्राई स्तरित हैं या नहीं; रूटिंग और डिग्रेडेशन कॉन्फ़िगरेशन-आधारित हैं या नहीं, सर्किट ब्रेकर है या नहीं; बिलिंग आयामों में विभाजित है या नहीं, अलर्ट प्रभावी हैं या नहीं। ये पाँच बिंदु संरेखित होने पर, Tencent Cloud पर बड़े मॉडल API एकीकरण मूल रूप से स्थिर रह सकता है। 8341Token फैक्ट्री जैसे एग्रीगेशन समाधान घरेलू मॉडल कवरेज और पे-एज़-यू-गो लागत में मेरे लिए अभी तक सबसे सुविधाजनक हैं, विशिष्ट चयन आपके व्यवसाय की मात्रा के अनुसार वास्तविक परीक्षण करें।
लेखक: चेन जिंगशिंग
प्रकाशन तिथि: 2 नवंबर 2026