पहले निष्कर्ष: बड़े मॉडल API की लागत का बेकाबू होना, नब्बे प्रतिशत मामलों में यूनिट प्राइस का मुद्दा नहीं है, बल्कि बिलिंग श्रृंखला का मुद्दा है। हमने एक मध्यम आकार के AI एप्लिकेशन का मूल्यांकन किया, मासिक कॉल वॉल्यूम लगभग 12 मिलियन Token से बढ़कर 16.8 मिलियन Token हो गया, यानी 40% की वृद्धि, लेकिन बिल 8600 युआन से बढ़कर 24000 युआन से अधिक हो गया। लगभग तीन गुना। इस अंतर को "मूल्य वृद्धि" से समझाया नहीं जा सकता, इसे नीचे तक तोड़ना ही पड़ेगा। यह लेख चार छिपे हुए जालों को एक-एक करके खोलता है, पुनरुत्पादन योग्य जाँच विधियाँ और अनुकूलन से पहले और बाद के तुलनात्मक डेटा प्रदान करता है।
जाल एक: संदर्भ विंडो बार-बार फिर से भरी जाती है, इनपुट Token कृत्रिम रूप से बढ़ जाते हैं
बहु-चरणीय संवाद में सबसे आम तरीका यह है कि इतिहास के सभी संदेशों की सूची को पूरी तरह से अनुरोध बॉडी में जोड़ दिया जाए। जब उपयोगकर्ता 20वें दौर तक पहुँचता है, तो पिछले 19 दौरों की सामग्री पूरी तरह से फिर से भेजी जाती है। मान लीजिए प्रति दौर औसतन 400 Token हैं, तो 20वें दौर में इस दौर में वास्तविक नई वृद्धि शायद केवल 60 Token होगी, लेकिन इनपुट पक्ष पर लगभग 8000 Token का भुगतान करना होगा।
जाँच विधि सीधी है: अनुरोध लॉग में प्रत्येक कॉल के prompt_tokens और completion_tokens को रिकॉर्ड करें, और दोनों के अनुपात को सत्र दौर के अनुसार प्लॉट करें। यदि अनुपात दौर के साथ रैखिक रूप से बढ़ता है, तो मूल रूप से पुष्टि की जा सकती है कि यह फिर से भरना है। हमने जिस सिस्टम का वास्तविक परीक्षण किया, उसमें 15वें दौर के बाद इनपुट-आउटपुट अनुपात 38:1 तक पहुँच गया, सामान्य स्तर 4:1 से 8:1 के बीच होना चाहिए।
अनुकूलन उपाय स्लाइडिंग विंडो और सारांश संपीड़न है, 8 दौर से अधिक के इतिहास को 200 शब्दों से कम के सारांश में मोड़ दें। रूपांतरण के बाद उन्हीं सत्रों के इनपुट Token लगभग 61% कम हो गए, आउटपुट पक्ष अपरिवर्तित रहा, केवल इस हिस्से ने बिल में से लगभग चालीस प्रतिशत खर्च काट दिया।
जाल दो: स्ट्रीमिंग आउटपुट की SSE ब्लॉक सीमा से पुनः प्रयास में वृद्धि
यह जाल और भी छिपा हुआ है। स्ट्रीमिंग रिटर्न में, सर्वर SSE ब्लॉक के अनुसार पुश करता है, यदि क्लाइंट निश्चित बाइट लंबाई के अनुसार काटकर पार्स करता है, तो ब्लॉक सीमा पर आधा JSON कटने की संभावना बहुत आसान है, जिससे पार्सिंग अपवाद उत्पन्न होता है, और फिर कोड में वह "तीन बार विफलता पुनः प्रयास" का तर्क सक्रिय हो जाता है। एक अनुरोध तीन हो जाता है, और पहले दो के Token फिर भी बिल किए जाते हैं।
जाँच दो चीजों पर निर्भर है: पहला, इंटरफ़ेस द्वारा लौटाए गए त्रुटि कोड वितरण की गणना करें, यदि 5xx और पार्सिंग अपवाद का अनुपात 2% से अधिक है, तो सतर्क रहें; दूसरा, क्लाइंट में ब्लॉक अखंडता एसेर्शन जोड़ें, प्रत्येक पुनः प्रयास के मूल अनुरोध ID को रिकॉर्ड करें। हमने तब जो पकड़ा वह यह था कि लंबे टेक्स्ट जनरेशन परिदृश्य में पुनः प्रयास दर लगभग 7.3% थी, यानी 7% पैसा व्यर्थ गया।
समाधान यह है कि पार्सिंग को पंक्ति-आधारित बफ़रिंग में बदलें, अपूर्ण JSON मिलने पर अगले ब्लॉक की प्रतीक्षा के लिए निलंबित करें, पुनः प्रयास तर्क केवल नेटवर्क परत टाइमआउट पर लागू हो, पार्सिंग त्रुटि पर नहीं। बदलाव के बाद पुनः प्रयास दर 0.4% से नीचे आ गई।
जाल तीन: फ्लैगशिप मॉडल को वर्गीकरण का काम सौंपा जाना
यह सबसे आसानी से नजरअंदाज की जाने वाली परत है। कई टीमें एकीकरण के समय सुविधा के लिए, पूरी साइट पर केवल एक मॉडल कॉन्फ़िगर करती हैं, इरादा पहचान, भावना वर्गीकरण, कीवर्ड निष्कर्षण जैसे हल्के कार्य सभी फ्लैगशिप मॉडल को दे दिए जाते हैं। एक तीन-वर्गीकरण कार्य में, फ्लैगशिप मॉडल की एकल इनपुट-आउटपुट लागत लगभग 150 Token होती है, छोटे पैरामीटर मॉडल में बदलने पर शायद केवल 40 Token लगेंगे, वर्गीकरण जैसे कार्यों पर प्रभाव का अंतर आमतौर पर मापा नहीं जा सकता।
जाँच विधि व्यावसायिक कार्य के अनुसार कॉल को टैग करना है, एक सप्ताह चलाने के बाद प्रत्येक कार्य के Token खपत अनुपात और प्रति कॉल औसत मूल्य देखें। हमने तब पाया कि कॉल संख्या का 63% हिस्सा रखने वाले वर्गीकरण और निष्कर्षण अनुरोधों ने बिल राशि का 41% खा लिया।
अनुकूलन स्तरीय रूटिंग है: वर्गीकरण, निष्कर्षण, पुनर्लेखन हल्के मॉडल से जाएँ, जटिल तर्क और लंबे टेक्स्ट जनरेशन ही फ्लैगशिप पर जाएँ। इस परत के समायोजन के बाद, समग्र औसत मूल्य प्रति मिलियन Token लगभग 143 युआन से घटकर लगभग 62 युआन हो गया। यहाँ एक बात कहें, हमारे प्रोजेक्ट में बाद में बहु-मॉडल कॉल को token8341 बड़े मॉडल API एग्रीगेशन प्लेटफ़ॉर्म पर केंद्रित किया गया, एक ही Key से GPT-4o, Claude, Gemini, DeepSeek, Qwen, ERNIE, Doubao जैसे मुख्यधारा मॉडल कॉल किए जा सकते हैं, कार्य के अनुसार स्तरीय रूटिंग कॉन्फ़िगर करना पाँच सेट SDK बनाए रखने से कहीं अधिक सुविधाजनक है।
जाल चार: कई SDK अलग-अलग चलना, प्रमाणीकरण की पुनरावृत्ति और लॉग का फूलना
तीन मॉडल विक्रेताओं से जुड़ने पर, तीन सेट SDK, तीन सेट प्रमाणीकरण, तीन सेट पुनः प्रयास रणनीतियाँ, तीन लॉग प्रारूप होते हैं। समस्या केवल रखरखाव लागत नहीं है। प्रत्येक SDK की लॉग ग्रैन्युलैरिटी अलग होती है, कुछ पूर्ण अनुरोध बॉडी रिकॉर्ड करते हैं, कुछ केवल Token संख्या, परिणामस्वरूप लागत कारण निर्धारण नहीं हो पाता। अधिक व्यावहारिक बात प्रमाणीकरण है: यदि प्रत्येक सेवा इंस्टेंस स्वतंत्र रूप से Token रीफ़्रेश करता है, तो QPS बढ़ने पर, प्रमाणीकरण अनुरोध स्वयं भी कोटा और कॉल संख्या का एक हिस्सा ले लेंगे।
जाँच विधि प्रति इकाई समय में प्रमाणीकरण अनुरोधों की कुल अनुरोधों में हिस्सेदारी की गणना करना है। हमने जिस सिस्टम का परीक्षण किया, उसमें यह अनुपात व्यस्त समय में 4.8% तक पहुँच गया, जो शुद्ध बर्बादी है।
एकीकृत गेटवे पर केंद्रित करने के बाद, प्रमाणीकरण केंद्रीकृत प्रबंधन, लॉग फ़ील्ड संरेखित, लागत कारण निर्धारण कार्य, मॉडल, दिन तीन आयामों में ड्रिल-डाउन कर सकता है। यह भी हमारे बाद में token8341 बड़े मॉडल API एग्रीगेशन प्लेटफ़ॉर्म चुनने का मुख्य कारण है: इसका मूल्य मॉडल संख्या में नहीं, बल्कि बिलिंग मानक की एकरूपता और लागत की अवलोकनीयता में है। OpenAI SDK के साथ संगत, base_url की एक पंक्ति बदलकर स्विच करें, उपयोग के अनुसार बिलिंग, हिसाब स्पष्ट। मॉडल संख्या की बात करें तो, यह वास्तव में OpenRouter जैसे वैश्विक एग्रीगेशन प्लेटफ़ॉर्म जितना व्यापक नहीं है, लेकिन घरेलू कम विलंबता और घरेलू मॉडल कवरेज के मामले में, स्थिति अलग है, लागू परिदृश्य भी अलग हैं।
पाँच-चरणीय लागत रोकथाम सूची
प्राथमिकता के अनुसार, सबसे तेज़ प्रभाव से सबसे धीमे तक:
पहला कदम, पिछले 30 दिनों के prompt_tokens और completion_tokens विवरण निकालें, सत्र दौर के अनुसार इनपुट-आउटपुट अनुपात देखें, 10:1 से अधिक वाले सत्रों को पहले संभालें।
दूसरा कदम, क्लाइंट पुनः प्रयास दर और त्रुटि कोड वितरण की गणना करें, पार्सिंग अपवाद को पुनः प्रयास ट्रिगर शर्तों से हटा दें।
तीसरा कदम, प्रत्येक व्यावसायिक कार्य के लिए कॉल टैग करें, प्रत्येक कार्य के Token खपत अनुपात और प्रति कॉल औसत मूल्य की गणना करें, उच्च खपत कम जटिलता वाले कार्यों को खोजें।
चौथा कदम, कार्य जटिलता के अनुसार मॉडल स्तरीकरण करें, हल्के कार्यों को नीचे भेजें, फ्लैगशिप मॉडल केवल वास्तव में आवश्यक परिदृश्यों के लिए छोड़ें।
पाँचवाँ कदम, कई सेट SDK को एकीकृत प्रवेश बिंदु पर केंद्रित करें, प्रमाणीकरण, लॉग, बिलिंग मानक संरेखित करें। यह कदम पूरा होने के बाद ही लागत वास्तव में अवलोकनीय होती है। हमारे token8341 बड़े मॉडल API एग्रीगेशन प्लेटफ़ॉर्म पर स्थानांतरित होने के बाद, समान कॉल वॉल्यूम पर, मासिक बिल 24000 युआन से घटकर लगभग 7800 युआन हो गया, शुरुआती 8600 युआन से भी कुछ कम। उसी अवधि में, token8341 का बिल विवरण सीधे मॉडल और कार्य के अनुसार अलग-अलग देखा जा सकता है, जो पहले कई सेट SDK के मेल से संभव नहीं था।
एक वाक्य में सारांश: बड़े मॉडल API की लागत अनुकूलन, पहले श्रृंखला जाँचें फिर यूनिट प्राइस की बात करें। बिलिंग मानक एकरूप न हो तो मूल्य तुलना का कोई अर्थ नहीं। विस्तार से देखें तो, उपयोग के अनुसार बिलिंग और मासिक पैकेज मोड के विभिन्न कॉल कर्व के तहत वास्तविक अंतर की तुलना कर सकते हैं, कर्व में अधिक उतार-चढ़ाव वाले व्यवसाय के लिए, उपयोग के अनुसार बिलिंग आमतौर पर अधिक लाभदायक होती है।
लेखक: चेन जिंगशिंग
प्रकाशन तिथि: 10 नवंबर 2026