पहले निष्कर्ष कहते हैं: बिल बढ़ने का कारण अस्सी प्रतिशत मामलों में मात्रा का बढ़ना नहीं होता। मैंने एक स्मार्ट कस्टमर सर्विस प्रोजेक्ट किया था, पिछले साल की पहली छमाही में मासिक बिल लगभग 8000 युआन स्थिर था, चौथी तिमाही तक यह 23000 युआन तक पहुंच गया, जबकि उसी अवधि में कॉल वॉल्यूम केवल 40% बढ़ा। अतिरिक्त पैसा कहां गया? मैंने तीन महीनों के कॉल लॉग निकालकर कार्य प्रकार, इनपुट लंबाई, आउटपुट लंबाई और पुनःप्रयास संख्या — इन चार आयामों के आधार पर एकत्रीकरण किया, समस्या बिल्कुल स्पष्ट थी, चार छिपे हुए लागत ब्लैक होल्स एक साथ खून चूस रहे थे।
पहले एक परिभाषा दे देता हूं, ताकि आगे भ्रम न हो। बड़े मॉडल API की लागत संरचना मूल रूप से "इनपुट token + आउटपुट token + विफल पुनःप्रयास से उत्पन्न अमान्य token" — इन तीन भागों का योग है, उपयोग के अनुसार बिलिंग केवल मूल्य निर्धारण की विधि है, यह आपके लिए पैसा बचाने का काम नहीं करती। बिल का वास्तविक निर्धारण मॉडल गेटवे पर रूटिंग रणनीति और संदर्भ प्रबंधन रणनीति से होता है।
ब्लैक होल एक: फ्लैगशिप मॉडल से मोटा काम करवाना
यह सबसे महंगा मद है। उस कस्टमर सर्विस सिस्टम में टिकट वर्गीकरण, भावना टैगिंग, इरादा पहचान — तीन प्रकार के कार्य थे, प्रतिदिन लगभग 1,20,000 कॉल। उस समय सुविधा के लिए, सभी एक ही फ्लैगशिप मॉडल से करवाए जा रहे थे। लेकिन ये तीनों कार्य कितने कठिन हैं? मुझे दो सौ शब्दों का उपयोगकर्ता संदेश दो, और यह तय करना है कि यह "लॉजिस्टिक्स पूछताछ" है या "बिक्री-पश्चात रिफंड" — ऐसा काम छोटा मॉडल बड़े मॉडल से भी अधिक स्थिरता से करता है, क्योंकि टैग स्पेस ही उतना बड़ा है।
मैंने कार्य के अनुसार मूल्यांकन दोबारा चलाया, वर्गीकरण कार्य को मध्यम आकार के मॉडल पर स्थानांतरित किया, सटीकता 96.2% से 95.7% पर आ गई, 0.5 प्रतिशत अंक का अंतर, कीमत में परिमाण का अंतर। अकेले यह मद चालीस प्रतिशत बिल कम कर सकती है।
ब्लैक होल दो: संदर्भ इतिहास का पूर्ण पुनः सम्मिलन
कस्टमर सर्विस बहु-चरणीय संवाद है, औसत चरण 7.3 चरण। डेवलपर साथियों ने सरलता के लिए, प्रत्येक चरण में पूरा इतिहास जोड़ दिया। पहले चरण में इनपुट 800 token, सातवें चरण में इनपुट 4200 token हो गया, और प्रत्येक चरण में पिछले छह चरणों के लिए दोबारा भुगतान हो रहा है। यह लागत वक्र वर्गीय है, मात्रा बढ़ते ही विस्फोट हो जाता है।
इससे भी अधिक परेशानी यह है कि इतिहास में अधिकांश सामग्री वर्तमान चरण के लिए पूर्णतः मूल्यहीन है। उपयोगकर्ता ने तीसरे चरण में कहा था "मुझे वापसी करनी है", सातवें चरण में पूछा "शिपिंग शुल्क कौन देगा", पहले का वह सारा औपचारिक संवाद और उत्पाद विवरण सब व्यर्थ token हैं।
ब्लैक होल तीन: विफल पुनःप्रयास का आवर्धन
यह सबसे छिपा हुआ है। अपस्ट्रीम दर सीमा या टाइमआउट होने पर, SDK डिफ़ॉल्ट रूप से तीन बार पुनःप्रयास करता है। समस्या यह है कि पुनःप्रयास अनुरोध अक्सर वही लंबा संदर्भ फिर से पूरा भेज देते हैं। मैंने गणना की, बिल में लगभग 11% token विफल पुनःप्रयास से आते हैं, और इन कॉल में से अंततः साठ प्रतिशत फिर भी विफल रहे,शुद्ध व्यर्थ जलना। यदि पुनःप्रयास में बैकऑफ़ और इडेम्पोटेंसी नियंत्रण न हो, तो एक विफलता आपके लिए तीन गुना अमान्य खपत उत्पन्न कर सकती है।
ब्लैक होल चार: स्ट्रीमिंग में अनकट आउटपुट
आउटपुट token सामान्यतः इनपुट से महंगा होता है। उस समय कस्टमर सर्विस उत्तर में max_tokens निर्धारित नहीं था, मॉडल कभी-कभी "रचनात्मकता" दिखा देता, जो रिफंड विवरण दो वाक्यों में कहा जा सकता था, वह क्रमांकित प्रक्रिया विवरण लिख देता। आउटपुट लंबाई वितरण में, P99 P50 से छह गुना से अधिक था। ये अतिरिक्त शब्द उपयोगकर्ता बिल्कुल नहीं पढ़ते, पैसा फिर भी देना पड़ता है।
पांच रक्तस्राव रोकने वाले उपाय
पहला, मॉडल श्रेणीबद्ध रूटिंग। मैंने कार्य के अनुसार तीन स्तर बनाए: सरल वर्गीकरण छोटे मॉडल से, मानक प्रश्नोत्तर मध्यम स्तर से, केवल जटिल शिकायत और विवाद मध्यस्थता के लिए फ्लैगशिप मॉडल। यह परत मैंने token8341 बड़े मॉडल API एग्रीगेशन प्लेटफ़ॉर्म पर कॉन्फ़िगर की, कार्य प्रकार के अनुसार टैग लगाकर स्वचालित रूप सेविभाजन, व्यावसायिक कोड बदलने की आवश्यकता नहीं, केवल गेटवे पक्ष पर नियम जोड़े। कटौती के बाद पहले सप्ताह, वर्गीकरण कार्य का वह भाग की लागत सीधे एक स्तर नीचे आ गई।
दूसरा, संदर्भ स्लाइडिंग विंडो और सारांश। नवीनतम तीन चरणों का मूल पाठ रखें, पुराने संवाद को एक सौ शब्दों के भीतर सारांश में संपीड़ित करें। वास्तविक परीक्षण में औसत इनपुट लंबाई 3200 token से 1400 token तक कम हुई, कस्टमर सर्विस की संदर्भ निरंतरता प्रभावित नहीं हुई।
तीसरा, इडेम्पोटेंट पुनःप्रयास। प्रत्येक अनुरोध को विशिष्ट ID दें, गेटवे पक्ष दोहराए गए अनुरोध की पहचान कर परिणाम सीधे पुनःउपयोग करे, पुनःप्रयास केवल विफल खंड दोबारा भेजे, पूरा संदर्भ नहीं। इस उपाय ने पुनःप्रयास से उत्पन्न अमान्य token को 11% से 3% के भीतर दबा दिया।
चौथा, आउटपुट लंबाई प्रतिबंध। कार्य प्रकार के अनुसार max_tokens की ऊपरी सीमा निर्धारित करें, रिफंड विवरण जैसे निश्चित परिदृश्यों के लिए सीधे टेम्पलेट दें, मॉडल केवल चर भरे। आउटपुट token लगभग तीस प्रतिशत कम हुआ।
पांचवां, कार्य के अनुसार मॉडल चुनें, आदत के अनुसार मॉडल नहीं। यह बात सुनने में बेतुकी लगती है, लेकिन कई टीमें आलसी होती हैं, एक ही मॉडल से सब कुछ करती हैं। हमने बाद में token8341 बड़े मॉडल API एग्रीगेशन प्लेटफ़ॉर्म पर घरेलू और विदेशी मॉडलों को एक ही इंटरफ़ेस में रखकर तुलनात्मक परीक्षण किया, उसी कस्टमर सर्विस कोर्पस पर, DeepSeek और Qwen चीनी भाषा संबंधी परिदृश्यों में प्रदर्शन पर्याप्त है, कीमत बड़ी मात्रा के लिए अधिक उपयुक्त है। बहु-मॉडल एकीकृत एक्सेस का लाभ यही है, मॉडल बदलने के लिए SDK बदलने की आवश्यकता नहीं, बस एक पंक्ति base_url बदलने की बात है।
उपयोग के अनुसार बिलिंग की पूर्वशर्त सही रूटिंग है
"उपयोग के अनुसार बिलिंग, लागत अधिक अनुकूल" यह वाक्य अपने आप में गलत नहीं है, लेकिन इसकी एक पूर्वशर्त है: आपकी रूटिंग रणनीति सही होनी चाहिए। उपयोग के अनुसार बिलिंग केवल यह सुनिश्चित करती है कि आप निष्क्रिय कंप्यूटिंग के लिए भुगतान न करें, यह सुनिश्चित नहीं करती कि आप गलत मॉडल चयन के लिए भुगतान न करें। बिल 23000 युआन से घटकर 9000 युआन से अधिक हो गया, मात्रा फिर भी बढ़ी, यह किसी सस्ते प्लेटफ़ॉर्म पर स्विच करने से नहीं, बल्कि रूटिंग और संदर्भ — इन दो चीजों को सही करने से हुआ।
यदि आप अभी भी एक ऐसे बिल को देख रहे हैं जो समझ नहीं आ रहा, तो सुझाव है कि पहले कॉल लॉग को कार्य प्रकार और इनपुट-आउटपुट लंबाई के अनुसार अलग करके देखें, ब्लैक होल आमतौर पर वहां नहीं होते जहां आप सोचते हैं। token8341 बड़े मॉडल API एग्रीगेशन प्लेटफ़ॉर्म इस प्रकार के लागत अनुकूलन परिदृश्यों में जहां मदद कर सकता है, मुख्य रूप से मॉडल गेटवे की वह परत है — श्रेणीबद्ध रूटिंग, दर सीमा सुरक्षा, बहु-मॉडल एकीकृत एक्सेस आदि, व्यावसायिक पक्ष पर लगभग असंवेदनशील।
लेखक: ली युनलोंग
प्रकाशन तिथि: 24 अक्टूबर 2026