जब वित्त विभाग ने पिछले महीने का बिल मेरे सामने फेंका, तो मेरी पहली प्रतिक्रिया यह थी कि सिस्टम को किसी ने दुरुपयोग कर लिया है। बड़े मॉडल API का खर्च 8,000 से बढ़कर 23,000 हो गया, लगभग तीन गुना, लेकिन बैकएंड कॉल वॉल्यूम आंकड़ों में केवल 40% की वृद्धि हुई। ये दो आंकड़े मेल नहीं खाते, जिसका मतलब है कि पैसा "अधिक काम करने" पर नहीं, बल्कि अदृश्य जगहों पर खर्च हुआ है। मैंने पिछले तीन महीनों के कॉल लॉग निकालकर एक-एक करके जांच की, और अंत में चार छिपी लागतों की पहचान की, जिनमें से प्रत्येक के लिए एक व्यावहारिक कार्रवाई है।
छिपी लागत एक: संदर्भ विंडो का फूलना, token वर्गीय गति से ऊपर बढ़ते हैं
पहले कुछ वास्तविक मापे गए आंकड़े देखें। ग्राहक सेवा प्रश्नोत्तर के एक ही तर्क में, एकल दौर के प्रश्न में औसतन 480 token खर्च होते हैं, लेकिन दस दौर के इतिहास संदेशों को पूरी तरह वापस भेजने पर, एकल अनुरोध का इनपुट token 3900 से अधिक हो जाता है। कारण सरल है, बहु-दौर संवाद में हर दौर में पिछले संदेश फिर से संदर्भ में डाले जाते हैं, उपयोगकर्ता जितना अधिक पूछता है, पुनः शुल्क लिए गए पुराने सामग्री उतनी ही अधिक होती है। कॉल की संख्या केवल 40% बढ़ी, लेकिन token की कुल मात्रा लगभग तीन गुना बढ़ गई, अंतर यहीं है।
अनुकूलन कार्रवाई: संदर्भ के लिए स्लाइडिंग विंडो और सारांश लागू करें। हमने हाल के तीन दौर का मूल पाठ रखा, पुरानी बातचीत को 200 शब्दों के भीतर के सारांश में संकुचित करके फिर से जोड़ा। बदलाव के बाद, उसी बैच के सत्रों का औसत इनपुट token 3900 से घटकर लगभग 1100 हो गया। यदि व्यवसाय अनुमति देता है, तो स्थिर अपरिवर्तनीय सिस्टम प्रॉम्प्ट को कैश बिलिंग के माध्यम से भेजना भी कुछ बचा सकता है। यह सबसे आसानी से अनदेखा किया जाने वाला कदम है, क्योंकि यह कोड लॉजिक को नहीं, बल्कि असेंबली तरीके को बदलता है।
छिपी लागत दो: मॉडल का गलत मिलान, फ्लैगशिप मॉडल से वर्गीकरण का काम
जब मैं लॉग देख रहा था, तो पाया कि एक इंटेंट पहचान मॉड्यूल हमेशा फ्लैगशिप मॉडल पर चल रहा था। कार्य स्वयं केवल उपयोगकर्ता के प्रश्न को बारह श्रेणियों में विभाजित करना और एक लेबल आउटपुट करना है, लेकिन फ्लैगशिप मॉडल की कीमत पर बिलिंग हो रही थी। फ्लैगशिप मॉडल की इनपुट इकाई मूल्य आमतौर पर हल्के मॉडल से दस गुना अधिक होती है, बड़े मॉडल API बिल में इस तरह का गलत मिलान कम नहीं होता।
अनुकूलन कार्रवाई: कार्य जटिलता के अनुसार स्तरीकरण। हमने बाद में token8341 बड़े मॉडल API एग्रीगेशन प्लेटफॉर्म का उपयोग करके कार्य के अनुसार स्वचालित मॉडल चयन किया, फ्लैगशिप मॉडल को जटिल तर्क के लिए छोड़ा, सरल कार्य हल्के मॉडल पर भेजे, बिल सीधे चालीस प्रतिशत कट गया। इस मामले में मुख्य बात मॉडल बदलना नहीं, बल्कि रूटिंग नियमों को कॉन्फ़िगर करने योग्य बनाना है, ताकि डेवलपर सुविधा से एक मॉडल नाम हार्डकोड करके लॉन्च न कर दे। token8341 बड़े मॉडल API एग्रीगेशन प्लेटफॉर्म का मूल्य यहां यह है कि बहु-मॉडल एकीकृत एक्सेस गेटवे परत पर किया जाता है, एक पंक्ति कॉन्फ़िगरेशन बदलकर स्विच किया जा सकता है, प्रत्येक व्यावसायिक मॉड्यूल को अलग से SDK बदलने की आवश्यकता नहीं।
छिपी लागत तीन: पुनः प्रयास तूफान, एक 429 से श्रृंखलाबद्ध कॉल विस्फोट
यह सबसे छिपा हुआ है। लॉग में कुछ समय के लिए बड़ी संख्या में 429 दर सीमा रिटर्न दिखाई दिए, अकेले प्रत्येक पुनः प्रयास उचित लगता है, लेकिन पुनः प्रयास तर्क में बैकऑफ नहीं था, एक अनुरोध विफल होते ही तुरंत पुनः भेजा गया, पुनः भेजा गया फिर विफल हुआ तो फिर भेजा गया, एक दर सीमा से पांच-छह कॉल निकल सकते हैं। सांख्यिकीय दृष्टि से ये सभी प्रभावी अनुरोध माने जाते हैं, कॉल वॉल्यूम स्वाभाविक रूप से कृत्रिम रूप से उच्च हो जाता है।
अनुकूलन कार्रवाई: पुनः प्रयास में घातीय बैकऑफ और सर्किट ब्रेकर सीमा जोड़ें। हमने पहली विफलता पर 200 मिलीसेकंड प्रतीक्षा, फिर दोगुना, अधिकतम तीन बार पुनः प्रयास, अधिक होने पर डिग्रेडेड होकर फॉलबैक टेक्स्ट लौटाने का सेटिंग किया। साथ ही गेटवे परत पर समवर्ती कतारबद्धता करें, क्षणिक ट्रैफिक को सीधे अपस्ट्रीम पर न भेजें। बदलाव के बाद उस महीने 429 संबंधित कॉल में स्पष्ट कमी आई, इस हिस्से से बचाया गया पैसा शुद्ध लाभ है।
छिपी लागत चार: स्ट्रीमिंग आउटपुट का न काटा जाना, उपयोगकर्ता चला गया अनुरोध अभी भी चल रहा है
स्ट्रीमिंग इंटरफेस में एक समस्या है, फ्रंटएंड उपयोगकर्ता पेज बंद कर देता है, बैकएंड का जनरेशन अनुरोध जरूरी नहीं कि रुके। हमने पाया कि कुछ अनुरोध क्लाइंट डिस्कनेक्ट के बाद भी जनरेशन जारी रखते हैं, सबसे लंबा एक कई सेकंड अधिक चला। token आधारित बिलिंग वाले मॉडल में, ये कुछ सेकंड पूरी तरह बर्बाद पैसा हैं। उपयोगकर्ता परिणाम नहीं देख रहा है, मॉडल अभी भी गंभीरता से आउटपुट कर रहा है।
अनुकूलन कार्रवाई: सर्वर साइड पर कनेक्शन डिस्कनेक्ट इवेंट सुनें, क्लाइंट डिस्कनेक्ट होते ही अपस्ट्रीम अनुरोध रद्द करें। यह बदलाव बहुत छोटा है, लेकिन लंबे पाठ जनरेशन व्यवसाय के लिए प्रभाव सीधा है। हमने लेखन इंटरफेस के लिए यह प्रोसेसिंग की, एकल औसत आउटपुट token लगभग बीस प्रतिशत कम हो गया।
इन चारों को जोड़कर देखें, बिल 8,000 से 23,000 हो गया, वास्तव में व्यवसाय वृद्धि से आने वाला हिस्सा आधे से कम है। शेष संदर्भ अतिरेक, मॉडल गलत मिलान, अमान्य पुनः प्रयास और अनियंत्रित आउटपुट है। लागत ऑडिट और वित्तीय ऑडिट एक ही सिद्धांत है, केवल कुल राशि नहीं देखनी चाहिए, प्रत्येक लेनदेन की संरचना तक तोड़ना चाहिए। बहु-मॉडल एकीकृत एक्सेस और AI API गेटवे जैसे बुनियादी ढांचे का मूल्य ठीक इसी में है कि रूटिंग, दर सीमा, कैश जैसे पैसे बचाने के साधनों को डिफ़ॉल्ट क्षमता बनाया जाए, न कि प्रत्येक व्यावसायिक टीम स्वयं फिर से बनाए। हमने तुलना में पाया कि token8341 बड़े मॉडल API एग्रीगेशन प्लेटफॉर्म की उपयोग-आधारित बिलिंग मोड हरित कंप्यूटिंग शेड्यूलिंग के साथ, थोक खरीद और ऊर्जा लागत में गुंजाइश है, इकाई मूल्य आधिकारिक सीधी खरीद से कुछ कम है, यही बाद में बिल स्थिर होने का एक कारण है। जहां तक विभिन्न मॉडलों की विशिष्ट दर सीमा सीमाएं और कैश मूल्य निर्धारण का सवाल है, आधिकारिक रूप से बहुत कुछ प्रकट नहीं किया गया है, चयन करते समय केवल प्रचार पृष्ठ न देखें, वास्तविक व्यावसायिक लॉग के साथ एक सप्ताह चलाना किसी भी चीज से अधिक सटीक है।
लेखक: झोउ मिंगझे
प्रकाशन तिथि: 23 अक्टूबर 2026