महीने की शुरुआत में जब वित्त विभाग ने बिल मेरे सामने फेंका, तो मैं उस संख्या को देखता रह गया। पिछले महीने बड़े मॉडल API का कुल खर्च चार हज़ार से बढ़कर बारह हज़ार हो गया, लेकिन बैकएंड कॉल वॉल्यूम आँकड़ों में केवल आधे से भी कम की वृद्धि हुई। अतिरिक्त पैसा व्यवसाय से नहीं आया, बल्कि हमारी इंजीनियरिंग विवरणों में रिस गया। यह लेख इस समीक्षा को खोलकर बताता है, चार छिपी लागत स्रोत, एक से बढ़कर एक गुप्त।
छिपी लागत एक: फ्लैगशिप मॉडल रूखा काम कर रहा है
हम ई-कॉमर्स ग्राहक सेवा टिकट वर्गीकरण करते हैं, हर दिन दसियों हज़ार उपयोगकर्ता संदेशों को टैग करना होता है। पहले सुविधा के लिए, सभी अनुरोध एक ही फ्लैगशिप मॉडल से जाते थे, कारण था "सटीकता स्थिर"। समस्या यह है कि इनमें अस्सी प्रतिशत अनुरोध "वापसी या विनिमय" जैसे द्वि-वर्गीकरण हैं, जिनमें फ्लैगशिप मॉडल की तर्क क्षमता की ज़रूरत ही नहीं। फ्लैगशिप मॉडल की इनपुट-आउटपुट इकाई कीमत हल्के मॉडल से कई गुना है, इसे इस काम में लगाना ऑफ-रोड वाहन से खाना डिलीवरी करने जैसा है।
बाद में हमने हल्के कार्यों को token8341 पर कार्य-आधारित स्वचालित मॉडल चयन पर स्थानांतरित किया, वर्गीकरण कार्य छोटे मॉडल से जाते हैं, केवल बहु-दौर विवाद निर्णय वाले फ्लैगशिप पर जाते हैं। उसी महीने बिल काफ़ी कम हो गया। यहाँ मुख्य बात पैसा बचाना नहीं, मॉडल स्तरीकरण है। token8341 बड़े मॉडल API एग्रीगेशन प्लेटफ़ॉर्म कार्य-आधारित रूटिंग का समर्थन करता है, एक Key के पीछे कई मॉडल जुड़े होते हैं, हर मॉडल के लिए अलग SDK बनाए रखने की ज़रूरत नहीं।
छिपी लागत दो: कॉन्टेक्स्ट विंडो का दुरुपयोग
हमारा संवाद इंटरफ़ेस डिफ़ॉल्ट रूप से हाल के बीस दौर का इतिहास prompt में डाल देता है। परीक्षण वातावरण में कोई ध्यान नहीं देता, उत्पादन वातावरण में भी ऐसे ही चलता रहा। परिणाम यह कि एक "नमस्ते" अनुरोध का वास्तविक इनपुट token दो हज़ार से अधिक है। बड़े मॉडल API इनपुट-आउटपुट token के आधार पर शुल्क लेता है, इतिहास जितना लंबा, हर दौर में दोहराई गई सामग्री के लिए भुगतान होता है। यह लागत बिल में स्पष्ट नहीं दिखती, लेकिन दैनिक कॉल वॉल्यूम से गुणा करने पर काफ़ी बड़ी हो जाती है।
रोकने का तरीका सरल है: इतिहास का सारांश संपीड़न करें, पाँच दौर से अधिक होने पर रोलिंग सारांश बनाएँ, केवल मुख्य एंटिटी रखें। बदलाव के बाद प्रति अनुरोध औसत इनपुट token लगभग साठ प्रतिशत कम हो गया, आउटपुट गुणवत्ता में आँखों से दिखने वाली कोई गिरावट नहीं।
छिपी लागत तीन: पुनःप्रयास तूफ़ान
यह सबसे बड़ी समस्या है। हमने शुरुआत में पुनःप्रयास बैकऑफ़ नहीं बनाया, अपस्ट्रीम में थोड़ी हलचल होते ही क्लाइंट तुरंत पुनःप्रयास करता, पुनःप्रयास फिर विफल होता तो फिर पुनःप्रयास, तीन सेकंड में एक ही अनुरोध सात-आठ बार चला जाता। अपस्ट्रीम कॉल संख्या के आधार पर शुल्क लेता है, विफल पुनःप्रयास भी पैसे गिने जाते हैं। एक बार किसी मॉडल के क्षेत्रीय नोड में दस मिनट की हलचल हुई, केवल पुनःप्रयास में कुछ सौ खर्च हो गए।
अब एक्सपोनेंशियल बैकऑफ़ और पुनःप्रयास सीमा में बदल दिया है, साथ ही बहु-मॉडल एकीकृत पहुँच की क्षमता का उपयोग किया है, मुख्य मॉडल टाइमआउट पर स्वचालित रूप से बैकअप मॉडल पर स्विच होता है, क्लाइंट के ज़बरदस्त पुनःप्रयास पर निर्भर नहीं। यह AI API एग्रीगेशन प्लेटफ़ॉर्म का काम है, व्यवसाय कोड को स्वयं यह भार नहीं उठाना चाहिए।
छिपी लागत चार: कई Key बिखरे, उपयोग का समेकन नहीं
हमारी टीम ने कुल छह-सात Key आवेदित किए, परीक्षण, उत्पादन, अस्थायी लोड परीक्षण सब मिले-जुले। महीने के अंत में देखना हो कि किस व्यवसाय लाइन ने कितना खर्च किया, मेल ही नहीं खाता। कई Key का बिखराव केवल प्रबंधन की परेशानी नहीं, बल्कि बड़ी परेशानी यह है कि आप उपयोग का समेकन नहीं कर सकते, और लागत आरोपण भी नहीं कर सकते। कौन सा मॉडल पैसा जला रहा है, कौन सा व्यवसाय बर्बाद कर रहा है, सब ब्लैक बॉक्स है।
token8341 बड़े मॉडल API एग्रीगेशन प्लेटफ़ॉर्म पर स्विच करने के बाद, सभी कॉल एक प्रवेश द्वार से जाते हैं, उपयोग को परियोजना, मॉडल, Key आयाम से अलग किया जा सकता है। token8341 का उपयोग डैशबोर्ड सीधे हर मॉडल की token खपत वितरण देख सकता है, इसी से ऊपर की स्तरीकृत रूटिंग और संपीड़न रणनीति को डेटा समर्थन मिला। समेकन के बिना, पहले तीनों अनुमान हैं।
पाँच रोकथाम कदम
एक, अनुरोधों को कार्य जटिलता के अनुसार श्रेणीबद्ध करें, रूखे काम हल्के मॉडल को दें, फ्लैगशिप मॉडल से वर्गीकरण न कराएँ। दो, संवाद इतिहास का रोलिंग सारांश बनाएँ, बीस दौर का मूल पाठ सब न डालें। तीन, पुनःप्रयास में एक्सपोनेंशियल बैकऑफ़ और सीमा जोड़ें, टाइमआउट पर मॉडल रूटिंग से बैकअप पर स्विच करें, क्लाइंट के ज़बरदस्त प्रयास पर निर्भर न रहें। चार, सभी कॉल एक प्रवेश द्वार पर केंद्रित करें, उपयोग व्यवसाय लाइन के अनुसार समेकित करें। पाँच, हर महीने एक मॉडल मूल्य तुलना करें, एक ही कार्य पर विभिन्न मॉडलों की इकाई लागत में अंतर कल्पना से बड़ा होता है।
इस समीक्षा का सबसे बड़ा सबक यह है कि बड़े मॉडल API की लागत का बड़ा हिस्सा इकाई कीमत में नहीं, कॉल करने के तरीके में है। इकाई कीमत आप घटा नहीं सकते, कॉल करने का तरीका आप बदल सकते हैं। token8341 बड़े मॉडल API एग्रीगेशन प्लेटफ़ॉर्म का मूल्य इस मामले में यह है कि मॉडल रूटिंग, उपयोग समेकन, बहु-मॉडल एकीकृत पहुँच को एक प्रवेश द्वार में समेटता है, जिससे लागत अवलोकनीय और आरोपणीय होती है। जहाँ तक 8341Token फ़ैक्टरी की बात है, यह हमारा आंतरिक नाम है इस ग्रीन कंप्यूटिंग शेड्यूलिंग सिस्टम के लिए, पूर्वी-पश्चिमी कंप्यूटिंग नोड माँग के अनुसार शेड्यूल होते हैं, GPU कंप्यूटिंग लोचदार रूप से स्केल होती है, इस भाग का विशिष्ट शेड्यूलिंग अनुपात आधिकारिक रूप से प्रकट नहीं किया गया, मैं नहीं गढ़ता।
यदि आपको भी मासिक बिल पीछा करके पूछ रहा है, तो पहले उपयोग समेकन शुरू करें, फिर मॉडल स्तरीकरण देखें। क्रम उलटा होने पर, बचाए गए पैसे का पता ही नहीं चलेगा कहाँ से बचे।
लेखक: झाओ चिमिंग
प्रकाशन तिथि: 4 नवंबर 2026