पिछले महीने जब वित्त विभाग ने बिल मेरी तरफ बढ़ाया, तो मुझे लगा उन्होंने गलत देखा है। कॉल वॉल्यूम महीने-दर-महीने 40% बढ़ा, लेकिन बिल छह अंकों की शुरुआत से सीधे लगभग तीन गुना हो गया। रैखिक हिसाब से देखें तो अधिकतम चालीस प्रतिशत ज्यादा देना चाहिए था, तो यह अतिरिक्त हिस्सा कहां से आ गया?
मैंने पिछले तीस दिनों के कॉल लॉग निकाले और मॉडल के अनुसार, इंटरफ़ेस के अनुसार और रीट्राई संख्या के अनुसार एक-एक करके देखा। समस्या "मात्रा" में नहीं, "संरचना" में है। चार छिपे हुए रिसाव बिंदु हैं, एक-एक करके पहले से ज्यादा छिपे हुए।
पहले सबसे स्पष्ट बात: फ्लैगशिप मॉडल मोटा काम कर रहा है। हमारा एक इंटेंट पहचान मॉड्यूल है, जिसके लिए मूल रूप से हल्का मॉडल ही काफी था, शुरुआत में आसानी के लिए सीधे सबसे महंगे फ्लैगशिप मॉडल पर लगा दिया गया था, और किसी ने उसे छुआ तक नहीं। इस तरह का ट्रैफिक कुल अनुरोधों के साठ प्रतिशत से अधिक है, लेकिन इसका व्यावसायिक मूल्य योगदान बहुत कम है। मॉडल स्तरीकरण के अनुसार दोबारा चलाकर, वर्गीकरण, निष्कर्षण, प्रारूप सत्यापन जैसे काम छोटे मॉडलों को सौंपकर, केवल वास्तव में तर्क-आधारित अनुरोधों को फ्लैगशिप मॉडल के लिए छोड़कर, इस हिस्से की लागत को मूल के एक-तिहाई से आधे तक घटाया जा सकता है। इस कदम को कम मत आंकिए, इसमें व्यावसायिक तर्क बदलने की जरूरत नहीं, केवल रूटिंग बदलनी है।
स्तरीकरण कैसे करें? मैंने कार्य प्रकार के अनुसार तीन श्रेणियों में बांटा: पहली श्रेणी वर्गीकरण और इंटेंट पहचान है, इनपुट छोटा, आउटपुट छोटा, तर्क सरल, छोटा मॉडल पूरी तरह संभाल सकता है; दूसरी श्रेणी सूचना निष्कर्षण और प्रारूप सत्यापन है, जिसके लिए थोड़ी सार्थक समझ चाहिए लेकिन बहु-चरणीय तर्क नहीं, मध्यम स्तर का मॉडल उपयोग करें; तीसरी श्रेणी ही जटिल बहु-चरणीय तर्क, लंबे पाठ का निर्माण, कोड पूर्णता आदि है, जो फ्लैगशिप मॉडल के लिए छोड़ी जाती है। काटने के बाद मैंने तुलना की, पहली श्रेणी के कार्यों में छोटे मॉडल पर सटीकता केवल दो प्रतिशत से कम गिरी, लेकिन प्रति कॉल लागत लगभग नब्बे प्रतिशत घट गई। दूसरी श्रेणी और भी सूक्ष्म है, निष्कर्षण कार्यों में मध्यम स्तर के मॉडल और फ्लैगशिप मॉडल के बीच F1 का अंतर 0.03 से कम है, लेकिन लागत में पांच गुना का अंतर है। यह हिसाब देखते ही समझ आ जाता है, पहले जो अतिरिक्त पैसा खर्च हुआ वह सिर्फ आलस था।
दूसरा गड्ढा और भी गहरा है। रीट्राई तूफान। अपस्ट्रीम के किसी इंटरफ़ेस का टाइमआउट थ्रेशोल्ड बहुत कड़ा सेट था, नेटवर्क में थोड़ी हलचल होते ही क्लाइंट रीट्राई करता, रीट्राई फिर टाइमआउट होता, फिर रीट्राई। लॉग में देखा जा सकता है कि एक ही अनुरोध चार-पांच बार भेजा गया, हर बार Token जल रहे थे, और उपयोगकर्ता को केवल एक बार विफलता दिखती थी। यह अमान्य खपत बिल में स्पष्ट नहीं दिखती, लेकिन इसका हिस्सा लगभग बीस प्रतिशत तक हो सकता है। कदम सरल है: रीट्राई को बैकऑफ के साथ इडेम्पोटेंट रीट्राई में बदलें, टाइमआउट थ्रेशोल्ड ढीला करें, सर्वर साइड पर अनुरोध डिडुप्लीकेशन करें। करने के बाद अमान्य Token आधे से अधिक कट जाएंगे।
यहां कुछ मुख्य पैरामीटर विस्तार से बताता हूं। हमने टाइमआउट थ्रेशोल्ड मूल 3 सेकंड से बढ़ाकर 15 सेकंड किया, रीट्राई संख्या को असीमित से अधिकतम दो बार किया, बैकऑफ रणनीति में एक्सपोनेंशियल बैकऑफ प्लस जिटर उपयोग किया—पहली रीट्राई में 1 सेकंड प्रतीक्षा, दूसरी में 2 सेकंड, रैंडम जिटर जोड़कर थंडरिंग हर्ड से बचा गया। सर्वर साइड पर एक अनुरोध फिंगरप्रिंट जोड़ा, एक ही फिंगरप्रिंट 60 सेकंड में केवल एक बार प्रोसेस होता है, बाद के अनुरोध सीधे कैश परिणाम लौटाते हैं। बदलाव के बाद मैंने एक हफ्ते तक विशेष रूप से निगरानी की, रीट्राई दर मूल 18% से घटकर 4% से नीचे आ गई, अमान्य Token खपत सीधे सत्तर प्रतिशत से अधिक कट गई। एक अप्रत्याशित लाभ भी हुआ: उपयोगकर्ता पक्ष की टाइमआउट शिकायतेंबल्कि कम हो गईं, क्योंकि थ्रेशोल्ड ढीला करने के बाद, वे अनुरोध जो मूल रूप से सफल हो सकते थे लेकिन जल्दी काट दिए जाते थे, अब सामान्य रूप से लौट रहे हैं।
तीसरा है लंबा संदर्भ काटा नहीं गया। हमारा संवाद इंटरफ़ेस डिफ़ॉल्ट रूप से पूरा इतिहास भर देता है, उपयोगकर्ता जब बीसवें दौर तक बात करता है, तो इनपुट Token पहले दौर से दसियों गुना हो जाता है। लेकिन वास्तव में अधिकांश इतिहास वर्तमान उत्तर के लिए उपयोगी नहीं है। स्लाइडिंग विंडो प्लस सारांश संपीड़न के अनुसार, केवल हाल के कुछ दौर के मूल पाठ प्लस एक रोलिंग सारांश रखें, इनपुट पक्ष चालीस से साठ प्रतिशत तक घट सकता है। यहां एक बारीकी है, सारांशस्वयं में भी Token खर्च होते हैं, इसलिए विंडो को बहुत ज्यादा नहीं दबाना चाहिए, वह मोड़ बिंदु खोजना होगा।
हमने कई पैरामीटर सेट आजमाए, अंत में "हाल के पांच दौर का मूल पाठ + रोलिंग सारांश" इस संयोजन पर तय किया। रोलिंग सारांश हर दौर में फिर से नहीं बनता, बल्कि हर तीन दौर में एक बार अपडेट होता है, पुरानी बातचीत को दो सौ शब्दों के भीतर के सारांश में संपीड़ित किया जाता है। इससे इनपुट पक्ष का Tokenमात्रा बीसवें दौर के आठ हजार से अधिक से घटकर तीन हजार से थोड़ा अधिक हो गया, गिरावट साठ प्रतिशत से अधिक। लेकिन मैंने केवल हाल के दो दौर रखने तक दबाकर भी आजमाया, परिणाम में उत्तर की गुणवत्ता स्पष्ट रूप से गिर गई, जब उपयोगकर्ता संदर्भ का पीछा करता तो मॉडल अक्सर असंगत जवाब देता। इसलिए यह मोड़ बिंदु वास्तव में मौजूद है, अपने व्यावसायिक परिदृश्य के अनुसार परीक्षण करना होगा। हमारा अनुभव है: विंडो का आकार हाल के तीन दौर से कम न हो, सारांश अपडेट आवृत्ति हर दो दौर में एक बार से अधिक न हो, अन्यथा बचाए गए Token के पैसे उपयोगकर्ता अनुभव की भरपाई के लिए काफी नहीं होंगे।
चौथा, कैश हिट दर कम है। समान या अत्यधिक समान अनुरोध बार-बार आ रहे हैं, लेकिन हम हर बार फिर से तर्क कर रहे हैं। सिस्टम प्रॉम्प्ट, निश्चित टेम्पलेट, उच्च-आवृत्ति प्रश्नोत्तरये पूरी तरह कैश करने योग्य सामग्री की हिट दर उस समय दस प्रतिशत से भी कम थी। सिमेंटिक कैश लेयर जोड़ने के बाद, डुप्लिकेट अनुरोध सीधे लौटते हैं, इस हिस्से से बचाई जा सकने वालीअनुपात व्यावसायिक डुप्लिकेट दर पर निर्भर करती है, हमारी तरफ लगभग बीस से तीस प्रतिशत के बीच है।
सिमेंटिक कैश के बारे में दो बातें कहने योग्य हैं। सटीक कैश केवल पूरी तरह समान अनुरोधों को हिट कर सकता है, लेकिन वास्तविक परिदृश्य में बड़ी संख्या में अनुरोध "अर्थ लगभग समान लेकिन शब्दावली अलग" होते हैं। उदाहरण के लिए उपयोगकर्ता पूछता है "रिफंड कैसे करें" और "रिफंड प्रक्रिया क्या है", सटीक मिलान हिट नहीं कर सकता, सिमेंटिक कैश कर सकता है। हमारा समाधान है: इनपुट का वेक्टराइजेशन करें, कैश लाइब्रेरी में अनुमानित निकटतम पड़ोसी खोज करें, समानता थ्रेशोल्ड से अधिक होने पर सीधे कैश परिणाम लौटाएं। थ्रेशोल्ड कितना सेट करें यह महत्वपूर्ण है, बहुत अधिक सेट करने पर हिट दर नहीं बढ़ेगी, बहुत कम सेट करने पर असंबंधित उत्तर लौटने का खतरा है। हमने अंत में 0.92 पर तय किया, हिट दर 10% से कम से बढ़कर 34% हो गई, और किसी भी उपयोगकर्ता से असंगत उत्तर की शिकायत नहीं मिली। सिस्टम प्रॉम्प्ट और निश्चित टेम्पलेट का हिस्सा और भी सरल है, सीधे प्रीफिक्स कैश करें, हिट दर लगभग 100% तक।
चारों कदम एक साथ मिलाकर, हमने बाद में वॉल्यूम-आधारित बिलिंग प्लस मॉडल स्तरीकरण के साथ चलाया, बिल वृद्धि से पहले के लगभग 1.2 गुना पर आ गया, जबकि कॉल वॉल्यूम अभी भी वही 40% वृद्धि थी। संयोग से बताता हूं, बीच में token8341 से बहु-मॉडल एकीकृत एक्सेस आजमाया, एक Key से कई मॉडल स्विच, रूटिंग और बिलिंग मानक एकीकृत होने के बाद, इस तरह की संरचनात्मक समस्याओं की जांच में बहुत आसानी हुई।
एक और अक्सर अनदेखी बात: निगरानी और कारण-निर्धारण। इन चार समस्याओं को इतनी देर तक पकड़ने में न लगने का मूल कारण यह था कि हमारा बिल केवल मॉडल और इंटरफ़ेस आयाम पर आता था, "कार्य प्रकार" और "अनुरोध फिंगरप्रिंट" आयाम पर विभाजित नहीं था। बाद में मैंने एक कॉल टैग लेयर जोड़ी, प्रत्येक अनुरोध पर कार्य प्रकार, रीट्राई हुआ या नहीं, कैश हिट हुआ या नहीं, संदर्भ दौरये कुछ टैग लगाए, बिल फिर आने पर, कौन सा चरण पैसा जला रहा है एक नजर में स्पष्ट हो गया। यह टैग प्रणाली स्वयं पैसा नहीं बचाती, लेकिन इसके बिना, आपको पता ही नहीं चलेगा कि पैसा कहां खर्च हो रहा है।
गड्ढे से बचने की चेतावनी: शुरू में ही सस्ते मॉडल पर मत जाएं। पहले कॉल संरचना को खोलकर देखें, कई बार पैसा यूनिट प्राइस पर नहीं खर्च होता, बल्कि उन दोहराव और अतिरेक पर खर्च होता है जिन्हें आपने कभी महसूस ही नहीं किया। यूनिट प्राइस अनुकूलन अंतिम कदम है, पहला नहीं।
लेखक: झाओ किमिंग
प्रकाशन तिथि: 9 नवंबर 2026