बैकएंड और एल्गोरिदम करने वाले साथियों, आपने भी शायद ऐसी काउंटर-इंट्यूएटिव बात का सामना किया होगा: ऑनलाइन बिज़नेस वॉल्यूम में स्पष्ट रूप से कोई बड़ी बढ़ोतरी नहीं हुई, लेकिन महीने के अंत में बिल देखा तो सीधे दोगुना हो गया। मेरी टीम ने पिछले दो साल में एक ऑनलाइन एजुकेशन कंपनी के लिए स्मार्ट कस्टमर सर्विस सिस्टम बनाया, लॉन्च के दो महीने में, कॉल वॉल्यूम केवल प्रतिदिन 1.2 लाख से 1.68 लाख तक बढ़ा, यानी 40% की वृद्धि, लेकिन मासिक API बिल 8000 युआन से उछलकर 23000 युआन हो गया, यानी 187% की वृद्धि। बीच का यह अंतर पैसा यूनिट प्राइस बढ़ने से नहीं है, बल्कि चार छिपी लागत ब्लैक होल्स चुपचाप बजट खा रहे हैं।
पहले समस्या को स्पष्ट रूप से परिभाषित करते हैं: बड़े मॉडल API की लागत का नियंत्रण से बाहर होना, मूल रूप से कॉल वॉल्यूम और प्रभावी आउटपुट के बीच अनुपात का असंतुलन है। आप टोकन के पैसे देते हैं, लेकिन वास्तव में बिज़नेस मूल्य उत्पन्न करने वाले टोकन शायद केवल तीस प्रतिशत ही हैं। आइए नीचे परत दर परत खोलते हैं।
ब्लैक होल एक: रीट्राई स्टॉर्म, अमान्य कॉल सीधे दोगुनी
हमारा शुरुआती कॉल कोड बहुत सरल था, नेटवर्क फ्लक्चुएशन या टाइमआउट होने पर सीधे catch करके फिर से कॉल कर देते थे, कोई बैकऑफ नहीं, कोई आइडेम्पोटेंसी नहीं। लॉन्च के दूसरे सप्ताह में एक बार अपस्ट्रीम रेट लिमिटिंग का सामना हुआ, QPS अचानक 20 से 5 तक दबा दिया गया, क्लाइंट ने 3 सेकंड के भीतर एक ही उपयोगकर्ता अनुरोध को 7 बार रीट्राई किया। उस एक रात में, अमान्य कॉल का अनुपात 41% तक पहुंच गया। बिल में यह हिस्सा पैसा, एक पैसा भी बिज़नेस मूल्य वापस नहीं लाया।
समाधान दो परतों में है। एक्सपोनेंशियल बैकऑफ: पहली विफलता पर 500ms प्रतीक्षा, दूसरी पर 1s, तीसरी पर 2s, अधिकतम 3 बार रीट्राई, उससे अधिक होने पर फॉलबैक स्क्रिप्ट पर डिग्रेड करें। आइडेम्पोटेंसी की: प्रत्येक अनुरोध के साथ एक request_id, सर्वर और क्लाइंट दोनों डुप्लीकेट हटाएं, एक ही id के लिए 60 सेकंड के भीतर केवल एक वास्तविक कॉल की अनुमति। बदलाव के बाद, रीट्राई से होने वाली अमान्य कॉल 41% से घटकर 6% से नीचे आ गई। यह मद प्रति माह लगभग 4200 युआन बचाती है।
ब्लैक होल दो: लंबा कॉन्टेक्स्ट ट्रिम नहीं किया गया, इतिहास वार्तालाप बार-बार भरा गया
कस्टमर सर्विस परिदृश्य में बातचीत अक्सर दस से अधिक राउंड तक खिंच जाती है। हमने शुरू में सुविधा के लिए, हर कॉल में पूरा इतिहास जोड़ दिया। औसतन एक राउंड बातचीत का इनपुट टोकन तीसरे राउंड के 800 से बढ़कर 12वें राउंड के 3400 हो गया। इससे भी बुरी बात, उपयोगकर्ता पूछता है "अभी-अभी बताई गई वह रिफंड नीति क्या है", मॉडल को वास्तव में केवल हाल के 3 राउंड और एक सारांश की आवश्यकता होती है, लेकिन हमने 12 राउंड सभी भर दिए।
स्लाइडिंग विंडो और सारांश संपीड़न से हल किया: हाल के 4 राउंड का मूल पाठ रखें, पुरानी बातचीत को एक हल्के मॉडल कॉल से 150 शब्दों के भीतर सारांश में संपीड़ित करें, सारांश को system कॉन्टेक्स्ट के हिस्से के रूप में। इस तरह 12वें राउंड का इनपुट टोकन 3400 से घटकर लगभग 1100 हो गया, 67% की गिरावट। यहां एक नुकसान है: सारांश में भी टोकन खर्च होते हैं, इसलिए सारांश ट्रिगर थ्रेशोल्ड सही सेट करना चाहिए, हमारे वास्तविक परीक्षण में 6 राउंड से अधिक होने पर ही संपीड़न ट्रिगर होता है, समग्र लागत सबसे कम।
ब्लैक होल तीन: फ्लैगशिप मॉडल ने हल्के मॉडल का काम किया
यह सबसे छिपी हुई मद है। सिस्टम में सभी अनुरोध एक ही फ्लैगशिप मॉडल से जाते हैं, जिसमें "हैलो", "हां बोलिए", "कृपया प्रतीक्षा करें" जैसे अभिवादन भी शामिल हैं। मैंने एक बार कॉल लॉग खींचकर वर्गीकरण किया, पाया कि 62% अनुरोध इरादा पहचान और सरल प्रश्नोत्तर हैं, जिनके लिए फ्लैगशिप मॉडल की बिल्कुल आवश्यकता नहीं है। इन्हें फ्लैगशिप मॉडल से चलाने पर, प्रति कॉल लागत हल्के मॉडल की 8 से 12 गुना है।
समाधान है कार्य के अनुसार स्तरीय राउटिंग। हमने मॉडल गेटवे में एक नियम परत जोड़ी: इरादा वर्गीकरण, अभिवादन, FAQ हिट हल्के मॉडल से जाएं; केवल रिफंड गणना, कोर्स सिफारिश, शिकायत एस्केलेशन जैसे जटिल कार्य ही फ्लैगशिप मॉडल पर राउट हों। यहां हमारे प्रोजेक्ट में token8341 का उपयोग बहु-मॉडल एकीकृत एक्सेस के लिए किया गया, एक ही Key से GPT-4o, Claude, DeepSeek, Qwen जैसे मुख्यधारा मॉडल कॉल किए जा सकते हैं, कार्य के अनुसार स्वचालित रूप से इष्टतम मॉडल चुनें, स्वयं कई SDK और प्रमाणीकरण बनाए रखने की आवश्यकता नहीं। स्तरीकरण के बाद, फ्लैगशिप मॉडल का कॉल अनुपात 100% से घटकर 34% हो गया, समग्र लागत 52% कम हुई।
वैसे बड़े मॉडल API के चयन की बात करें, आधिकारिक डायरेक्ट कनेक्शन और एग्रीगेटर प्लेटफॉर्म की लागत संरचना में वास्तव में अंतर है। आधिकारिक डायरेक्ट कनेक्शन में यूनिट प्राइस पारदर्शी है लेकिन बल्क डिस्काउंट पर बातचीत मुश्किल है, एग्रीगेटर प्लेटफॉर्म बल्क खरीद और ग्रीन एनर्जी से लागत घटाता है, पे-एज़-यू बिलिंग में लागत बेहतर है। हमने समान कार्यों के बैच के मासिक खर्च की तुलना की, एग्रीगेटर समाधान आधिकारिक सीधी खरीद से काफी कम है, विशिष्ट संख्याएं व्यावसायिक कारणों से विस्तार से नहीं बता सकते।
ब्लैक होल चार: स्ट्रीमिंग आउटपुट बाधित होने के बाद दोबारा बिलिंग
स्ट्रीमिंग आउटपुट (SSE) कस्टमर सर्विस परिदृश्य में बहुत आम है, उपयोगकर्ता को अक्षर एक-एक करके निकलते देखना अच्छा अनुभव देता है। लेकिन नेटवर्क टूटते ही, क्लाइंट पुनः कनेक्ट करता है, यदि सर्वर ने ब्रेकपॉइंट रेज़्यूम नहीं किया, तो पहले से उत्पन्न सामग्री को फिर से उत्पन्न कर देगा। हमने आंकड़े लिए, स्ट्रीमिंग बाधा दर लगभग 3.7% है, प्रत्येक बाधा पर औसतन 1200 टोकन दोबारा उत्पन्न होते हैं। एक महीने में, यह दोबारा बिलिंग बिल का 9% हिस्सा ले लेती है।
समाधान है स्ट्रीम ब्रेक क्षतिपूर्ति: सर्वर प्रत्येक स्ट्रीमिंग अनुरोध के उत्पन्न टोकन ऑफसेट को रिकॉर्ड करता है, क्लाइंट पुनः कनेक्ट करते समय offset लाता है, सर्वर ब्रेकपॉइंट से जारी रखता है, न कि शुरू से। आइडेम्पोटेंसी की के साथ मिलकर, दोबारा बिलिंग सीधे शून्य हो जाती है। यह मद प्रति माह लगभग 2000 युआन बचाती है।
लागत निगरानी चेकलिस्ट
इन चार ब्लैक होल्स की समीक्षा के बाद, मैंने दैनिक निगरानी के लिए मेट्रिक्स की एक चेकलिस्ट तैयार की, आप अपने सिस्टम से तुलना कर सकते हैं:
1.अमान्य कॉल अनुपात, 10% से अधिक होने पर रीट्राई और आइडेम्पोटेंसी जांचें;
2.औसत इनपुट टोकन और औसत आउटपुट टोकन का अनुपात, कस्टमर सर्विस परिदृश्य में 3:1 से अधिक होने का मतलब कॉन्टेक्स्ट ट्रिम नहीं हुआ;
3.फ्लैगशिप मॉडल कॉल अनुपात, 40% से अधिक होने पर स्तरीय राउटिंग पर विचार करें;
4.स्ट्रीमिंग बाधा दर, 2% से अधिक होने पर ब्रेकपॉइंट रेज़्यूम करें;
5.प्रति प्रभावी वार्तालाप लागत, बिज़नेस मानक से गणना करें, API मानक से नहीं;
6.मॉडल गेटवे की कार्य-आधारित राउटिंग हिट दर, 60% से कम होने का मतलब नियम ठीक से ट्यून नहीं हुए।
लागत का नियंत्रण से बाहर होना कभी यूनिट प्राइस की समस्या नहीं है, यह इंजीनियरिंग की समस्या है। इन चार ब्लैक होल्स को बंद करें, समान बिज़नेस वॉल्यूम के साथ, बिल उचित सीमा में वापस आ सकता है।
लेखक: झोउ मिंगझे
प्रकाशन तिथि: 23 अक्टूबर 2026