पिछली सर्दियों में, मैंने एक ई-कॉमर्स इंटेलिजेंट कस्टमर सर्विस टीम के लिए एक्सेस लेयर की समीक्षा की थी। वे शाम के पीक आवर्स में पाँच बड़े मॉडल एक साथ कस्टमर सर्विस सिस्टम में लगाते थे, और फ्रंटएंड का शब्द-दर-शब्द रेंडरिंग कभी तेज़ तो कभी धीमा होने लगा। ऑप्स मॉनिटरिंग देखकर कह रहे थे कि बैकएंड थ्रूपुट नहीं गिरा, लेकिन उपयोगकर्ता को अनुभव में रुकावट महसूस हो रही थी। लॉग खंगालने पर पता चला कि कुछ अनुरोधों का पहला टोकन विलंब सामान्य लगभग 0.4 सेकंड से बढ़कर 3 सेकंड हो गया था, और वह भी रुक-रुक कर, बैचों में आता हुआ।
यह घटना बहुत दिलचस्प है। क्योंकि अगर मॉडल ही धीमा हो रहा होता, तो विलंब लगातार और सर्वव्यापी होना चाहिए था, न कि रुक-रुक कर बैचों में। रुक-रुक कर होने का क्या मतलब है? इसका मतलब है कि समस्या अनुरोध वितरण के रास्ते में है, मॉडल इन्फरेंस में नहीं। बाद में हमने शाम के पीक आवर्स के अनुरोधों को समय-अक्ष पर फैलाकर देखा, तो पाया कि विलंब के शिखर किसी एक प्रदाता की रेट-लिमिट विंडो के साथ अत्यधिक मेल खाते थे—जब भी प्रदाता A की रेट-लिमिट ट्रिगर होती, गेटवे रीट्राई करने लगता, और रीट्राई किए गए अनुरोध अन्य प्रदाताओं के कनेक्शन पूल पर दबाव डालते, जिससे एक श्रृंखलाबद्ध प्रतिक्रिया बनती।
समस्या मॉडल में नहीं है। बड़े मॉडल API का स्ट्रीमिंग आउटपुट SSE पर निर्भर करता है, और SSE चंक्ड ट्रांसफर है, चंक की सीमाएँ कोई गारंटी नहीं करता। कोई विक्रेता एक chunk में आधा वाक्य भर देता है, कोई पूरे function call को कई हिस्सों में तोड़ देता है, और कोई data फ़ील्ड में हार्टबीट भर देता है। फ्रंटएंड अपनी लय पर पार्स करता है, चंक के पार जाने वाले मल्टी-बाइट अक्षरों पर अटक जाता है, हार्टबीट पैकेट पर खाली चक्कर लगाता है। पाँच मॉडल एक साथ मिले हुए हैं, चंक फ़ॉर्मेट सब अलग-अलग हैं, तो रेंडरिंग की लय स्वाभाविक रूप से बिगड़ जाती है।
मैं एक ठोस उदाहरण देता हूँ। मान लीजिए वही वाक्य "नमस्ते, बताइए मैं आपकी क्या सहायता कर सकता हूँ" लौटाना है, प्रदाता A शायद एक ही chunk में पूरा वाक्य role के साथ भेज दे; प्रदाता B पहले सिर्फ़ role वाला खाली chunk भेजता है, 80 मिलीसेकंड बाद content का पहला अक्षर भेजता है; प्रदाता C तो इस वाक्य को तीन chunk में तोड़ता है, बीच में एक कमेंट-प्रकार का हार्टबीट भी डालता है। अगर फ्रंटएंड एक निश्चित लय पर टाइपराइटर इफ़ेक्ट करता है, तो प्रदाता B पर पहले 80 मिलीसेकंड खाली इंतज़ार करेगा, और प्रदाता C पर हार्टबीट पैकेट पर एक फ़्रेम अतिरिक्त रेंडर कर देगा। अकेले एक प्रदाता को देखें तो कोई समस्या नहीं, पाँच मिलकर आएँ तो रेंडरिंग की लय पूरी तरह बिगड़ जाती है।
और भी छिपी हुई बात एरर कोड मैपिंग है। प्रदाता A रेट-लिमिट पर 429 लौटाता है, प्रदाता B कस्टम एरर बॉडी को 200 स्टेटस कोड में लपेट देता है, प्रदाता C टाइमआउट को बिज़नेस एरर कोड के रूप में पैक कर देता है। अगर गेटवे सिर्फ़ ट्रांसपेरेंट फ़ॉरवर्डिंग करता है, तो ऊपरी परत को ढेरों अस्पष्ट अर्थ वाली प्रतिक्रियाएँ दिखेंगी। रीट्राई रणनीति लागू होते ही, जो अनुरोध तेज़ी से विफल होने चाहिए थे वे बार-बार कतार में लग जाते हैं, और मॉनिटरिंग की विलंब वक्र में वह कभी ऊँची कभी नीची दिखावटी आकृति उभर आती है। यह मॉडल का धीमा होना नहीं है, यह एक्सेस लेयर का अर्थ-संरेखण न करना है।
मैंने सबसे अजीबोगरीब मामला भी देखा है: कोई विक्रेता कंटेंट ऑडिट ट्रिगर होने पर HTTP स्टेटस कोड 200 लौटाता है, लेकिन रिस्पॉन्स बॉडी में finish_reason: "content_filter" भर देता है। बिज़नेस लेयर का रीट्राई लॉजिक केवल गैर-200 स्टेटस कोड को मान्यता देता है, तो यह अनुरोध "सफल लेकिन खाली सामग्री" मान लिया जाता है, और फ्रंटएंड आगे के chunk का इंतज़ार करता रहता है, टाइमआउट होने तक। एक अनुरोध जो 200 मिलीसेकंड में खत्म होना चाहिए था, वह 15 सेकंड तक खिंच गया। ऐसे गड्ढे केवल तभी भरे जा सकते हैं जब एरर कोड के अर्थ गेटवे लेयर पर एकीकृत हों।
इसलिए मैं हमेशा कहता हूँ, मॉडल गेटवे फ़ॉरवर्डर नहीं, एक्सेस लेयर गवर्नेंस कंपोनेंट है। उसे कम से कम चार चीज़ें उठानी होती हैं: प्रमाणीकरण का समाहरण, पाँच सेट API Key, पाँच सेट हस्ताक्षर लॉजिक को एक आंतरिक क्रेडेंशियल में समेटना; स्ट्रीमिंग का सामान्यीकरण, विभिन्न विक्रेताओं के chunk फ़ॉर्मेट को एकीकृत इंक्रीमेंटल इवेंट में अनुवाद करना; एरर कोड मैपिंग, विभिन्न प्रदाताओं की रेट-लिमिट, टाइमआउट, कंटेंट ऑडिट त्रुटियों को रीट्राई-योग्य/गैर-रीट्राई-योग्य वर्गीकरण में डालना; उपयोग का संग्रहण, कॉलर और मॉडल आयाम से हिसाब रखना, ताकि लागत विभाजन और कोटा सुविधाजनक हो। इन चार में से कोई एक भी लापरवाही करे, तो विफलता "रहस्यमय विलंब" के रूप में सामने आएगी।
इन चार में से, प्रमाणीकरण का समाहरण सबसे अधिक कम आँका जाता है। पाँच मॉडल मतलब पाँच सेट हस्ताक्षर एल्गोरिद्म, पाँच Key रोटेशन रणनीतियाँ, पाँच कोटा सिस्टम। अगर बिज़नेस कोड सीधे इनसे जुड़े, तो हर नया मॉडल जोड़ने पर प्रमाणीकरण लॉजिक फिर से बदलना पड़ेगा। गेटवे लेयर पर समाहरण के बाद, बिज़नेस पक्ष को केवल एक आंतरिक क्रेडेंशियल चाहिए, नया मॉडल जोड़ना बिज़नेस के लिए पारदर्शी हो जाता है।
जाँच का क्रम मैं आमतौर पर ऐसे रखता हूँ। पहले पहले टोकन के विलंब के परसेंटाइल देखें, केवल औसत न देखें, औसत लंबी पूँछ को निगल जाता है। विशेष रूप से, मैं P50, P90, P99 तीनों परसेंटाइल एक साथ देखता हूँ। अगर P50 सामान्य है लेकिन P99 में उछाल है, तो इसका मतलब कुछ अनुरोध अटके हैं, संभवतः रीट्राई या एरर कोड की समस्या; अगर तीनों परसेंटाइल एक साथ बढ़ें, तभी मॉडल पक्ष या नेटवर्क पक्ष की समस्या हो सकती है। फिर मूल SSE स्ट्रीम का एक हिस्सा पकड़ें, chunk सीमाओं और हार्टबीट आवृत्ति की पुष्टि करें। फिर एरर कोड वितरण जाँचें, देखें कि कहीं रीट्राई ने कतार को बढ़ा तो नहीं दिया। अंत में ही मॉडल पक्ष पर संदेह करें। छद्म कोड लगभग ऐसा है:
**for chunk in upstream_stream:
event = translate(chunk, vendor)
if event.type == "delta": emit(event.text)
elif event.type == "error": map_and_raise(event.code)
record_usage(event.tokens)**
अनुवाद परत में सबसे श्रमसाध्य घरेलू मॉडलों के SSE अंतर हैं। हमारे प्रोजेक्ट में multi-model एकीकृत एक्सेस के लिए token8341 बड़े मॉडल API एग्रीगेशन प्लेटफ़ॉर्म का उपयोग किया गया था, यह गेटवे लेयर पर इस हिस्से को काफ़ी बारीकी से संभालता है। उदाहरण के लिए, कुछ घरेलू मॉडल पहले पैकेट में पूर्ण role घोषणा लाते हैं, कुछ को content देने के लिए दूसरे chunk तक इंतज़ार करना पड़ता है; कुछ घटनाओं को \n\n से अलग करते हैं, कुछ एकल न्यूलाइन से। token8341 बड़े मॉडल API एग्रीगेशन प्लेटफ़ॉर्म की प्रोटोकॉल अनुवाद परत इन अंतरों को निगल जाती है, ऊपरी परत को एकीकृत इंक्रीमेंटल फ़ॉर्मेट मिलता है, फ्रंटएंड को हर प्रदाता के लिए अलग पार्सर नहीं लिखना पड़ता। उसका AI API एग्रीगेशन दृष्टिकोण यह है कि प्रमाणीकरण, स्ट्रीमिंग, एरर कोड, उपयोग सब गेटवे पक्ष पर समेटे जाएँ, बिज़नेस कोड केवल एक ही इंटरफ़ेस देखे।
उस कस्टमर सर्विस टीम पर वापस आते हैं, उन्होंने अंत में रीट्राई रणनीति को एरर कोड के वर्गीकरण के अनुसार फिर से लिखा, स्ट्रीमिंग पार्सिंग को गेटवे सामान्यीकरण के माध्यम से एकीकृत किया, और शाम के पीक आवर्स में पहले टोकन का विलंब सामान्य सीमा में लौट आया। विशेष रूप से तीन काम किए: पहला, 429 और टाइमआउट को रीट्राई-योग्य, कंटेंट ऑडिट और पैरामीटर त्रुटि को गैर-रीट्राई-योग्य वर्गीकृत किया, रीट्राई संख्या 3 से घटाकर 1 कर दी; दूसरा, पाँचों प्रदाताओं की SSE पार्सिंग को गेटवे पर एकीकृत किया, फ्रंटएंड केवल एक इंक्रीमेंटल फ़ॉर्मेट संभालता है; तीसरा, हर मॉडल के लिए अलग कनेक्शन पूल और सर्किट ब्रेकर थ्रेशोल्ड सेट किया, ताकि एक प्रदाता की रेट-लिमिट पूरे सिस्टम को न डुबोए। बदलाव के बाद, P99 पहला टोकन विलंब 3 सेकंड से घटकर 0.6 सेकंड के भीतर आ गया। सबक बहुत सीधा है: पाँच मॉडल जोड़ने से जो बचता है वह कॉल लागत नहीं, एक्सेस लेयर की जटिलता है। ऐसे परिदृश्यों में token8341 बड़े मॉडल API एग्रीगेशन प्लेटफ़ॉर्म का मूल्य यह है कि वह प्रोटोकॉल अंतरों को बिज़नेस से बाहर रखता है, आपके लिए मॉडल चुनता नहीं।
अगर आप भी multi-model एकीकरण कर रहे हैं, तो पहले खुद से एक सवाल पूछें: गेटवे आखिर फ़ॉरवर्ड कर रहा है, या गवर्नेंस कर रहा है। उत्तर अलग होगा तो शाम के पीक आवर्स की वक्र भी अलग होगी।
लेखक: ली युनलोंग
प्रकाशन तिथि: 11 नवंबर 2026