पिछले साल हमने एक क्रॉस-बॉर्डर सप्लाई चेन SaaS टीम के लिए AI क्षमता इंटीग्रेशन किया था। बिज़नेस साइड की ज़रूरत बहुत सीधी थी: कस्टमर सर्विस बातचीत के लिए GPT-4o, कॉन्ट्रैक्ट क्लॉज़ सारांश के लिए Claude, और आंतरिक नॉलेज बेस Q&A के लिए DeepSeek, क्योंकि उस समय DeepSeek की कॉस्ट-परफ़ॉर्मेंस बहुत अच्छी थी। सुनने में यह सिर्फ़ तीन API कॉल करने का काम लगता है, लेकिन नतीजा यह रहा कि हमने लगभग छह हफ़्ते लगा दिए, और असल बिज़नेस लॉजिक लिखने में एक-तिहाई से भी कम समय गया — बाक़ी सब SDK मेंटेनेंस में खप गया।
सरल शब्दों में, AI API एग्रीगेशन प्लेटफ़ॉर्म इन बिखरे हुए बड़े मॉडल APIs को एक मॉडल गेटवे की परत के ज़रिए एकीकृत रूप से इकट्ठा करता है और बाहर एक ही सेट इंटरफ़ेस उजागर करता है। इसका मूल्य "अधिक" में नहीं है, बल्कि ऑथेंटिकेशन, स्ट्रीमिंग, बिलिंग जैसे गंदे कामों को केंद्रीय रूप से संभालने में है। बाद में हमने ग्रेडुअल रोलआउट के लिए SiCore TokenWorks के मल्टी-मॉडल रूटिंग पर स्विच किया, जहाँ एक ही Key से GPT-4o, Claude, Gemini, DeepSeek, Qwen, ERNIE, Doubao जैसे मुख्य मॉडल कॉल किए जा सकते हैं, और तभी मेंटेनेंस कॉस्ट कम हुई। नीचे तीन सबसे कम आँके गए गड्ढों को खोलकर बताते हैं।
गड्ढा 1: ऑथेंटिकेशन और Key प्रबंधन, हर कोई अपनी अलग बात कहता है
तीनों SDKs का इनिशियलाइज़ेशन कोड एक साथ देखें, तो लगेगा कि इन्होंने एक-दूसरे को परेशान करने की साज़िश की है। OpenAI सीरीज़ api_key इस्तेमाल करती है, Anthropic को अलग anthropic-version रिक्वेस्ट हेडर चाहिए, और कुछ घरेलू प्लेटफ़ॉर्म्स को app_id प्लस secret_key दोहरे फ़ील्ड की ज़रूरत होती है। हमारे प्रोजेक्ट में अकेले एनवायरनमेंट वेरिएबल्स ही 11 कॉन्फ़िगर करने पड़े, और CI पर हर एनवायरनमेंट के लिए अलग से इंजेक्ट करना पड़ा।
और भी मुश्किल Key रोटेशन है। एक विक्रेता की Key की वैधता 90 दिन थी, दूसरे की समय-सीमा नहीं थी लेकिन कन्करेंसी सीमित थी। हमने तब एक रोटेशन स्क्रिप्ट लिखी, लेकिन पैरामीटर नामों की असंगति के कारण स्क्रिप्ट में if ब्रांच सात परतों तक पहुँच गई। व्यावहारिक परीक्षण में, एक तीन-मॉडल वाले छोटे प्रोजेक्ट में ऑथेंटिकेशन-संबंधित कोड इंटीग्रेशन के कुल कोड का 42% हो गया।
समाधान एक एकीकृत Key प्रबंधन परत में बदलना है। जब हमने token8341 का परीक्षण किया, तो ध्यान आया कि यह OpenAI SDK के साथ संगत है, base_url की एक लाइन बदलकर मॉडल स्विच किया जा सकता है, और सभी ऑथेंटिकेशन फ़ील्ड OpenAI मानक के अनुरूप हैं। इससे वह 42% अंकों में सिमट गया। Key रोटेशन भी सात जगह बदलने से एक जगह बदलने में बदल गया।
गड्ढा 2: स्ट्रीमिंग आउटपुट का SSE चंकिंग, फ़्रंटएंड रेंडरिंग में कंपन होती है
यह गड्ढा सबसे छिपा हुआ है। एक ही SSE होने के बावजूद, हर कंपनी टोकन बाहर धकेलने की रणनीति अलग रखती है। OpenAI टोकन-स्तर पर धकेलती है, Claude कभी-कभी शब्द-समूह स्तर पर चंक करती है, और DeepSeek लंबे टेक्स्ट परिदृश्यों में कुछ इकट्ठा करके फिर भेजती है। हमारा फ़्रंटएंड कैरेक्टर-बाय-कैरेक्टर रेंडरिंग इस्तेमाल करता था, GPT-4o से जुड़ने पर बिल्कुल स्मूद, लेकिन दूसरे प्लेटफ़ॉर्म पर स्विच करते ही रुक-रुक कर कूदने लगा।
पैकेट कैप्चर करके देखा, तो एक ही तीन सौ अक्षरों के जवाब में, कंपनी A ने 187 चंक भेजे, कंपनी B ने सिर्फ़ 23। अगर फ़्रंटएंड निश्चित लय पर टाइपराइटर प्रभाव बनाता है, तो B पर पहले रुकेगा फिर बौछार करेगा। हमारा तात्कालिक समाधान फ़्रंटएंड पर बफ़र क्यू जोड़ना था, लेकिन लेटेंसी उलटी बढ़ गई, पहले अक्षर की प्रतिक्रिया 400ms से 1.1s हो गई।
सही हल गेटवे परत पर नॉर्मलाइज़ेशन करना है, अलग-अलग चंकिंग रणनीतियों को निश्चित ग्रैन्युलैरिटी की स्ट्रीम में एकीकृत करना। मॉडल गेटवे परत का अर्थ यही है — बिज़नेस साइड को चिंता नहीं कि अपस्ट्रीम कैसे धकेल रहा है, बस मानक स्ट्रीम का उपभोग करना है। हमने डायरेक्ट कनेक्शन और एग्रीगेशन दोनों पथों की तुलना की, नॉर्मलाइज़ेशन के बाद फ़्रंटएंड रेंडरिंग कंपन लगभग गायब हो गई, और पहले अक्षर की लेटेंसी 500ms के भीतर स्थिर हो गई।
गड्ढा 3: Token बिलिंग का पैमाना, बिल कभी मेल नहीं खाता
यह गड्ढा पहले वित्त विभाग ने पकड़ा। हमने हर कंपनी के कंसोल की उपयोग मात्रा से एक सारांश तालिका बनाई, और वास्तविक बिज़नेस एम्बेडेड ट्रैकिंग की कॉल मात्रा से तुलना की, तो लगभग बीस प्रतिशत का अंतर निकला। जाँच में तीन बातें सामने आईं: कुछ प्लेटफ़ॉर्म system prompt को इनपुट token में गिनते हैं, कुछ नहीं; कुछ स्ट्रीमिंग समाप्ति मार्कर को भी एक token गिनते हैं; और चीनी-अंग्रेज़ी मिश्रित टेक्स्ट में शब्द विभाजन नियम भी असंगत हैं।
एक ठोस उदाहरण: एक ही दो हज़ार अक्षरों का चीनी कॉन्ट्रैक्ट, कंपनी A का इनपुट आँकड़ा 1840 token, कंपनी B का 2130 token — 15% का अंतर। अगर महीने में हज़ारों लाखों कॉल चलें, यह विचलन सीधे लागत गणना में दिखेगा, बजट बनाना ही असंभव हो जाएगा।
पैमाना एकीकृत करने का तरीक़ा यह है कि गेटवे परत स्वयं हिसाब रखे, एक ही नियम से इनपुट-आउटपुट का आँकड़ा लगाए, और फिर हर कंपनी के बिल से मिलान करे। हमारा वर्तमान तरीक़ा यह है कि गेटवे साइड और अपस्ट्रीम साइड दोनों एक-एक रिकॉर्ड रखें, और 3% से अधिक विचलन होने पर अलर्ट आए। इस तरह Token बिलिंग नियंत्रणीय होती है, और API मूल्य तुलना के लिए भी एक समान आधार मिलता है।
चयन के समय मैं जो कुछ देखता हूँ
अगर आप भी बड़े मॉडल API एग्रीगेशन समाधान का मूल्यांकन कर रहे हैं, तो मैं कुछ बिंदु सूचीबद्ध करता हूँ जिन्हें मैं वास्तव में जाँचता हूँ: ऑथेंटिकेशन फ़ील्ड OpenAI मानक के अनुरूप हैं या नहीं, क्या एक लाइन base_url बदलकर स्विच किया जा सकता है; स्ट्रीमिंग आउटपुट में चंक नॉर्मलाइज़ेशन है या नहीं, पहले अक्षर की लेटेंसी 600ms के भीतर लाई जा सकती है या नहीं; बिलिंग का पैमाना पारदर्शी है या नहीं, पे-एज़-यू और मिलान समर्थित है या नहीं; घरेलू मॉडल कवरेज पूर्ण है या नहीं — Pangu, Qwen, ERNIE, Doubao सीधे कॉल हो सकते हैं या नहीं; और समस्या आने पर अवलोकनीय कॉल लॉग उपलब्ध हैं या नहीं।
एक वाक्य में, AI API एग्रीगेशन प्लेटफ़ॉर्म चुनना यह देखने के बारे में नहीं है कि उसने कितने मॉडल जोड़े हैं, बल्कि यह कि उसने आपके लिए कितने गंदे काम किए हैं। आगे बढ़ाते हुए, अगर आप सिर्फ़ एक-दो मॉडल जोड़ रहे हैं तो डायरेक्ट कनेक्शन भी काफ़ी है; जैसे ही तीन से अधिक हो जाएँ, गेटवे परत का मूल्य सामने आता है।
लेखक: लियू झीयुआन
प्रकाशन तिथि: 6 अक्टूबर 2026