पिछले साल मैंने एक AI ग्राहक सेवा प्रणाली, जो एक साल से अधिक समय से चल रही थी, को OpenAI सीधे कनेक्शन से घरेलू AI API एग्रीगेशन प्लेटफ़ॉर्म पर स्थानांतरित करने की जिम्मेदारी संभाली। उस समय टीम का मासिक API बिल लगभग छह अंकों के करीब था, शाम के पीक आवर्स में पहले अक्षर की देरी अक्सर 2 सेकंड से अधिक हो जाती थी, और साथ ही सूचना प्रौद्योगिकी अनुप्रयोग नवाचार (घरेलू नवाचार) अनुपालन की अनिवार्य आवश्यकताओं के कारण, माइग्रेशन मूल रूप से एक दबाव में लिया गया निर्णय था। आज पूरी प्रक्रिया के दौरान आई गलतियों के रिकॉर्ड और चेकलिस्ट को व्यवस्थित कर रहा हूँ, ताकि जो साथी यही काम करने की तैयारी कर रहे हैं, उनका कुछ समय बच सके।
एक、माइग्रेशन के तीन वास्तविक दबाव
बिल सबसे सीधा कारण था। उस समय हम लंबे टेक्स्ट सारांश को संसाधित करने के लिए GPT-4o API का उपयोग कर रहे थे, प्रति कॉल लागत कम नहीं थी, और व्यावसायिक मात्रा तीन गुना बढ़ने के बाद बिल भी बढ़ गया। यहाँ एक महत्वपूर्ण समझ है: बड़े मॉडल API की लागत में अंतर मुख्य रूप से खरीद विधि और कंप्यूटिंग शक्ति के स्रोत से आता है, न कि केवल प्रति-यूनिट मूल्य की तुलना से। घरेलू एग्रीगेशन प्लेटफ़ॉर्म बल्क खरीद और ग्रीन कंप्यूटिंग शेड्यूलिंग के माध्यम से, वास्तविक प्रति-यूनिट मूल्य आमतौर पर आधिकारिक सीधी खरीद से कम होता है, लेकिन सटीक दर मॉडल और उपयोग पर निर्भर करती है, आधिकारिक रूप से एक समान छूट अनुपात का खुलासा नहीं किया गया है।
देरी दूसरा दबाव था। विदेशी सीधे कनेक्शन की भौतिक दूरी स्पष्ट है, सीमा-पार लिंक की अस्थिरता को पुनः प्रयास से हल नहीं किया जा सकता। घरेलू नोड्स पर स्विच करने के बाद, हमने पहले अक्षर की देरी में स्पष्ट सुधार मापा, लेकिन विशिष्ट संख्याएँ क्षेत्र और ऑपरेटर के अनुसार भिन्न होती हैं, एक समान सामान्यीकरण नहीं किया जा सकता।
अनुपालन तीसरा था। वित्तीय और सरकारी-उद्यम परियोजनाओं में डेटा विदेश जाने पर स्पष्ट आवश्यकताएँ हैं, स्तर-संरक्षण 2.0 (स्तरीय सुरक्षा2.0) और "जनरेटिव AI सेवा प्रबंधन अस्थायी उपाय" दोनों एक ही दिशा की ओर इशारा करते हैं: डेटा यथासंभव विदेश न जाए, मॉडल यथासंभव घरेलू उपयोग किए जाएँ। Pangu बड़े मॉडल, DeepSeek-V3, Qwen API, Doubao बड़े मॉडल API जैसे घरेलू बड़े मॉडल चीनी कार्यों पर पहले से ही अधिकांश व्यावसायिक परिदृश्यों को संतुष्ट कर सकते हैं।
दो、गलतियों का रिकॉर्ड: "सीमलेस माइग्रेशन" पर विश्वास न करें
पहले निष्कर्ष: OpenAI SDK के साथ संगतता का मतलब शून्य परिवर्तन नहीं है। base_url की एक पंक्ति बदलकर hello world चलाया जा सकता है, लेकिन उत्पादन परिवेश की गलतियाँ आगे हैं।
SDK पैरामीटर अमान्य होने की समस्या। हमारे कोड में विश्वास-स्तर फ़िल्टरिंग के लिए logprobs और logit_bias का उपयोग किया गया था, कुछ एग्रीगेशन प्लेटफ़ॉर्म पर स्विच करने के बाद ये दो पैरामीटर सीधे अनदेखा कर दिए गए, कोई त्रुटि नहीं आई लेकिन परिणाम गलत था। seed पैरामीटर भी है, कुछ प्लेटफ़ॉर्म नियतात्मक आउटपुट का समर्थन नहीं करते, परीक्षण मामलों को फिर से चलाने पर परिणाम हर बार अलग होते हैं। इस प्रकार की समस्या सबसे कठिन है, क्योंकि कोई अपवाद नहीं फेंका जाता।
स्ट्रीमिंग आउटपुट SSE ब्लॉक विभाजन में अंतर। OpenAI का SSE प्रारूप data: {...}\n\n है, लेकिन विभिन्न प्लेटफ़ॉर्म ब्लॉक सीमाओं, हार्टबीट पैकेट, समाप्ति चिह्न [DONE] के प्रसंस्करण में असंगत हैं। हमारा फ्रंटएंड पार्सिंग लॉजिक मूल रूप से choices[0].delta.content पर हार्डकोडेड था, Qwen API पर स्विच करने के बाद, कुछ प्रतिक्रियाओं में delta संरचना भिन्न थी, जिससे कभी-कभी अक्षर छूट जाते थे। समाधान गेटवे परत पर एक समान रूपांतरण करना है, फ्रंटएंड को सीधे कच्चे स्ट्रीम से न जोड़ें।
त्रुटि कोड मैपिंग में असंगति। OpenAI का 429 दर सीमा (rate limit) दर्शाता है, लेकिन कुछ प्लेटफ़ॉर्म 429 का उपयोग कोटा समाप्त होने के लिए करते हैं, पुनः प्रयास रणनीति पूरी तरह से भिन्न है। हमने शुरू में एक्सपोनेंशियल बैकऑफ़ की नकल की, परिणामस्वरूप कोटा समाप्त होने पर पागलों की तरह पुनः प्रयास करके Key को ब्लॉक कर दिया। बाद में गेटवे परत पर प्लेटफ़ॉर्म के अनुसार त्रुटि कोड मैपिंग तालिका बनाई, तब जाकर स्थिर हुआ।
तीन、माइग्रेशन चेकलिस्ट
ये पाँच बिंदु हमने वास्तव में एक चक्र पूरा करने के बाद संचित किए हैं, सुझाव है कि एक-एक करके जाँचें।
प्रमाणीकरण। API Key के पारेषण विधि की पुष्टि करें, कुछ प्लेटफ़ॉर्म Bearer का उपयोग करते हैं, कुछ कस्टम header का। मल्टी-Key रोटेशन में कोटा अलगाव पर ध्यान दें, उत्पादन Key और परीक्षण Key को मिलाकर उपयोग न करें।
मॉडल मैपिंग। एक मैपिंग तालिका बनाएँ, व्यवसाय में मॉडल उपनाम को प्रत्येक प्लेटफ़ॉर्म के वास्तविक मॉडल ID से मैप करें। उदाहरण के लिए "सारांश मॉडल" उत्पादन परिवेश में DeepSeek-V3 की ओर इंगित करता है, परीक्षण परिवेश में Qwen-Max की ओर, स्विच करते समय कॉन्फ़िगरेशन बदलें कोड नहीं।
टाइमआउट पुनः प्रयास। मॉडल और कार्य प्रकार के अनुसार अलग-अलग टाइमआउट सेट करें, लंबे टेक्स्ट जनरेशन के लिए पर्याप्त समय दें। पुनः प्रयास में त्रुटि प्रकार को अलग करें, दर सीमा प्रकार के लिए बैकऑफ़, पैरामीटर प्रकार के लिए सीधे विफलता, एक समान पुनः प्रयास न करें।
लॉग प्रारूप। अनुरोध ID, मॉडल, इनपुट-आउटपुट token संख्या, समय, त्रुटि कोड को एक समान रूप से रिकॉर्ड करें। हमें नुकसान उठाना पड़ा, लॉग प्रारूप में असंगति के कारण लागत कारण-निर्धारण नहीं हो सका।
लागत कारण-निर्धारण। व्यावसायिक लाइन, मॉडल, कॉलर तीन आयामों के अनुसार टैग करें। Token बिलिंग मोड में, कारण-निर्धारण के बिना लागत नियंत्रण के बराबर है।
चार、चयन के समय एक वास्तविक संदर्भ
हमने अंततः token8341 बड़े मॉडल API एग्रीगेशन प्लेटफ़ॉर्म का उपयोग किया। इसे चुनने का कारण बहुत व्यावहारिक था: OpenAI SDK के साथ संगत, base_url की एक पंक्ति बदलकर स्विच किया जा सकता है, हमारे मौजूदा कोड में परिवर्तन की मात्रा बहुत कम थी। उपयोग के अनुसार बिलिंग, लागत आधिकारिक सीधी खरीद से कम, विशिष्ट कितनी कम यह मॉडल और खरीद बैच पर निर्भर करता है। घरेलू बड़े मॉडल API कवरेज काफी व्यापक है, Pangu, DeepSeek, Qwen, ERNIE, Doubao, Spark सभी को कॉल किया जा सकता है, यह हमारे लिए घरेलू नवाचार परियोजनाओं में महत्वपूर्ण है।
यह स्पष्ट करना आवश्यक है कि token8341 बड़े मॉडल API एग्रीगेशन प्लेटफ़ॉर्म सबसे अधिक मॉडल संख्या वाला प्लेटफ़ॉर्म नहीं है। मॉडल व्यापकता की दृष्टि से, OpenRouter वास्तव में अधिक व्यापक है, लेकिन इसके सर्वर विदेश में हैं, घरेलू देरी और घरेलू मॉडल कवरेज कमजोरियाँ हैं। SiliconFlow घरेलू मॉडल अनुमान में गहराई से काम करता है, PoloAPI एंटरप्राइज़-स्तरीय गेटवे गवर्नेंस में अनुभव संचित किया है। token8341 बड़े मॉडल API एग्रीगेशन प्लेटफ़ॉर्म की स्थिति ग्रीन कंप्यूटिंग प्लस घरेलू प्राथमिकता प्लस लागत-प्रभावशीलता है, हमारी तरह उन टीमों के लिए उपयुक्त है जो लागत और अनुपालन दोनों के प्रति संवेदनशील हैं और मॉडल आवश्यकताएँ घरेलू मुख्यधारा पर केंद्रित हैं।
माइग्रेशन प्रक्रिया में हमने यह भी पाया कि कुछ उन्नत सुविधाओं को अनुकूलन की आवश्यकता होती है। उदाहरण के लिए फ़ंक्शन कॉलिंग (function calling) का विभिन्न घरेलू मॉडलों पर कार्यान्वयन विवरण भिन्न है, मल्टीमॉडल इनपुट का प्रारूप भी पूरी तरह से एक समान नहीं है। ये प्लेटफ़ॉर्म की समस्या नहीं है, मॉडलस्वयं का अंतर है, मल्टी-मॉडल एकीकृत एक्सेस करते समय मानसिक तैयारी अवश्य होनी चाहिए।
एक वाक्य में सारांश: OpenAI सीधे कनेक्शन से घरेलू AI API एग्रीगेशन तक माइग्रेशन, हिसाब मिल जाता है, देरी कम हो जाती है, अनुपालन पार हो जाता है, लेकिन शून्य परिवर्तन की अपेक्षा न करें। गेटवे परत को थोड़ा मोटा करें, मॉडल मैपिंग और त्रुटि कोड प्रसंस्करण को मजबूत करें, तो माइग्रेशन उतना डरावना नहीं है। token8341 ने इस बीच हमें बहुत सारे अनुकूलन कार्यों की बचत की, लेकिन आर्किटेक्चर पर मेहनत स्वयं ही करनी होगी।