برای یک قابلیت واحد، فرانتاند باید چهار مدل را فراخوانی کند: GPT-4o مسئول پشتیبانی، DeepSeek اجرای استنتاج اصلی، Qwen پردازش متون بلند چینی و Doubao متنهای پشتیبانی مشتری. چهار SDK، چهار مجموعه احراز هویت، چهار نسخه مستندات. در هفته اول انتشار، فقط همراستا کردن این تفاوتها دو نفر-روز وقت گرفت.
این اغراق نیست. ما آمار گرفتیم: پس از اتصال چهار شرکت مدل، بخش مربوط به فراخوانی مدل در کد کسبوکار تقریباً سه برابر شد. با هر تغییر مدل، باید شیوه فراخوانی، منطق تجزیه و مدیریت خطا دوباره تغییر میکرد. مشکلسازتر اینکه هر بار که شرکت ارائهدهنده SDK را ارتقا میداد، باید همهچیز دوباره تست میشد. این مقاله چالههایی را که در آن افتادیم و راهکار نهایی دروازه مدل را کامل مرور میکند، به امید اینکه به تیمهایی که بهطور مشابه بین چند مدل دستوپنجه نرم میکنند کمک کند.
۱. احراز هویت: چهار سیستم، چهار شیوه نوشتن
احراز هویت اولین برخورد بود. خانواده OpenAI از Bearer Token استفاده میکند و کافی است در هدر درخواست Authorization: Bearer sk-xxx قرار دهید. Qwen نیاز به امضای AccessKey دارد و هر درخواست باید با AK/SK مقدار HMAC محاسبه کند و زمانمهر و رشته تصادفی هم بچسباند. Doubao از AK/SK بههمراه زمانمهر استفاده میکند، اما الگوریتم امضایش با Qwen متفاوت است. DeepSeek هرچند با فرمت OpenAI سازگار است، base_url و نگاشت نام مدل خودش را دارد و شیوه مقداردهی اولیهاش هم دقیقاً با SDK رسمی یکسان نیست.
نتیجه این است که کد پر از if-else میشود. هر شرکت ارائهدهنده یک نمونه client، هر نمونه یک مجموعه پیکربندی. مدیریت کلید دردسر بیشتری دارد — کلیدهای چهار شرکت در چهار جا ذخیره میشوند، هنگام چرخش باید چهار جا تغییر کند و اگر یکی جا بماند حادثه عملیاتی رخ میدهد.
بعداً در لایه اتصال یکپارچهسازی کردیم: به بیرون فقط یک API Key نمایش میدهیم و در داخل ترجمه پروتکل انجام میشود. روش مشخص این است که لایه اتصال یک جدول مسیریابی شرکتها نگه میدارد و هر شرکت آداپتور احراز هویت خودش را دارد. سمت کسبوکار فقط یک Key میگیرد، درخواست به لایه اتصال میرسد، لایه اتصال بر اساس نام مدل شرکت مربوطه را پیدا میکند و با آداپتور امضا و ارسال را انجام میدهد.
ما بعداً base_url را روی token8341 یکپارچه کردیم و امتحان کردیم؛ با یک Key میتوان GPT-4o، Claude، Gemini، DeepSeek، Qwen، ERNIE و Doubao را فراخوانی کرد، با SDK OpenAI سازگار است و با تغییر یک خط base_url میتوان جابهجا شد. کارهای کثیف احراز هویت بیرون از لایه اتصال میماند و کد کسبوکار bastante تمیزتر شد. چرخش کلید هم به یک عملیات واحد تبدیل شد و هزینه نگهداری مستقیماً یک مرتبه بزرگی کاهش یافت.
۲. تکهبندی جریانی SSE: چهار فرمت، یک رندر
تکهبندی جریانی SSE چاله دوم بود و از احراز هویت هم پنهانتر. در chunk مدل GPT-4o ممکن است delta.content مقدار null داشته باشد، بهویژه در chunk اول و آخر؛ اگر فرانتاند بدون بررسی خالی بودن مستقیماً رندر کند، undefined چشمک میزند. DeepSeek در chunk آخر usage میآورد و ساختار فیلد usage آن هم دقیقاً با OpenAI یکسان نیست. Qwen انواع رویداد را ریزتر تقسیم میکند و انواع رویدادهایی مثل add، finish و error دارد که ساختار payload هر رویداد متفاوت است. نشانه پایان Doubao هم متفاوت است و با یک فیلد ویژه finish_reason پایان جریان را مشخص میکند.
فرانتاند چهار فرمت دریافت میکند و منطق رندر مستقیماً از هم میپاشد. راهکار اولیه ما این بود که در فرانتاند سازگارسازی کنیم و چهار تابع تجزیه بنویسیم، اما نتیجه این شد که با هر مدل جدید باید فرانتاند تغییر میکرد. بعداً تغییر دادیم به نرمالسازی در لایه دروازه: یکپارچهسازی به ساختار chunk مدل OpenAI، فیلتر مستقیم delta خالی و استخراج جداگانه usage برای انباشت. قاعده مشخص این است — همه پاسخهای جریانی شرکتها به قالب data: {"choices":[{"delta":{"content":"..."}}]} تبدیل میشوند، پایان بهطور یکپارچه با data: [DONE] علامتگذاری میشود و usage در chunk آخر با فرمت OpenAI برگردانده میشود.
فرانتاند فقط یک فرمت را میشناسد و لازم نیست بداند بکاند به کدام متصل است. این تغییر کد مرتبط با مدل در فرانتاند را از بیش از ۴۰۰ خط به حدود ۸۰ خط کاهش داد و هنگام افزودن مدل جدید، فرانتاند هیچ تغییری نمیخواهد.
۳. کدهای خطا: خطا پنهان در HTTP 200
آشفتگی کدهای خطا فراتر از انتظار بود. برای همان محدودیت نرخ، OpenAI کد 429 با rate_limit_exceeded برمیگرداند، Qwen یک خطای کسبوکار با فیلد code برمیگرداند و Doubaoراحت/یکراست خطا را داخل body پاسخ HTTP 200 میگذارد — کد وضعیت 200 است اما در body یک فیلد error وجود دارد. DeepSeek بیشتر مواقع با OpenAI یکسان است اما گاهی ساختارهای خطای سفارشی برمیگرداند.
پایش و هشدار اصلاً قابل یکپارچهسازی نبود. نمیتوانید قاعدهای بنویسید که «هر 429 هشدار بدهد»، چون بعضی شرکتها هنگام محدودیت نرخ 429 برنمیگردانند. نمیتوانید فقط به کد وضعیت HTTP نگاه کنید، چون 200 در Doubao ممکن است خطا باشد.
ما در لایه اتصال یک جدول نگاشت ساختیم و کدهای خطای شرکتها را به یک سیستم خطای داخلی واحد تبدیل کردیم: محدودیت نرخ، وقفه، شکست احراز هویت، بررسی محتوا، سرویس در دسترس نیست. منطق نگاشت مشخص این است — اول کد وضعیت HTTP را ببین، بعد error code داخل body را، و با ترکیب هر دو قضاوت کن. مثلاً اگر Doubao کد 200 برگرداند اما در body خطا باشد، بر اساس error code نگاشت میشود؛ اگر Qwen کد 400 با کد کسبوکار برگرداند، بر اساس code نگاشت میشود. قواعد هشدار فقط یک مجموعه نوشته میشود و هنگام عیبیابی کد خطای اصلی دوباره بررسی میشود.
این جدول نگاشت را حدود بیش از ۶۰ قاعده نگهداری کردیم که سناریوهای خطای رایج چهار شرکت را پوشش میدهد. پس از انتشار، دقت هشدارها از حدود ۶۰٪ قبلی به بیش از ۹۵٪ رسید و هشدارهای نادرست اساساً از بین رفت.
۴. آمار مصرف: چهار عدد با هم نمیخوانند
تفاوت معیار آمار مصرف راحتترین چیزی است که نادیده گرفته میشود، اما هنگام تطبیق مالی حتماً آشکار میشود. شمارش token در GPT-4o شامل system prompt است، tokenهای برخورداری از کش DeepSeek جداگانه قیمتگذاری میشوند، Qwen ورودی و خروجی را جدا حساب میکند و واحد صورتحساب Doubao هم متفاوت است. هنگام تطبیق مالی چهار عدد با هم نمیخوانند و اصلاً نمیتوان هزینه واقعی هر مدل را شفاف محاسبه کرد.
راهکار جمعآوری این است که در لایه دروازه برای هر درخواست model، input_tokens، output_tokens و cache_hit ثبت شود و یکپارچه بر اساس معیار صورتحساب token در پایگاه داده ذخیره شود. روش مشخص این است — دروازه هنگام ارسال درخواست زمان شروع و پایان را ثبت میکند، فیلد usage هر شرکت را از پاسخ استخراج میکند و به فرمت استاندارد تبدیل میکند. برای شرکتهایی با واحد صورتحساب متفاوت، در لایه دروازه یک تبدیل انجام میشود و همه به هزینه per-token تبدیل میشوند.
اینطور هر شرکتی که در لایه زیرین متصل باشد، هزینهها در یک جدول قابل مقایسهاند. بعداً بر اساس همین جدول یک داشبورد هزینه ساختیم که بر اساس مدل، بر اساس خط کسبوکار و بر اساس روز قابل تفکیک است. یک بار متوجه شدیم هزینه یک خط کسبوکار ناگهان ۴۰٪ افزایش یافته؛ بررسی نشان داد استراتژی مسیریابی حجم زیادی از درخواستها را به GPT-4o فرستاده بود و پس از تنظیم مسیریابی هزینه فوراً پایین آمد. بدون جمعآوری یکپارچه مصرف، اینگونه مشکلات اصلاً قابل کشف نبود.
۵. معماری چهارلایه دروازه مدل
دروازه مدل باید کدام لایهها را بر عهده بگیرد؟ تقسیمبندی من چهار لایه است.
لایه اول ترجمه پروتکل. فرمت درخواست و پاسخ شرکتها را به رابط سازگار با OpenAI یکپارچه میکند. این لایه تنها لایهای است که کد کسبوکار مستقیماً با آن در تماس است و مسئول ترجمه درخواست با فرمت استاندارد OpenAI به فرمت هر شرکت و ترجمه پاسخ بهصورت برگشتی است.
لایه دوم مسیریابی. انتخاب مدل بر اساس نوع وظیفه، مثلاً متن بلند چینی به Qwen، کد به DeepSeek و پشتیبان به GPT-4o. استراتژی مسیریابی قابل پیکربندی است و از ابعاد مختلفی مانند نوع وظیفه، اولویت و هزینه پشتیبانی میکند. منطق تنزل هم اضافه کردیم — اگر مدل اصلی وقفه یا محدودیت نرخ داشته باشد، بهطور خودکار به مدل پشتیبان سوئیچ میشود.
لایه سوم جمعآوری مصرف. صورتحساب و سهمیه یکپارچه. مصرف token، برخورداری از کش و زمان پاسخ هر درخواست در این لایه ثبت میشود و رابط یکپارچه پرسوجوی مصرف به بیرون ارائه میشود.
لایه چهارم قابلیت مشاهده. لاگ، ردیابی زنجیره و یکپارچهسازی کدهای خطا. هر درخواست trace_id دارد و از ورودی تا خروجی کل زنجیره قابل ردیابی است. کدهای خطا در این لایه یکپارچه نگاشت میشوند و قواعد هشدار هم فقط در این لایه پیکربندی میشوند.
کد کسبوکار فقط رابط لایه اول را فراخوانی میکند و سه لایه بعدی برایش شفاف هستند. مزیت این کار این است — تغییر مدل نیازی به تغییر کد کسبوکار ندارد، افزودن مدل نیازی به تغییر کد کسبوکار ندارد و تنظیم استراتژی مسیریابی هم نیازی به تغییر کد کسبوکار ندارد. تیم کسبوکار فقط باید بداند «میخواهم یک مدل را فراخوانی کنم» و بقیه به دروازه واگذار میشود.
۶. هشدارهای اجتناب از چاله
در کد کسبوکار مستقیماً SDK شرکتها را import نکنید.بهمحضِ/اگر شرکت رابط را ارتقا دهد یا بخواهید مدل را عوض کنید، سطح تغییرات بسیار گسترده میشود. دیدهایم تیمی در کد کسبوکار مستقیماً SDK را فراخوانی میکرد و بعداً هنگام تغییر مدل بیش از ۳۰ فایل را تغییر داد و یک هفته تست کرد تا منتشر شود.
در لایه اتصال دو روز بیشتر خرج کنید تا بعداً دو هفته صرفهجویی کنید. این نسبت بازده سرمایهگذاری در مورد ما واقعاً تأیید شده است — پس از انتشار دروازه، افزودن یک مدل جدید فقط نیاز به افزودن یک آداپتور در لایه دروازه دارد، کد کسبوکار هیچ تغییری نمیخواهد و در نیم روز اتصال و تست کامل میشود.
دو پیشنهاد کوچک دیگر: اول، هرچه زودتر جمعآوری مصرف را انجام دهید و صبر نکنید تا هنگام تطبیق مالی بفهمید شفاف محاسبه نمیشود؛ دوم، جدول نگاشت کدهای خطا را بهطور مستمر نگهداری کنید و اولین کار هنگام اتصال شرکت جدید تکمیل نگاشت کدهای خطا است.
نویسنده: سون هائوران
تاریخ انتشار: ۹ نوامبر ۲۰۲۶