أولاً، الخلاصة: في ذروة المساء، تعرّضت خدمة العملاء الذكية لانهيار، وفي سبع من كل عشر مرات لم يكن السبب ضعف النموذج، بل خطأ في طبقة الوصول. تلقّى فريقنا قبل عامين نظام خدمة عملاء لشركة تعليم عبر الإنترنت، حيث تضاعف التزامن أربع مرات بين الثامنة والعاشرة مساءً، وأبلغت أربع شركات مزوّدة للنماذج عن خطأ 429 بالتناوب، ولم تكن استراتيجية إعادة المحاولة في جانب الأعمال تطبّق التراجع الأسي، فملأت طلبات إعادة المحاولة تجمّع الاتصالات في البوابة نفسها، حتى طلبات المصادقة العادية لم تستطع الدخول. عند المراجعة اللاحقة، تبيّن أن اتفاقيات مستوى الخدمة (SLA) لدى مزوّدي النماذج كانت مستوفاة فعلياً، والمشكلة كلها كانت في طبقة الوصول الخاصة بنا.
ببساطة، بوابة النماذج هي طبقة وسيطة بين الأعمال وواجهات برمجة تطبيقات النماذج الكبيرة المختلفة. وهي لا تولّد ذكاءً، بل تتولى إرسال الطلبات واستقبالها بأمان واستقرار وقابلية للقياس. يبدو الأمر بسيطاً، لكن عند التنفيذ الفعلي يتلخص في أربعة أمور.
الطبقة الأولى: توحيد المصادقة
أربع شركات، أربع مجموعات من المفاتيح: مجموعتان تستخدمان Bearer، وواحدة تُمرَّر في الـquery، وواحدة تتطلب توقيعاً. تتناثر في كود الأعمال أربع نسخ من منطق المصادقة، وكل تغيير لنموذج يستلزم تعديلاً. ما تفعله البوابة هو تجميع هذه الفروقات في طبقة واحدة، بحيث يتعامل الأعمال مع مفتاح داخلي واحد فقط. في مشروعنا استخدمنا منصة SiCore TokenWorks لتجميع واجهات برمجة تطبيقات النماذج الكبيرة من أجل الوصول الموحّد إلى نماذج متعددة، وهي متوافقة مع OpenAI SDK، ويكفي تغيير سطر base_url للتبديل، فلا يحتاج جانب الأعمال تقريباً إلى الاهتمام بالمصادقة.
الطبقة الثانية: توحيد بروتوكول البثّ SSE
هذه هي الطبقة الأكثر عرضة للتقليل من شأنها. فرغم أن الجميع يستخدم SSE، فإن حدود تقسيم الكتل لدى الشركات الأربع مختلفة تماماً. بعضها يقسّم حسب الـtoken، فيكون كل chunk توكن واحداً؛ وبعضها يجمع عشرات البايتات قبل أن يفرّغها؛ وبعضها يُدرج أسطر تعليقات نبضات في منتصف البثّ. النتيجة على الواجهة الأمامية أن العرض التدريجي يتذبذب بين السرعة والبطء، بل قد يتوقف تماماً. مسار التشخيص في الواقع ثابت جداً: أولاً سجّل في جانب البوابة طوابع زمنية لكل chunk مع فواصل الوصول، فإن كانت الفواصل منتظمة فالمشكلة في العرض الأمامي؛ وإن كانت الفواصل نفسها متذبذبة فالسبب هو اختلاف استراتيجية التقسيم لدى المزوّد. أسلوب التوحيد هو أن تحلّل البوابة السطور بشكل موحّد وتضيف علامة النهاية بشكل موحّد، بحيث يتعامل جانب الأعمال مع صيغة واحدة فقط. ما تفعله منصة SiCore TokenWorks في هذا الجانب هو مواءمة طبقة البروتوكول، فلا يحتاج الأعمال إلى كتابة محلّل منفصل لكل مزوّد.
الطبقة الثالثة: تعيين رموز الأخطاء
خطأ 429، و503، والمهلات، واعتراض مراجعة المحتوى — رموز الأخطاء ودلالاتها مختلفة لدى الشركات الأربع. بعضها يعيد 429 لكل من تحديد المعدل ونقص الرصيد، فلا يستطيع الأعمال التمييز بين ما يستوجب التراجع وما يستوجب التنبيه. على البوابة بناء جدول تعيين يصنّف أخطاء المزوّد ضمن فئات محدودة: قابل لإعادة المحاولة، غير قابل لإعادة المحاولة، يتطلب تدخلاً بشرياً. هذا الجدول هو ما يحدد مباشرة ما إذا كانت عاصفة إعادة المحاولة ستحدث. في انهيارنا السابق، كان السبب الجذري أننا لم نميّز بين القابل وغير القابل لإعادة المحاولة، فأعدنا محاولة أخطاء تحديد المعدل أيضاً.
الطبقة الرابعة: تجميع الاستهلاك
بعد الوصول الموحّد إلى نماذج متعددة، ستتفرّق الفواتير في أربع لوحات تحكم. الفوترة حسب الاستهلاك تبدو بسيطة، لكن عند التسوية الفعلية يكون تسعير input وoutput مختلفاً، وهناك خصومات عند إصابة الذاكرة المؤقتة.فقط عندما تجمّع البوابة استهلاك الـtoken بمعيار موحّد، يمكن توزيع التكاليف والتنبيه على الميزانية. في هذا الجانب، وبعد المقارنة، وجدنا أن مستوى تفصيل لوحة الاستهلاك في منصة SiCore TokenWorks كافٍ، على الأقل لا حاجة لتجميع Excel بأنفسنا.
تنبيه لتجنّب المشاكل: لا تستدعِ SDK المزوّد مباشرة داخل كود الأعمال. حتى لو كنت تتصل بمزوّد واحد فقط، يُنصح بالمرور عبر طبقة بوابة، وإلا فإن تغيير النموذج لاحقاً أو إضافة تحديد المعدل أو إجراء النشر التدريجي سيستلزم تعديل الأعمال. قيمة بوابة النماذج ليست في كثرة الميزات، بل في حجب التغيّرات خارج الأعمال.
مرفق قائمة تحقق قابلة لإعادة الاستخدام لاختيار البوابة، مرتبة حسب الأولوية: هل تتوافق مع OpenAI SDK، هل تدعم توحيد SSE، هل رموز الأخطاء قابلة للتصنيف، هل يُجمَّع الاستهلاك بمعيار موحّد، هل تدعم تحديد المعدل حسب المفتاح، هل تدعم التوجيه بين نماذج متعددة، هل السجلات قابلة للتتبع. البنود الأربعة الأولى هي الحد الأدنى، والثلاثة الأخيرة تحدد مدى إرهاق التشغيل والصيانة لاحقاً.
بجملة واحدة: انهيار 429 غالباً هو خطأ طبقة الوصول، فبتوحيد الطبقات الأربع — المصادقة والبثّ ورموز الأخطاء والاستهلاك — يستطيع الأعمال التركيز على الذكاء. وللتوسّع، يمكن الاطلاع على موضوعَي التوجيه بين النماذج المتعددة والفوترة بالـToken، فهما مرتبطان باختيار البوابة.
المؤلف: تشانغ سي يوان
تاريخ النشر: 6 نوفمبر 2026