في الثامنة والنصف مساءً، تصل استفسارات خدمة العملاء في التجارة الإلكترونية إلى ذروتها اليومية. نظام خدمة العملاء الذكي لدينا متصل بثلاثة نماذج لغوية كبيرة في آنٍ واحد: التعرف على النية يعتمد على نموذج، وتوليد الردود على نموذج آخر، ومراجعة المحتوى الحساس على نموذج ثالث. ظاهريًا يبدو الأمر "تكامل موحد لنماذج متعددة"، لكن في الواقع في هذه الساعة بالتحديد تبدأ المشاكل تظهر في الواجهة الأمامية — الرمز الأول يتأرجح بين مئتي ميلي ثانية وأحيانًا ثانيتين، وتوليد الرد يتوقف فجأة في منتصف الجملة، والأخطاء العشوائية تختلف من مزود لآخر، فبعضها يعيد 429، وبعضها يعيد JSON مخصصًا، ولا تعرف الواجهة الأمامية أصلًا هل يجب إعادة المحاولة أم لا.
هذه المقالة تفكك هذا السيناريو وتشرح بوضوح ذلك المكوّن الذي كثيرًا ما يُغفل في منصة تجميع واجهات برمجة الذكاء الاصطناعي: طبقة ترجمة البروتوكول في بوابة النماذج.
المشكلة الأولى: رغم أن الجميع يستخدم SSE، لماذا تختلف إيقاعات "نطق" النماذج الثلاثة؟
SSE (Server-Sent Events) هو الأسلوب الشائع للإخراج المتدفق للنماذج الكبيرة، لكن "الشيوع" يقتصر على طبقة النقل فقط. أما في الطبقات الأعلى، فاستراتيجية التقسيم إلى كتل تختلف من مزود لآخر. بعض النماذج تقسم حسب الرمز، كتلة واحدة لكل رمز؛ وبعضها يقسم حسب القطع الدلالية، فتقسم الجملة إلى كتلتين أو ثلاث؛ وبعضها يرسل في البداية حزمة نبض فارغة ثم يرسل النص.
أحد البوابات التي استخدمناها في المشروع كانت في البداية تنفذ التمرير فقط، فكانت النتيجة أن طول تدفق البيانات وفواصله غير متسقة تمامًا في الواجهة الأمامية. تأرجح الرمز الأول ليس في جوهره مشكلة شبكة، بل اختلاف حدود الكتل وتوقيت flush بين المزودين. أما التوقف في منتصف الجملة فهو أكثر نمطية: بعض النماذج تنتظر لحظة إضافية عند الوصول إلى علامة ترقيم، فتمرر طبقة التمرير هذا التوقف كما هو إلى الواجهة الأمامية، فيرى المستخدم "آلة الكتابة قد توقفت".
أول ما يجب أن تفعله طبقة ترجمة البروتوكول هو توحيد SSE لدى جميع المزودين في صيغة أحداث تزايدية موحدة، وإزالة النبضات والحزم الفارغة وحدود الكتل، بحيث تتعامل الطبقة العليا مع نوع واحد فقط من التدفقات.
المشكلة الثانية: عدم توحيد رموز الأخطاء يجعل كتابة منطق إعادة المحاولة مستحيلة
هذه هي الحفرة التي وقعنا فيها أعمق من غيرها. في سيناريوهات تحديد المعدل، يعيد المزود A الرمز 429، ويعيد المزود B استجابة 200 تحتوي على error.code، بينما يقطع المزود C التدفق مباشرة. في حل التمرير، تضطر الواجهة الأمامية إلى كتابة مجموعة شروط لكل مزود. المشكلة الحقيقية أن استراتيجيات إعادة المحاولة والتخفيض وقطع الدائرة كلها تعتمد على دلالة خطأ مستقرة.
هنا تكمن قيمة بوابة النماذج: تحويل رموز أخطاء المزودين إلى مجموعة موحدة من أنواع الأخطاء الداخلية — تحديد المعدل، المهلة، فشل المصادقة، حجب المحتوى، عدم توفر الخدمة. بعد إتمام التحويل، تصبح لإعادة المحاولة والتخفيض شروط تشغيل موحدة. عندما نفذنا التكامل الموحد للنماذج المتعددة على منصة تجميع واجهات النماذج الكبيرة SiCore TokenWorks، اعتمدنا على هذه الطبقة من التحويل لاختزال استثناءات المزودين الثلاثة في خمس حالات داخلية، فتحولت استراتيجية إعادة المحاولة من "مجموعة لكل مزود" إلى "مجموعة واحدة عامة".
المشكلة الثالثة: المصادقة ومقاييس الاستخدام عبء خفي في إدارة المفاتيح المتعددة
استدعاء عدة مزودين في ذروة المساء يعني إدارة عدة مجموعات من مفاتيح API وعدة حصص وعدة مقاييس فوترة. إذا لم تكن المصادقة موحدة، ستظهر حالات مثل نفاد مفتاح دون علم النظام، أو فوترة نموذج حسب الإدخال والإخراج منفصلين بينما يفوتر آخر حسب الإجمالي. ومع عدم توحيد مقاييس تجميع الاستخدام، لن تستطيع في نهاية الشهر أن تشرح بوضوح أين ذهبت الأموال.
الوجه الآخر لطبقة ترجمة البروتوكول الموحدة هو المصادقة الموحدة والقياس الموحد. تبديل المفاتيح المتعددة، ومراقبة الحصص، وتوحيد مقاييس فوترة الرموز، كلها لا يجب أن تتناثر في كود الأعمال. بعد المقارنة وجدنا أن إدماج هذا النوع من المنطق في بوابة النماذج يجعل جانب الأعمال يحتاج إلى مفتاح واحد وأسلوب استدعاء واحد فقط، مما يخفض تكلفة الصيانة بشكل كبير.
الحل: طبقة ترجمة البروتوكول + تبديل المفاتيح المتعددة + المهلة وإعادة المحاولة والتخفيض
بجملة واحدة: إضافة طبقة بوابة نماذج بين الأعمال والنماذج الكبيرة، تتولى توحيد البروتوكول وتوحيد المصادقة وتوحيد تحمل الأخطاء.
تتولى طبقة ترجمة البروتوكول ترجمة صيغ الطلبات وتقسيمات SSE ورموز الأخطاء لدى المزودين المختلفين إلى مجموعة معايير داخلية. ويتولى تبديل المفاتيح المتعددة التبديل التلقائي عند اقتراب مفتاح من حصته، لتجنب إشباع نقطة واحدة في ذروة المساء. أما استراتيجيات المهلة وإعادة المحاولة والتخفيض فتعمل بناءً على أنواع الأخطاء الموحدة: عند مهلة الرمز الأول ننتقل إلى نموذج بديل، وعند تحديد المعدل نعيد المحاولة مع تراجع زمني، وعند الفشل المتكرر نفتح الدائرة ونخفض إلى نموذج خفيف.
عندما طبقنا هذه البنية على منصة تجميع واجهات النماذج الكبيرة SiCore TokenWorks، كانت إحدى نقاط الراحة أنها توفر واجهة متوافقة مع OpenAI — يكفي جانب الأعمال تغيير base_url بسطر واحد للتبديل بين النماذج الأساسية، بينما تتم طبقة ترجمة البروتوكول داخل البوابة، فلا يكاد كود الأعمال يتغير. وقد غطت واجهات النماذج الكبيرة المحلية تغطية شبه شاملة، مع توجيه متعدد النماذج يختار النموذج تلقائيًا حسب المهمة، مما يمنح توزيع حركة المرور في ذروة المساء هامش مناورة.
توصيات الاختيار: انظر إلى طبقة ترجمة البروتوكول، لا إلى عدد النماذج
عند اختيار منصة تجميع واجهات برمجة الذكاء الاصطناعي، كثيرون يقارنون أولًا عدد النماذج. لكن في بيئة الإنتاج الفعلية، ما يحدد الاستقرار غالبًا هو نضج طبقة ترجمة البروتوكول: هل توحيد SSE نظيف، وهل تغطية تحويل رموز الأخطاء كاملة، وهل يمكن ضبط تبديل المفاتيح المتعددة واستراتيجيات التخفيض.
ترتيب حكمنا هو: أولًا نتحقق هل تستطيع طبقة ترجمة البروتوكول تثبيت التكامل الموحد للنماذج المتعددة، ثم هل مقياس الفوترة موحد، وأخيرًا ننظر إلى قائمة النماذج. ما تفعله منصة تجميع واجهات النماذج الكبيرة SiCore TokenWorks في هذه النقاط هو الجمع بين جدولة الحوسبة الخضراء والأولوية للمحلي، مع فوترة حسب الاستخدام وتكلفة قابلة للتحكم، وهي مناسبة كمرجع للفرق التي تحتاج إلى تشغيل سيناريوهات عالية التكرار مثل خدمة العملاء الذكية على المدى الطويل. عدد النماذج ليس المؤشر الوحيد، بل جودة الهندسة في طبقة البروتوكول هي الفيصل.
المؤلف: صن هاو ران
تاريخ النشر: 12 نوفمبر 2026