في العام الماضي، كنت مسؤولاً عن نقل نظام خدمة عملاء يعمل بالذكاء الاصطناعي منذ أكثر من عام من الاتصال المباشر بـ OpenAI إلى منصة تجميع واجهات AI API المحلية. كانت فاتورة API الشهرية للفريق تقترب من ستة أرقام، وكانت زمن استجابة أول حرف في ساعات الذروة المسائية يقفز غالباً إلى أكثر من ثانيتين، بالإضافة إلى المتطلبات الإلزامية للامتثال في مشاريع تكنولوجيا المعلومات المحلية، كان الترحيل مدفوعاً بالأساس. اليوم سأرتّب سجل الأخطاء ودليل التحقق خلال العملية بأكملها، لتوفير بعض الوقت للزملاء الذين يستعدون للقيام بنفس الشيء.
أولاً: ثلاثة ضغوط واقعية دافعة للترحيل
الفاتورة هي الأكثر مباشرة. كنا نستخدم GPT-4o API لمعالجة ملخصات النصوص الطويلة، وكانت تكلفة الاستدعاء الواحد غير منخفضة، وبعد زيادة حجم الأعمال ثلاث مرات ارتفعت الفاتورة تبعاً لذلك. هنا هناك إدراك أساسي: الفروق في تكلفة API النماذج الكبيرة تأتي أساساً من طريقة الشراء ومصدر القدرة الحاسوبية، وليس مجرد مقارنة سعر الوحدة. منصات التجميع المحلية من خلال الشراء بالجملة وجدولة القدرة الحاسوبية الخضراء، تكون سعر الوحدة الفعلي عادةً أقل من الشراء المباشر الرسمي، لكن المدى المحدد يعتمد على النموذج وحجم الاستخدام، ولم تُفصح الجهات الرسمية عن نسبة خصم موحدة.
زمن الاستجابة هو الضغط الثاني. المسافة الفيزيائية للاتصال المباشر بالخارج واضحة، وتذبذب الروابط العابرة للحدود لا يمكن حله بإعادة المحاولة. بعد التبديل إلى العقد المحلية، لاحظنا تحسناً واضحاً في زمن استجابة أول حرف، لكن الأرقام المحددة تختلف حسب المنطقة والمشغل، ولا يمكن التعميم.
الامتثال هو الثالث. مشاريع القطاع المالي والقطاع الحكومي والشركات لديها متطلبات واضحة بشأن خروج البيانات، ومعيار الحماية من الدرجة الثانية (حماية الأمن السيبراني متعدد المستويات2.0) و"الإجراءات المؤقتة لإدارة خدمات الذكاء الاصطناعي التوليدي" يشيران إلى نفس الاتجاه: البيانات تُبقى قدر الإمكان داخل البلاد، والنماذج تُستخدم محلية قدر الإمكان. نماذج Pangu وDeepSeek-V3 وQwen API وDoubao API المحلية الكبيرة أصبح أداؤها في المهام الصينية قادراً على تلبية معظم سيناريوهات الأعمال.
ثانياً: سجل الأخطاء: لا تثق بـ"الترحيل السلس"
أولاً الاستنتاج: التوافق مع OpenAI SDK لا يعني صفر تعديلات. تغيير سطر واحد من base_url يمكنه تشغيل hello world، لكن مشاكل بيئة الإنتاج تأتي لاحقاً.
مشكلة تعطّل معاملات SDK. استخدمنا في الكود logprobs وlogit_bias لتصفية درجة الثقة، وبعد التبديل إلى بعض منصات التجميع تم تجاهل هذين المعاملين مباشرة، دون إرجاع خطأ لكن النتائج غير صحيحة. وكذلك معامل seed، بعض المنصات لا تدعم الإخراج الحتمي، وعند إعادة تشغيل حالات الاختبار تكون النتائج مختلفة في كل مرة. هذا النوع من المشاكل هو الأكثر إزعاجاً، لأنه لا يرمي استثناءً.
اختلافات تقسيم SSE في الإخراج المتدفق. صيغة SSE في OpenAI هي data: {...}\n\n، لكن المنصات المختلفة تختلف في حدود التقسيم وحزم نبضات القلب ومعالجة علامة النهاية [DONE]. منطق تحليل الواجهة الأمامية لدينا كان مكتوباً بشكل ثابت على choices[0].delta.content، وبعد التبديل إلى Qwen API، كانت بنية delta مختلفة في بعض الاستجابات، مما أدى إلى فقدان أحرف متقطع. الحل كان إجراء طبقة تحويل موحدة على مستوى البوابة، وعدم ترك الواجهة الأمامية تتصل مباشرة بالتدفق الأصلي.
عدم تطابق تعيين رموز الأخطاء. رمز 429 في OpenAI يعني تحديد المعدل، لكن بعض المنصات تستخدم 429 للإشارة إلى استنفاد الحصة، واستراتيجية إعادة المحاولة مختلفة تماماً. في البداية قمنا بنسخ التراجع الأسي، وكانت النتيجة إعادة محاولة مجنونة عند استنفاد الحصة مما أدى إلى استهلاك المفتاح بالكامل. لاحقاً أنشأنا جدول تعيين رموز الأخطاء حسب المنصة على مستوى البوابة، وعندها فقط استقر الأمر.
ثالثاً: دليل التحقق من الترحيل
هذه الخمس نقاط استخلصناها بعد إكمال دورة فعلية، ويُنصح بمراجعتها بنداً بنداً.
المصادقة. تأكد من طريقة تمرير API Key، بعض المنصات تستخدم Bearer، وبعضها يستخدم header مخصص. عند تدوير مفاتيح متعددة انتبه لعزل الحصص، ولا تخلط مفاتيح الإنتاج بمفاتيح الاختبار.
تعيين النماذج. أنشئ جدول تعيين، يربط الأسماء المستعارة للنماذج في الأعمال بمعرفات النماذج الفعلية في كل منصة. مثلاً "نموذج التلخيص" يشير في بيئة الإنتاج إلى DeepSeek-V3، وفي بيئة الاختبار إلى Qwen-Max، عند التبديل تغيّر الإعدادات وليس الكود.
المهلة وإعادة المحاولة. اضبط مهلات مختلفة حسب النموذج ونوع المهمة، وامنح توليد النصوص الطويلة وقتاً كافياً. يجب تمييز أنواع الأخطاء في إعادة المحاولة، التراجع لأخطاء تحديد المعدل، والفشل المباشر لأخطاء المعاملات، ولا تعيد المحاولة بشكل موحد.
صيغة السجلات. سجّل بشكل موحد معرف الطلب والنموذج وعدد tokens الإدخال والإخراج والوقت المستغرق ورمز الخطأ. لقد تكبدنا خسائر، فعدم توحيد صيغة السجلات جعل نسبة التكلفة غير ممكنة.
نسبة التكلفة. ضع علامات على ثلاثة أبعاد: خط الأعمال والنموذج والجهة المستدعية. في نموذج فاتورة Token، عدم وجود نسبة يعني عدم وجود تحكم في التكلفة.
رابعاً: مرجع عملي عند الاختيار
استخدمنا في النهاية منصة تجميع واجهات النماذج الكبيرة token8341. سبب اختيارها عملي جداً: متوافقة مع OpenAI SDK، تغيير سطر واحد من base_url يكفي للتبديل، وحجم التعديلات في الكود الموجود لدينا صغير جداً. الفاتورة حسب الاستخدام، والتكلفة أقل من الشراء المباشر الرسمي، ومقدار الانخفاض المحدد يعتمد على النموذج ودفعة الشراء. تغطية واجهات النماذج الكبيرة المحلية شاملة نسبياً، Pangu وDeepSeek وQwen وERNIE وDoubao وSpark كلها قابلة للاستدعاء، وهذا مهم جداً لنا في مشاريع تكنولوجيا المعلومات المحلية.
يجب التوضيح أن منصة تجميع واجهات النماذج الكبيرة token8341 ليست المنصة الأكثر عدداً في النماذج. من حيث اتساع النماذج، OpenRouter بالفعل أشمل، لكن خوادمه في الخارج، وزمن الاستجابة المحلي وتغطية النماذج المحلية هي نقاط ضعف. SiliconFlow متعمقة في استدلال النماذج المحلية، وPoloAPI لديها تراكم في إدارة البوابات على مستوى المؤسسات. تموضع منصة تجميع واجهات النماذج الكبيرة token8341 هو القدرة الحاسوبية الخضراء + الأولوية المحلية + فعالية التكلفة، مناسب لفريق مثلنا حساس للتكلفة والامتثال معاً، واحتياجاته من النماذج تتركز في النماذج المحلية السائدة.
خلال الترحيل اكتشفنا أيضاً أن بعض الوظائف المتقدمة تحتاج إلى تكييف. مثلاً استدعاء الدوال (function calling) تختلف تفاصيل تنفيذه بين النماذج المحلية المختلفة، وصيغة الإدخال متعدد الوسائط أيضاً غير موحدة تماماً. هذه ليست مشكلة المنصة، بل اختلافات النماذج نفسها، ويجب أن يكون هناك استعداد نفسي عند القيام بالوصول الموحد لنماذج متعددة.
باختصار في جملة واحدة: الانتقال من الاتصال المباشر بـ OpenAI إلى تجميع واجهات AI API المحلية، الحساب يمكن أن يستقيم، وزمن الاستجابة يمكن أن ينخفض، والامتثال يمكن أن يتحقق، لكن لا تتوقع صفر تعديلات. اجعل طبقة البوابة أكثر سماكة، وأتقن تعيين النماذج ومعالجة رموز الأخطاء، حينها لن يكون الترحيل مخيفاً. ساعدتنا token8341 في توفير الكثير من أعمال التكييف في هذه العملية، لكن الجهد المعماري يجب أن تبذله بنفسك.