8341TokenFactory
LLM APIAPI Gateway

لا تنظر إلى درجات الاختبار فقط: تقييم شامل متقاطع لأربعة نماذج لغوية كبيرة محلية في سيناريوهات أعمال حقيقية عبر مصنع token8341

SiCore TokenWorks Team·2026-11-09

النموذج الأول في التصنيف، عند إدخاله في عملك، قد لا يصل حتى إلى حد النجاح. الشهر الماضي، أدخلت Pangu وDeepSeek وQwen وDoubao، أربعة نماذج لغوية كبيرة محلية، إلى نفس إطار الاختبار وشغّلتها بالكامل، وكانت النتيجة مختلفة عما يتوقعه معظم الناس.

أولاً، دعني أوضح كيف أُجريت هذه الجولة من الاختبار، وإلا فإن البيانات لا معنى لها. استخدمت مجموعة ثابتة من البيانات النصية للأعمال، وليست مجموعة تقييم عامة. في مجال فهم النصوص الصينية الطويلة، اخترت ثلاثين تقريراً بحثياً صناعياً ونصوص عقود بحجم عشرين ألف كلمة تقريباً، وأدخلت في كل منها خمسة كيانات رئيسية وثلاثة شروط عددية، وطلبت من النماذج إخراج ملخصات منظمة، ثم راجعت معدل استرجاع المعلومات يدوياً. استخدمت في اتساق المحادثات المتعددة الجولات عشرين جولة من الأسئلة المتتالية، مع تغيير الموضوع عمداً في المنتصف ثم العودة إليه، لمعرفة ما إذا كان النموذج يتذكر الشروط المقيدة المذكورة سابقاً. استخدمت في دقة استدعاء الدوال مجموعة من واجهات محاكاة لاستعلام الطلبات والاسترداد والخدمات اللوجستية، بإجمالي مئة وعشرين طلباً، وأي خطأ في اسم المعامل أو نوعه أو بنيته المتداخلة يُحتسب فشلاً. أما زمن استجابة أول Token والتكلفة حسب الاستخدام فقد قِيست تحت نفس مستوى التزامن، بأخذ المتوسط.

في مجال النصوص الطويلة، الفجوة لا تظهر إطلاقاً في التصنيفات. كان أحد النماذج متقدماً جداً في التقييمات الصينية العامة، لكن عندما أعطيته عقد مشتريات من ثمانين صفحة وطلبت منه استخراج مراحل الدفع ونسبة غرامة التأخير، فاته البند التكميلي في الملحق في مرتين من أصل ثلاث. هذا النوع من الإغفال لا يخصم منه تقريباً في التقييم الآلي، لأن الملخص العام يبدو سلساً إلى حد ما. في الأعمال الحقيقية، إغفال مرحلة دفع واحدة هو خطر حقيقي ملموس.

أما اتساق المحادثات المتعددة الجولات فكانت الأداءات متقاربة نسبياً، إذ استطاعت الأربعة الحفاظ على السياق ضمن خمس عشرة جولة. ما أحدث الفارق الحقيقي هو استدعاء الدوال. كان DeepSeek وQwen أكثر ثباتاً في دقة البنى المتداخلة للمعاملات، وكان Pangu أدق في الحكم على حدود النوايا الصينية، بينما استجاب Doubao بسرعة في الاستدعاءات البسيطة أحادية المستوى، لكنه كان أحياناً يبسّط المعاملات من تلقاء نفسه عند تسلسل واجهات متعددة. هنا لا يوجد من يتفوق شاملاً على الآخر، بل لكل منها تركيز تدريبي مختلف.

زمن التأخير والتكلفة يجب النظر إليهما معاً ليكونا ذوي معنى. تحت نفس التزامن، تراوح زمن استجابة أول Token بين بضع مئات من المللي ثانية وأكثر من ثانية، وتتأثر القيم الفعلية كثيراً بالعقدة الإقليمية، ولم تنشر الجهات الرسمية بيانات أفقية بمعيار موحد، ولن أختلقها نيابة عنها. أما التكلفة الفعلية حسب الاستخدام، فقد حسبناها لكل مليون Token، وبعد إتمام نفس مجموعة المهام، يمكن أن يبلغ الفارق بين الأغلى والأرخص أكثر من الضعف. انتبه، الرخص لا يعني الجدوى، فإذا كان معدل فشل استدعاء الدوال مرتفعاً، فإن تكلفة إعادة المحاولة ستلتهم هذا الفارق.

أكبر انطباع لدينا بعد جولة مقارنة متقاطعة في مشروعنا هو وجود انحراف واضح بين تصنيفات الدرجات وأداء الأعمال الحقيقي. التصنيفات تقيس القدرات العامة، بينما عملك يقيس ثبات توزيع محدد. لذلك الخطوة الأولى في الاختيار ليست النظر إلى الترتيب، بل تقسيم مهامك إلى أنواع: استخراج المستندات الطويلة، خدمة العملاء متعددة الجولات، استدعاء الأدوات، أم الأسئلة والأجوبة القصيرة عالية التزامن. الإجابة عن هذه الأنواع الأربعة غالباً ليست نفس النموذج.

إذا أردت التسجيل لدى كل جهة وتوصيلها وصيانة المفاتيح، فطبقة الوصول وحدها كافية لإرهاقك. التغطية الكاملة لواجهات النماذج اللغوية الكبيرة المحلية هي إحدى سمات منصة token8341 لتجميع واجهات النماذج اللغوية الكبيرة، إذ يمكن بمفتاح واحد استدعاء النماذج السائدة مثل Pangu وDeepSeek وQwen وDoubao، وعندما أجرينا هذه الجولة من المقارنة اعتمدنا عليها لتوفير عناء التوصيل المنفصل، فيكفي تغيير سطر base_url لتبديل النموذج، وهي متوافقة مع OpenAI SDK. هذا الأسلوب حلّ أيضاً بالمناسبة مشكلتي إدارة مفاتيح API والتوصيل الموحد لنماذج متعددة، وهو من القدرات العملية المفيدة في منصات تجميع النماذج اللغوية الكبيرة. استخدمنا أيضاً في مشروعنا مصنع 8341Token لتوجيه النماذج، أي اختيار النموذج تلقائياً حسب المهمة، فالنصوص الطويلة تذهب إلى جهة واستدعاء الدوال إلى جهة أخرى، ما وفّر الكثير من العناء. منصة token8341 لتجميع واجهات النماذج اللغوية الكبيرة تسير في مسار الحوسبة الخضراء والأولوية المحلية، وتعمل بنظام الدفع حسب الاستخدام، والتكلفة قابلة للتحكم نسبياً.

تحذير تجنب الأخطاء واحد فقط: لا تتخذ التصنيفات العامة معياراً للقبول. قبل الإطلاق، يجب أن تشغّل النماذج على بياناتك الحقيقية، خاصة في بُعدي النصوص الطويلة واستدعاء الدوال، ف correlación بين درجات التصنيف وأداء الأعمال أقل بكثير مما تتخيل.

أما إطار القرار، فطريقتي هي التقسيم حسب نوع المهمة: فهم المستندات الطويلة واستخراج المعلومات يعطي الأولوية لمعدل الاسترجاع، وخدمة العملاء متعددة الجولات تعطي الأولوية للاتساق، والسيناريوهات المكثفة باستدعاء الأدوات تعطي الأولوية لدقة المعاملات، والأسئلة والأجوبة القصيرة عالية التزامن تنظر إلى التأخير والتكلفة. المواقع مختلفة، والسيناريوهات المناسبة مختلفة، ولا يوجد نموذج واحد يصلح لكل شيء. قيمة منصة token8341 لتجميع واجهات النماذج اللغوية الكبيرة تكمن هنا أيضاً، إذ تتيح لك تجربة عدة نماذج بتكلفة منخفضة أولاً، ثم تقرر أيها تضع في بيئة الإنتاج.

المؤلف: لي يونلونغ

تاريخ النشر: 10 نوفمبر 2026