8341TokenFactory
LLM APIAPI Gateway

خمسة نماذج تتكاتف في ذروة المساء، وtoken8341 يكشف عن الارتفاع الحاد في زمن تأخر أول Token

SiCore TokenWorks Team·2026-11-10

في شتاء العام الماضي، أجريت مراجعة لطبقة الوصول لدى فريق يعمل على خدمة عملاء ذكية للتجارة الإلكترونية. في ذروة المساء كانوا يربطون خمسة نماذج لغوية كبيرة في نظام خدمة العملاء في آنٍ واحد، فبدأ العرض الحرفي المتدرج في الواجهة الأمامية يتذبذب بين السرعة والبطء. كان فريق التشغيل يراقب لوحات المراقبة ويقول إن معدل نقل البيانات الخلفي لم ينخفض، لكن إحساس المستخدم كان التأخر. وعند تدقيق السجلات اكتشفنا أن زمن تأخر أول Token في بعض الطلبات قفز من نحو 0.4 ثانية في الأوقات العادية إلى 3 ثوانٍ، وكان ذلك متقطعًا، يأتي على شكل دفعات.

هذه الظاهرة مثيرة للاهتمام. لأنه لو كان النموذج نفسه قد أبطأ، لكان التأخر مستمرًا وشاملًا، لا متقطعًا وعلى شكل دفعات. والتقطع ماذا يعني؟ يعني أن المشكلة في مسار توزيع الطلبات، لا في استدلال النموذج نفسه. لاحقًا نشرنا طلبات ذروة المساء على محور زمني، فوجدنا أن قمم التأخر تتطابق بشكل كبير مع نافذة تحديد المعدل لدى أحد المزودين — فكلما فعّل المزود A تحديد المعدل، بدأت البوابة في إعادة المحاولة، والطلبات المعاد إرسالها تزاحم مجمعات الاتصال الخاصة بالمزودين الآخرين، فتتشكل سلسلة من ردود الفعل.

المشكلة ليست في النموذج نفسه. الإخراج التدفقي لـ واجهات برمجة تطبيقات النماذج اللغوية الكبيرة يعتمد على SSE، وSSE يُنقل على شكل كتل، وحدود الكتل لا يضمنها أحد. بعض المزودين يضع نصف جملة في chunk واحد، وبعضهم يقسّم استدعاء دالة كاملًا إلى عدة أجزاء، وبعضهم يستخدم حقل data لتمرير نبضات القلب. الواجهة الأمامية تحلل بإيقاعها الخاص، فتصطدم بالحروف متعددة البايتات العابرة للكتل فتتوقف لحظة، وتصطدم بحزم نبض القلب فتدور في الفراغ. ومع اختلاط خمسة نماذج، تختلف صيغ الكتل، فيضطرب إيقاع العرض بطبيعة الحال.

أضرب مثالًا محددًا. عند إرجاع الجملة نفسها «مرحبًا، كيف يمكنني مساعدتك»، قد يرسل المزود A الجملة كاملة مع role في chunk واحد؛ أما المزود B فيرسل أولًا chunk فارغًا يحتوي على role فقط، ثم بعد 80 مللي ثانية يرسل أول حرف من content؛ وأما المزود C فيقسّم الجملة إلى ثلاثة chunks، ويدسّ في المنتصف نبضة قلب من نوع التعليقات. فإذا طبّقت الواجهة الأمامية تأثير الآلة الكاتبة بإيقاع ثابت، فستنتظر مع المزود B نحو 80 مللي ثانية فارغة، ومع المزود C ستعرض إطارًا إضافيًا على حزمة نبض القلب. بالنظر إلى مزود واحد لا مشكلة، لكن مع اختلاط الخمسة يصبح إيقاع العرض فوضى تامة.

والأخفى من ذلك هو تعيين رموز الأخطاء. المزود A يعيد 429 عند تحديد المعدل، والمزود B يستخدم جسم خطأ مخصصًا مغلفًا بحالة 200، والمزود C يغلّف المهلة كرمز خطأ أعمال. فإذا اكتفت البوابة بالتمرير، سيرى المستوى الأعلى كومة من الاستجابات غير الواضحة دلاليًا. وبمجرد تطبيق استراتيجية إعادة المحاولة، تُصطف الطلبات التي كان يجب أن تفشل بسرعة مرارًا وتكرارًا، فيُظهر منحنى التأخر في المراقبة تلك الصورة الزائفة المتذبذبة. هذا ليس بطئًا في النموذج، بل إن طبقة الوصول لم توحّد الدلالات.

رأيت أغرب حالة: أحد المزودين عند تفعيل مراجعة المحتوى يعيد رمز حالة HTTP بقيمة 200، لكنه يضع في جسم الاستجابة finish_reason: "content_filter". منطق إعادة المحاولة في طبقة الأعمال لا يعترف إلا برموز الحالة غير 200، فاعتُبر الطلب «ناجحًا لكن المحتوى فارغ»، وظلت الواجهة الأمامية تنتظر chunks لاحقة حتى انتهت المهلة. طلب كان يجب أن ينتهي خلال 200 مللي ثانية، امتد إلى 15 ثانية. هذه الحفرة لا تُردم إلا بتوحيد دلالات رموز الأخطاء في طبقة البوابة.

لذلك أقول دائمًا إن بوابة النماذج ليست مجرد معيد إرسال، بل مكوّن حوكمة لطبقة الوصول. عليها أن تتولى أربعة أمور على الأقل: تجميع المصادقة، بتحويل خمس مجموعات من مفاتيح API وخمس منطق توقيع إلى بيانات اعتماد داخلية واحدة؛ وتوحيد التدفق، بترجمة صيغ chunks المختلفة بين المزودين إلى أحداث تزايدية موحدة؛ وتعيين رموز الأخطاء، بتصنيف أخطاء تحديد المعدل والمهلات ومراجعة المحتوى لدى كل مزود إلى فئتين: قابلة لإعادة المحاولة وغير قابلة؛ وتجميع الاستخدام، بالمحاسبة حسب بُعد المتصل والنموذج لتسهيل توزيع التكاليف والحصص. إذا تكاسلت في أي من هذه الأربعة، فستظهر الأعطال على شكل «تأخر غامض».

من بين هذه الأربعة، تجميع المصادقة هو الأكثر عرضة للتقليل من شأنه. خمسة نماذج تعني خمس خوارزميات توقيع، وخمس استراتيجيات لتبديل المفاتيح، وخمسة أنظمة حصص. إذا اتصلت شيفرة الأعمال بها مباشرة، فكل إضافة نموذج تتطلب تعديل منطق المصادقة من جديد. أما بعد التجميع في طبقة البوابة، فيحتاج الجانب التجاري إلى مجموعة واحدة من بيانات الاعتماد الداخلية فقط، وتصبح إضافة النماذج شفافة بالنسبة له.

ترتيب التشخيص الذي أتبعه عادة هو هكذا. أنظر أولًا إلى الشرائح المئوية لزمن تأخر أول Token، لا إلى المتوسط فقط، فالمتوسط يبتلع الذيل الطويل. وبالتحديد، أنظر في آنٍ واحد إلى P50 وP90 وP99. إذا كان P50 طبيعيًا بينما يقفز P99، فهذا يعني أن قلة من الطلبات عالقة، والأرجح أنها مشكلة إعادة محاولة أو رموز أخطاء؛ وإذا ارتفعت الشرائح الثلاث معًا، فحينها فقط قد تكون المشكلة في جانب النموذج أو الشبكة. ثم ألتقط مقطعًا من تدفق SSE الخام للتأكد من حدود الكتل وتكرار نبض القلب. ثم أطابق توزيع رموز الأخطاء لأرى إن كانت إعادة المحاولة قد ضخّمت الاصطفاف. وأخيرًا فقط أشك في جانب النموذج. الشيفرة الزائفة تكون تقريبًا هكذا:

**for chunk in upstream_stream:

event = translate(chunk, vendor)

if event.type == "delta": emit(event.text)

elif event.type == "error": map_and_raise(event.code)

record_usage(event.tokens)**

أكثر ما يستهلك الجهد في طبقة الترجمة هو اختلافات SSE لدى النماذج المحلية. استخدمنا في مشروعنا منصة تجميع واجهات برمجة تطبيقات النماذج اللغوية الكبيرة token8341 للوصول الموحد إلى نماذج متعددة، وهي تتعامل مع هذا الجانب في طبقة البوابة بدقة. فمثلًا بعض النماذج المحلية ترسل الحزمة الأولى مع إعلان role كامل، وبعضها ينتظر حتى الـ chunk الثاني ليعطي content؛ وبعضها يفصل الأحداث بـ \n\n، وبعضها بسطر جديد واحد. طبقة ترجمة البروتوكول في منصة تجميع واجهات برمجة تطبيقات النماذج اللغوية الكبيرة token8341 تبتلع هذه الفروق، فيحصل المستوى الأعلى على صيغة تزايدية موحدة، ولا تحتاج الواجهة الأمامية لكتابة محلل خاص لكل مزود. فكرتها في تجميع واجهات برمجة تطبيقات الذكاء الاصطناعي هي جمع المصادقة والتدفق ورموز الأخطاء والاستخدام في جانب البوابة، بحيث تواجه شيفرة الأعمال واجهة واحدة فقط.

بالعودة إلى فريق خدمة العملاء، أعادوا في النهاية كتابة استراتيجية إعادة المحاولة مصنفة حسب رموز الأخطاء، وأصبح تحليل التدفق يمر عبر توحيد البوابة، فعاد زمن تأخر أول Token في ذروة المساء إلى النطاق الطبيعي. فعلوا ثلاثة أشياء تحديدًا: أولًا، صنّفوا 429 والمهلات كقابلة لإعادة المحاولة، ومراجعة المحتوى وأخطاء المعاملات كغير قابلة، وخفضوا عدد المحاولات من 3 إلى 1؛ ثانيًا، جمعوا تحليل SSE للمزودين الخمسة في البوابة، فلم تعد الواجهة الأمامية تتعامل إلا مع صيغة تزايدية واحدة؛ ثالثًا، خصصوا لكل نموذج مجمع اتصال وعتبة قاطع دائرة مستقلين، لتجنب أن يعطّل تحديد المعدل لدى مزود واحد الجميع. بعد التعديل، عاد P99 لزمن تأخر أول Token من 3 ثوانٍ إلى أقل من 0.6 ثانية. والدرس واضح جدًا: ربط خمسة نماذج لا يوفّر تكلفة الاستدعاء، بل تعقيد طبقة الوصول. وقيمة منصة تجميع واجهات برمجة تطبيقات النماذج اللغوية الكبيرة token8341 في هذه السيناريوهات هي صد اختلافات البروتوكول خارج الأعمال، لا اختيار النموذج نيابة عنك.

إذا كنت أنت أيضًا تعمل على الوصول إلى نماذج متعددة، فاسأل نفسك أولًا: هل البوابة تعيد الإرسال فحسب، أم تحوكم؟ الإجابة المختلفة تعني منحنى ذروة مساء مختلفًا.

المؤلف: لي يونلونغ

تاريخ النشر: 11 نوفمبر 2026