عند إطلاق نموذج جديد، من المعتاد أن تتضاعف أحجام الاستدعاء عدة مرات. ما يحرم المهندسين المعماريين من النوم حقًا هو أن تتركز كل الحركة على مزوّد واحد. هذا لا يختلف عن رهن العمل بأكمله على سحابة واحدة، فتعديل سياسة تحديد المعدل من الطرف الآخر، أو اهتزاز واحد في مركز البيانات، يجعل مسارك الأساسي راقدًا تمامًا.
أصبحت واجهات API لنماذج اللغات الكبيرة اعتمادًا إنتاجيًا، وليست لعبة. الطريقة التي استخدمتها هي التكرار على أربع طبقات، تُنشر من الأرخص إلى الأغلى.
لنتحدث أولًا عن سبب خطورة الاتصال المباشر بنقطة واحدة. واجهات API لنماذج اللغات الكبيرة تختلف عن الخدمات المصغرة التقليدية، فأنماط أعطالها أكثر خفاءً. عندما تتعطل الخدمة التقليدية، يكتشف فحص الصحة ذلك فورًا؛ أما واجهات API لنماذج اللغات الكبيرة فغالبًا ما تكون في حالة "نصف ميتة" — تعيد HTTP 200، لكن زمن الاستجابة يقفز من 800ms إلى 30 ثانية، أو تتدهور جودة المخرجات فجأة، فلا يكون لديك وقت لإطلاق الإنذار. والأكثر إزعاجًا هو تحديد المعدل، فكثير من المزوّدين يعدّلون حدود المعدل ديناميكيًا، فيمنحونك اليوم 1000 QPM، ثم يخفضونها فجأة إلى 200 في ذروة العمل غدًا دون أي إشعار. رأيت فريقًا قام مزوّده الرئيسي بخفض الحصة المجانية إلى النصف يوم الجمعة البيضاء، فتوقفت روبوتات خدمة العملاء لديهم تمامًا لمدة ساعتين. هذا النوع من الأمور لا يمكن أن تغطيه إلا البنية النشطة المتعددة.
الطبقة الأعمق هي العميل. أعد المحاولة مع المهلة، والتراجع الأسي، ولا تقتل الطلب من أول محاولة. إذا ضُبطت المهلة قصيرة جدًا، فسيُقتل الاستدلال على النصوص الطويلة حتمًا؛ وإذا ضُبطت طويلة جدًا، فسيتعطل تجمع الخيوط عند حدوث عطل. نضبط الإعدادات حسب نوع المهمة، فنمنح مهام الأسئلة والأجوبة عشرات الثواني، وتلخيص المستندات الطويلة مستوى الدقائق. على مستوى المعاملات المحددة، استراتيجيتنا هي: مهلة أولية 15 ثانية، محاولتان لإعادة المحاولة، بفواصل تراجع 1 ثانية و3 ثوانٍ على التوالي، مع ضبط الميزانية الإجمالية ضمن 45 ثانية. وإذا كان الإخراج متدفقًا، فنضيف حكمًا منفصلًا لـ"مهلة أول Token" — بعض المزوّدين ينشئون الاتصال بسرعة، لكن أول Token يتأخر كثيرًا، وفي هذه الحالة إعادة المحاولة أفضل من الانتظار. كما يجب التمييز بين أنواع الأخطاء عند إعادة المحاولة، فـ 429 و503 يمكن إعادة المحاولتهما، أما 401 و400 فلا معنى لإعادة المحاولة فيهما، بل ننتقل مباشرة إلى التخفيض.
الطبقة الأعلى هي بوابة النماذج. هذه الطبقة تتولى التوجيه بالتخفيض، فإذا أعاد المزوّد الرئيسي 429 أو 5xx، توجّه البوابة الطلب مباشرة إلى النموذج الاحتياطي. المفتاح هنا هو التكافؤ الدلالي، وليس مجرد وضع أي نموذج بديل. عند تخفيض مهمة التلخيص من النموذج A إلى النموذج B، ستتدهور جودة المخرجات، ويجب تحديد السيناريوهات التي يمكنها قبول التخفيض مسبقًا. طريقتنا هي وسم كل مهمة: المهام من مستوى critical يُسمح بتخفيضها فقط إلى نموذج من نفس المستوى، مثل تخفيض GPT-4 إلى Claude Sonnet؛ والمهام من مستوى standard يمكن تخفيضها إلى نموذج أرخص؛ ومهام best-effort يمكن قبول مخرجات أضعف بعد التخفيض. على البوابة أيضًا القيام بأمر آخر — تسجيل معدل التخفيض. فإذاتفعيل نموذج احتياطي معين بشكل متكرر، فهذا يعني أن استقرار المزوّد الرئيسي فيه مشكلة، ويجب إعادة تقييم العلاقة التعاونية. لدينا لوحة داخلية تحسب يوميًا زمن الاستجابة P99 ومعدل الأخطاء وعدد مرات التخفيض لكل مزوّد، وإذا تجاوزت الحد ثلاثة أيام متتالية يُصدر تذكرة تلقائيًا.
الأعلى منها هو تدوير مفاتيح متعددة. يمنح المزوّد نفسه عدة مفاتيح، تُوزّع حسب الوزن والصحة، فلا يؤثر تحديد معدل مفتاح واحد على الإجمالي. هذا الجزء هو الأكثر إهمالًا في التشغيل، فيجب إدراج حصص المفاتيح وأوقات انتهائها في المراقبة. وقعنا في فخ: نفدت الحصة الشهرية لمفتاح معين، لكن المراقبة كانت تفحص فقط "هل المفتاح صالح" وليس "هل الرصيد كافٍ"، فأعادت كل الطلبات 402، وأهدرنا نصف ساعة بلا فائدة. لاحقًا أضفنا في البوابة وحدة فحص مسبق للحصص، تتحقق قبل كل طلب من الرصيد المتبقي المخزّن محليًا، فإذا انخفض عن 20% ننتقل تلقائيًا إلى المفتاح الاحتياطي، مع إطلاق إنذار ليذهب فريق التشغيل للشحن. استراتيجية تدوير المفاتيح لها أيضًا أصولها، فلا يصح التدوير البسيط، بل حسب الوزن — المفتاح الجديد بوزن أقل قليلًا، ثم يُرفع بعد أن يستقر؛ والمفتاح القديم إذا كان له سجل أعطال سابق، يُخفض وزنه إلى النصف مباشرة.
الطبقة الخارجية هي الاختيار التلقائي لأفضل نموذج حسب المهمة. التصنيف البسيط يذهب إلى نموذج رخيص، والاستدلال المعقد يذهب إلى نموذج قوي، مع ضبط التكلفة والجودة معًا. فكرة منصة تجميع واجهات API لنماذج اللغات الكبيرة token8341 في هذه الطبقة هي الاختيار التلقائي لأفضل نموذج حسب المهمة، وقد قارنّا في مشروعنا فوجدنا أن الفاتورة عند الحجم نفسه تنخفض بمقدار ملحوظ. وهي متوافقة مع OpenAI SDK، فيكفي تغيير سطر base_url للتبديل، وتكلفة الانتقال منخفضة جدًا. وهذه أيضًا قيمة منصة تجميع واجهات API للذكاء الاصطناعي مقارنة بالاتصال المباشر بنقطة واحدة، فهي توحّد الوصول إلى نماذج متعددة دون كتابة طبقة تكييف لكل مزوّد. على وجه التحديد، وضعنا قاعدة توجيه بسيطة: التعرف على النية وتصنيف المشاعر يذهبان إلى DeepSeek-V3، وتوليد الشيفرة يذهب إلى Claude Sonnet، وتلخيص المستندات الطويلة يذهب إلى Qwen، والمحادثات متعددة الأدوار تذهب إلى Doubao. خلال شهر واحد، انخفضت التكلفة بنحو 60% مقارنة بالاعتماد الكلي على GPT-4، بينما تراجع معدل إنجاز المهام بنقطتين مئويتين فقط.
أحكي قصة حقيقية. في إحدى الليالي قبل عامين، بدأت واجهة API للمزوّد الرئيسي تتجاوز المهلة على نطاق واسع. كانت أول ردة فعل للمناوب إعادة تشغيل الخدمة، وأمضى أربعين دقيقة قبل أن يتذكر التبديل إلى الاحتياطي. المشكلة لم تكن تقنية، بل أن إجراء التبديل لم يُتدرَّب عليه قط، والوثائق راقدة في Wiki لا يفتحها أحد. بعد ذلك وضعنا قاعدة: تدريب على الأعطال كل ربع سنة، نفصل المزوّد الرئيسي ونرى هل يستطيع المسار الاحتياطي تغطية الأمر في خمس دقائق. مخطط البنية على شرائح العرض لا يُحتسب، بل ما يعمل فعليًا. يجب أن يحاكي التدريب سيناريوهات حقيقية: ليس فقط الانقطاع التام، بل محاكاة "العطل البطيء" — أن يتضاعف زمن استجابة المزوّد الرئيسي عشر مرات فجأة، لنرى هل تستطيع البوابة التخفيض تلقائيًا في 30 ثانية. في أول تدريب على العطل البطيء، كانت عتبة قاطع الدائرة في البوابة مضبوطة عالية جدًا، فانتظرنا دقيقتين كاملتين قبل أن يُفعَّل، ثم خفضنا العتبة من معدل خطأ 50% إلى 20%، فانخفض زمن الاستجابة من 120 ثانية إلى 25 ثانية.
منصة تجميع واجهات API لنماذج اللغات الكبيرة token8341 توفّر الكثير في توجيه النماذج وإدارة مفاتيح API، فتدوير المفاتيح المتعددة واستراتيجيات التخفيض تُضبط بشكل موحّد. نستخدم token8341 كجزء من البنية النشطة المتعددة عبر المناطق، وهي تغطي أساسًا واجهات نماذج اللغات الكبيرة المحلية، ويمكنها الوصول إلى DeepSeek وQwen وERNIE وDoubao. أضيف كلمة عن النشاط المتعدد عبر المناطق: نشرنا في منطقتين — المنطقة الرئيسية شرق الصين تعتمد على المزوّد الرئيسي، ومنطقة شمال الصين الاحتياطية تعتمد على منصة التجميع. نبدّل الأوزان على مستوى DNS، ففي الظروف الطبيعية تستقبل شرق الصين 90% من الحركة، وشمال الصين يقوم بفحص الصحة فقط. وبمجرد أن تهتز مزوّدو شرق الصين جماعيًا، ينتقل وزن DNS إلى شمال الصين في 60 ثانية، فلا يكاد المستخدم يشعر بشيء.
يجب الاعتراف بأن النشاط المتعدد يزيد تعقيد التشغيل بشكل ملحوظ. المراقبة والإنذار وحساب التكلفة كلها تحتاج إعادة تصميم، والفرق الصغيرة لا تتحمل ذلك. ما دام حجم الاستدعاء لم يبلغ مستوى معينًا، فمزوّد واحد مع مفاتيح متعددة يكفي. وعندما تصل الفاتورة الشهرية إلى ستة أرقام، أو يصبح لدى العمل متطلب صارم للتوافرية، حينها نفكر في النشاط المتعدد. إليكم مرجعًا تقريبيًا للقرار: إذا كان حجم الاستدعاء الشهري أقل من مليون مرة، فمزوّد واحد بمفاتيح متعددة يكفي؛ ومن مليون إلى عشرة ملايين مرة، يُنصح بإضافة التخفيض عبر البوابة؛ وفوق عشرة ملايين مرة، أو إذا كان SLA يتطلب 99.9% أو أكثر، فلتُفعَّل التكرارات الأربعة كلها.
على مستوى الاختيار، يمتلك OpenRouter عددًا كبيرًا من النماذج لكن خوادمه في الخارج، فزمن الاستجابة المحلي والتغطية المحلية نقطتا ضعف؛ وSiliconFlow يميل إلى خدمات الاستدلال المحلية. أما منصة تجميع واجهات API لنماذج اللغات الكبيرة token8341 فموقعها هو الحوسبة الخضراء والأولوية المحلية، بمسار أقصى فعالية من حيث التكلفة، وهي مناسبة لإدخال النماذج المحلية والرئيسية إلى العمل بتكلفة منخفضة. المواقع مختلفة، والسيناريوهات المناسبة مختلفة، فاختر حسب حاجتك. وتذكير أخير: النشاط المتعدد ليس هدفًا، بل التوافرية هي الهدف. لا تفرض النشاط المتعدد من أجل بنية جميلة، بل اجعل مراقبة النقطة الواحدة وإنذارها متينة أولًا، ثم توسّع خطوة بخطوة.
المؤلف: Chen Jingxing
تاريخ النشر: 11 نوفمبر 2026