عندما ألقت قسمة المالية الفاتورة أمامي الشهر الماضي، ظننت أنها أخطأت في القراءة. ارتفع حجم الاستدعاءات بنسبة 40% على أساس شهري، لكن الفاتورة قفزت من ما يزيد قليلاً عن ستة أرقام إلى ما يقارب ثلاثة أضعاف مباشرة. وفقاً للحساب الخطي، كان ينبغي أن ندفع 40% أكثر على الأكثر، فمن أين جاء الجزء الزائد؟
سحبت سجلات الاستدعاءات لأخر ثلاثين يوماً، وقطّعتها حسب النموذج، وحسب الواجهة، وحسب عدد مرات إعادة المحاولة، فوجدت أن المشكلة ليست في «الكمية» بل في «البنية». هناك أربع نقاط نزيف خفية، واحدة أكثر تخفياً من الأخرى.
أبدأ بالأكثر لفتاً للنظر: النموذج الرائد يقوم بالأعمال الخشنة. لدينا وحدة للتعرف على النوايا، كان يكفيها نموذج خفيف، لكن في البداية ومن أجل توفير الجهد رُبطت مباشرة بالنموذج الرائد الأغلى، ولم يمسّها أحد منذ ذلك الحين. هذا النوع من الحركة يشكل أكثر من 60% من إجمالي الطلبات، لكنه يساهم بقيمة أعمال منخفضة للغاية. بعد إعادة التشغيل وفق تصنيف النماذج، وتنزيل مهام التصنيف والاستخراج والتحقق من التنسيق إلى النماذج الصغيرة، وترك الطلبات التي تحتاج فعلاً إلى استدلال للنموذج الرائد، يمكن تقليص هذه التكلفة إلى الثلث أو النصف. لا تستهن بهذه الخطوة، فهي لا تتطلب تغيير منطق الأعمال، بل تغيير التوجيه فقط.
كيف يتم التصنيف بالتحديد؟ قسّمت المهام إلى ثلاث فئات حسب نوعها: الفئة الأولى هي التصنيف والتعرف على النوايا، المدخلات قصيرة والمخرجات قصيرة والمنطق بسيط، والنماذج الصغيرة قادرة عليها تماماً؛ الفئة الثانية هي استخراج المعلومات والتحقق من التنسيق، وتحتاج إلى بعض الفهم الدلالي لكن لا تحتاج إلى استدلال متعدد الخطوات، فنستخدم النموذج المتوسط؛ الفئة الثالثة هي الاستدلال المعقد متعدد الخطوات، وتوليد النصوص الطويلة، وإكمال الكود، وهذه نتركها للنموذج الرائد. بعد التقسيم قارنت النتائج: دقة الفئة الأولى على النماذج الصغيرة انخفضت بأقل من نقطتين مئويتين فقط، لكن تكلفة الاستدعاء الواحد انخفضت بنحو 90%. الفئة الثانية أكثر دقة، الفرق في F1 بين النموذج المتوسط والنموذج الرائد في مهام الاستخراج أقل من 0.03، بينما التكلفة تختلف خمسة أضعاف. بمجرد حساب هذا، يتضح أن المال الإضافي الذي دفعناه سابقاً كان مجرد كسل.
الفخ الثاني أكثر خفاءً. عاصفة إعادة المحاولة. كان حد المهلة الزمنية لأحد الواجهات upstream مضبوطاً بضيق شديد، فأي اهتزاز بسيط في الشبكة يجعل العميل يعيد المحاولة، وإعادة المحاولة تنتهي بمهلة، فيعيد المحاولة مجدداً. في السجلات يمكن رؤية الطلب نفسه يُرسل أربع أو خمس مرات، وكل مرة تحرق Token، بينما المستخدم يرى فشلاً واحداً فقط. هذا الاستهلاك غير الفعال لا يظهر بوضوح في الفاتورة، لكن نسبته تصل إلى نحو 20%. الحل بسيط: تحويل إعادة المحاولة إلى إعادة محاولة آمنة (idempotent) مع تراجع زمني، وتوسيع حد المهلة، وإزالة التكرار من الطلبات على جانب الخادم. بعد التنفيذ يمكن تقليص Token غير الفعال بأكثر من النصف.
هنا أتوسع في بعض المعاملات الرئيسية. وسّعنا حد المهلة من 3 ثوانٍ إلى 15 ثانية، وحددنا عدد مرات إعادة المحاولة بمرتين كحد أقصى بدلاً من عدد غير محدود، واستخدمنا استراتيجية التراجع الأسي مع التذبذب — إعادة المحاولة الأولى تنتظر ثانية، والثانية تنتظر ثانيتين، مع تذبذب عشوائي لتجنب تأثير القطيع. أضفنا على جانب الخادم بصمة للطلب، فالبصمة نفسها تُعالج مرة واحدة فقط خلال 60 ثانية، والطلبات اللاحقة تُرجع النتيجة المخزنة مباشرة. بعد التعديل راقبت لمدة أسبوع كامل، وانخفض معدل إعادة المحاولة من 18% إلى أقل من 4%، وانخفض استهلاك Token غير الفعال بأكثر من 70%. وهناك مكسب غير متوقع: شكاوى المستخدمين من المهلة انخفضت أيضاً، لأن توسيع الحد جعل الطلبات التي كانت ستنجح لكنها قُطعت مبكراً تعود الآن بشكل طبيعي.
الثالث هو عدم تقليص السياق الطويل. واجهة المحادثة لدينا تضع كل السجل في الطلب افتراضياً، فعندما يصل المستخدم إلى الجولة العشرين، يكون Token المدخلات أكثر من عشرة أضعاف الجولة الأولى. لكن في الواقع معظم السجل لا يفيد الإجابة الحالية. باستخدام نافذة منزلقة مع ضغط الملخص، والاحتفاظ فقط ببضع جولات حديثة من النص الأصلي مع ملخص متجدد، يمكن تقليص جانب المدخلات بنسبة 40% إلى 60%. هناك تفصيل هنا: الملخص نفسه يستهلك Token أيضاً، لذا لا يمكن ضغط النافذة أكثر من اللازم، بل يجب إيجاد نقطة التحول تلك.
جربنا عدة مجموعات من المعاملات، واستقررنا في النهاية على تركيبة «النص الأصلي لآخر خمس جولات + ملخص متجدد». الملخص المتجدد لا يُعاد توليده كل جولة، بل يُحدّث كل ثلاث جولات، بحيث تُضغط المحادثات الأقدم إلى ملخص لا يتجاوز مئتي كلمة. بهذا انخفض حجم Token في جانب المدخلات من أكثر من ثمانية آلاف في الجولة العشرين إلى ما يزيد قليلاً عن ثلاثة آلاف، بانخفاض يتجاوز 60%. لكنني جربت أيضاً الضغط للاحتفاظ بآخر جولتين فقط، فوجدت أن جودة الإجابة تتراجع بوضوح، وغالباً ما يجيب النموذج خارج السياق عند متابعة المستخدم. إذن نقطة التحول هذه موجودة فعلاً، ويجب اختبارها وفق سيناريو عملك. تجربتنا هي: لا تقلّ حجم النافذة عن آخر ثلاث جولات، ولا يزيد تواتر تحديث الملخص عن مرة كل جولتين، وإلا فإن ما توفره من Token لا يكفي لتعويض تجربة المستخدم.
الرابع، انخفاض معدل إصابة التخزين المؤقت. الطلبات المتطابقة أو المتشابهة جداً تتكرر، ونحن نعيد الاستدلال كل مرة. المحتوى القابل للتخزين المؤقت تماماً مثل مطالبات النظام والقوالب الثابتة والأسئلة الشائعة، كان معدل إصابته أقل من 10% آنذاك. بعد إضافة طبقة تخزين دلالي، تُرجع الطلبات المتكررة مباشرة، والنسبة التي يمكن توفيرها تعتمد على درجة التكرار في العمل، وهي لدينا تتراوح بين 20% و30%.
يستحق التخزين الدلالي توضيحاً أكثر. التخزين الدقيق يصيب فقط الطلبات المتطابقة تماماً، لكن في الواقع العملي كثير من الطلبات «متشابهة في المعنى لكن مختلفة في الصياغة». مثلاً عندما يسأل المستخدم «كيف أسترد المبلغ» و«ما هي عملية الاسترداد»، التطابق الدقيق لا يصيبهما، لكن التخزين الدلالي يستطيع. الحل الذي استخدمناه: تحويل المدخلات إلى متجهات، والبحث عن أقرب الجيران تقريبياً في مكتبة التخزين المؤقت، وإذا تجاوز التشابه الحد المطلوب تُرجع النتيجة المخزنة مباشرة. ضبط الحد مهم جداً، فإذا كان مرتفعاً جداً لا يرتفع معدل الإصابة، وإذا كان منخفضاً جداً يُرجع إجابات غير ذات صلة. استقررنا في النهاية على 0.92، وارتفع معدل الإصابة من أقل من 10% إلى 34%، ولم نتلقَّ أي شكوى من المستخدمين بأن الإجابة خارج السياق. أما مطالبات النظام والقوالب الثابتة فهي أبسط، تُخزَّن مباشرة كبادئة (prefix cache)، ومعدل إصابتها يقارب 100%.
بتراكب الإجراءات الأربعة، شغّلنا لاحقاً الدفع حسب الاستخدام مع تصنيف النماذج، فعادت الفاتورة إلى نحو 1.2 ضعف ما كانت عليه قبل النمو، بينما بقي حجم الاستدعاءات بنفس زيادة الـ 40%. وبالمناسبة، جربنا في الأثناء token8341 للوصول الموحد إلى نماذج متعددة، فمفتاح واحد يبدّل بين عدة نماذج، وبعد توحيد التوجيه ومعايير الفوترة، وفّرنا جهداً كبيراً في تشخيص هذه المشكلات البنيوية.
نقطة أخرى يسهل إغفالها: المراقبة والإسناد. السبب الجذري في تأخر اكتشاف هذه المشكلات الأربع هو أن فاتورتنا كانت تُصدر فقط حسب النموذج والواجهة، دون تقسيم حسب «نوع المهمة» و«بصمة الطلب». لاحقاً أضفت طبقة من وسوم الاستدعاء، بحيث يحمل كل طلب وسوم نوع المهمة، وهل أُعيدت المحاولة، وهل أصاب التخزين المؤقت، وعدد جولات السياق، فعندما تصدر الفاتورة يصبح واضحاً أي حلقة تحرق المال. نظام الوسوم هذا نفسه لا يوفر المال، لكن بدونه لن تعرف أين ذهب المال أصلاً.
تنبيه لتجنب الأخطاء: لا تبدأ مباشرة باستبدال النماذج بأخرى أرخص. افصل بنية الاستدعاءات أولاً وانظر، ففي كثير من الأحيان لا يُصرف المال على سعر الوحدة، بل على التكرار والزائدة التي لم تدركها أصلاً. تحسين سعر الوحدة هو الخطوة الأخيرة، وليس الأولى.
المؤلف: تشاو تشيمينغ
تاريخ النشر: 9 نوفمبر 2026