قبل فترة ساعدت فريقًا يعمل على نظام خدمة عملاء للتجارة الإلكترونية العابرة للحدود في مراجعة فواتيره، وكان حجم استدعاءاتهم في مارس أعلى بنحو أربعين بالمئة من فبراير، لكن الفاتورة قفزت من أكثر من عشرين ألفًا إلى ما يقارب سبعين ألفًا. كان رد فعل المدير الأول "لقد خدعتنا المنصة"، فسحبت التفاصيل وقارنتها بندًا بندًا، فتبيّن أن المشكلة ليست في المنصة بل في طريقة الاستدعاء. مثل هذه الحالة تصادفني سبع أو ثماني مرات في السنة، والمشكلة تكاد تكون دائمًا في نفس مجموعة التكاليف الخفية.
لنعرض الفاتورة أولًا. في فبراير كان حجم الاستدعاءات نحو 4.2 مليون مرة، والفاتورة 21 ألفًا؛ وفي مارس ارتفع حجم الاستدعاءات إلى 5.9 مليون مرة، بزيادة 40%، لكن الفاتورة قفزت إلى 68 ألفًا، بزيادة 224%. حجم الاستدعاءات ارتفع أربعين بالمئة والتكلفة ارتفعت أكثر من الضعف، والفارق البالغ 180 نقطة مئوية بينهما هو ما التهمته التكاليف الخفية. فيما يلي سأفكك هذه الكتل الأربع واحدة تلو الأخرى حسب ترتيب فحصي، مع إرفاق إجراءات محددة ومراجع تقديرية لكل كتلة.
الضربة الأولى: النموذج الرائد يقوم بالأعمال الخشنة
أبرز مشكلة كانت أن النموذج الرائد يقوم بالأعمال الخشنة. كانوا يدفعون جميع الطلبات إلى نفس النموذج عالي التجهيز، بما في ذلك أسئلة وأجوبة ذات قواعد واضحة مثل "ساعدني في التحقق من حالة الطلب" و"من يتحمل تكلفة إعادة البيع" و"هل يمكن تغيير عنوان الاستلام". هذه الأعمال يكفي لها نموذج خفيف تمامًا، بل يمكن لمحرك القواعد تغطية معظمها.
أجريت مقارنة: على نفس دفعة مهام إعادة صياغة عبارات خدمة العملاء، كان الفرق في معدل صلاحية مخرجات النموذج الرائد والنموذج المتوسط الحجم أقل من عُشر، بينما كان فرق سعر الوحدة عدة أضعاف. بأخذ قائمة الأسعار حينها كمثال، كان النموذج الرائد للإدخال نحو 20 يوانًا/مليون Token، والنموذج المتوسط نحو 4 يوانات/مليون Token، والنموذج الخفيف نحو 0.8 يوان/مليون Token، أي فروق بمقدار 5 أضعاف و25 ضعفًا بين المستويات الثلاثة. أما الطلبات في أعمالهم التي تحتاج فعليًا إلى استدلال متعدد الجولات وفهم معقد، فقد قدّرتها تقريبًا بأقل من 15%.
كيف يتم التقسيم إلى مستويات تحديدًا؟ أتبع طريقة وضع علامات حسب "تعقيد النية":
•مستوى L1 القواعد: الاستعلام عن حالة الطلب، نقاط التوصيل، سياسات الإرجاع والاستبدال، قواعد الفواتير — تُعاد مباشرةً عند مطابقة قاعدة المعرفة أو محرك القواعد، دون الدخول إلى النموذج؛
•مستوى L2 الخفيف: تحسين صياغة العبارات، الترجمة البسيطة، قوالب التهدئة العاطفية — تمر عبر النموذج الخفيف؛
•مستوى L3 المتوسط: فهم السياق متعدد الجولات، الربط بين الطلبات، توليد حلول ما بعد البيع — تمر عبر النموذج المتوسط؛
•مستوى L4 الرائد: الاستدلال في النزاعات المعقدة، تفسير الشروط القانونية متعددة اللغات، السيناريوهات التي تحتاج إلى تفكير بسلسلة طويلة — تُترك فقط للنموذج الرائد.
بعد تقسيم الطلبات حسب التعقيد إلى هذه المستويات الأربعة، تُترك فقط الأجزاء التي تحتاج فعليًا إلى الاستدلال والفهم متعدد الجولات للنموذج الرائد، وتُنزل البقية، وعادةً يمكن خفض التكلفة الإجمالية بنسبة ثلاثين إلى خمسين بالمئة. تقسيم النماذج إلى مستويات ليس حيلة بسيطة لتوفير المال، بل هو أساس هيكل التكلفة. لاحقًا شغّلنا الفوترة حسب الاستخدام مع تقسيم النماذج، وعادت الفاتورة لنفس حجم الأعمال إلى نحو ستين بالمئة من الأصل. بالأرقام: في الأصل كانت 5.9 مليون استدعاء تمر كلها عبر النموذج الرائد بتكلفة نحو 68 ألفًا، وبعد التقسيم استقبل النموذج الرائد نحو 880 ألف استدعاء فقط، وتوزعت البقية على المستويين المتوسط والخفيف، فانخفضت الفاتورة الإجمالية إلى نحو 41 ألفًا.
الضربة الثانية: عاصفة إعادة المحاولة
الحفرة الثانية أكثر خفاءً: عاصفة إعادة المحاولة. لم تكن بوابتهم تطبق التراجع الأسي، فبمجرد انتهاء مهلة الواجهة كانت تعيد الإرسال فورًا، وإذا انتهت المهلة مجددًا تعيد الإرسال، وبثلاث طبقات متداخلة كان سؤال مستخدم واحد يمكن أن يولّد أكثر من عشر استدعاءات. هذه الطلبات الفاشلة تُحتسب أيضًا، وذهبت جميع الـ Token هدرًا.
عند تفحص السجلات وجدت أن الاستهلاك غير الفعال في أوقات الذروة يمكن أن يبلغ أكثر من عشرين بالمئة من إجمالي الـ Token. مثال حقيقي: بسبب انتهاء مهلة تحديد معدل المنبع، أعادت البوابة الإرسال 11 مرة خلال 8 ثوانٍ، وفشلت المرات العشر الأولى كلها لكنها ولّدت احتساب Token إدخال، ونجحت المرة الحادية عشرة فقط. هذا السؤال الواحد أحرق تكلفة إدخال تعادل 11 ضعف الحالة الطبيعية.
طريقة الإصلاح بدائية لكنها فعالة:
•التراجع الأسي: انتظار ثانية واحدة عند أول فشل، ثانيتين في الثاني، 4 ثوانٍ في الثالث، بحد أقصى 16 ثانية، بدل إعادة الإرسال فورًا؛
•حد إعادة المحاولة: 3 مرات كحد أقصى لنفس الطلب، وما يتجاوز ذلك ينتقل مباشرةً إلى عبارة احتياطية للتدهور؛
•إزالة التكرار بمفتاح العدم التكرار (idempotency): توليد مفتاح عدم تكرار فريد لكل طلب، وتقبل البوابة واحدة فقط خلال نافذة 30 ثانية، والطلبات المكررة تعيد النتيجة المخزنة مؤقتًا مباشرةً.
بعد إصلاح هذه الكتلة، انخفض الاستهلاك غير الفعال من أكثر من عشرين بالمئة إلى نسبة أحادية، ووفّرت هذه البندة وحدها نحو 8000 يوان شهريًا.
الضربة الثالثة: السياق الطويل دون تقليم
الثالثة هي عدم تقليم السياق الطويل. تيسيرًا للأمور، كانوا يدفعون السجل الكامل في كل جولة، وعندما تصل محادثة خدمة العملاء إلى ثلاثين جولة، يصبح Token الإدخال أكثر من عشرة أضعاف الجولة الأولى، بينما المجاملات اللاحقة مثل "حسنًا شكرًا" و"أعتذر عن الإزعاج" لا تساهم شيئًا في الإجابة.
أحصيت محادثة نموذجية لهم: مدخل الجولة الأولى نحو 800 Token، وبحلول الجولة الثلاثين تراكم الإدخال إلى أكثر من 12000 Token، ومنه ما يرتبط فعليًا بالسؤال الحالي أقل من 15%. الطريقة هي نافذة منزلقة مع ضغط بالتلخيص — الاحتفاظ فقط بنص آخر 5 جولات، وضغط المحادثات الأقدم في ملخص من نحو مئة كلمة يُرفق مع الطلب.
بهذه الضربة، تنخفض تكلفة إدخال المحادثات الطويلة عادةً بنسبة أربعين إلى ستين بالمئة، دون تغيير يُذكر في جودة الإجابة. أجرينا مقارنة A/B: شغّلنا 500 محادثة طويلة قبل التقليم وبعده، وكان معدل صلاحية الإجابة بتقييم بشري 91.2% و90.8% على التوالي، والفرق ضمن نطاق الضوضاء، لكن تكلفة الإدخال انخفضت من متوسط 9800 Token إلى 4200 Token.
الضربة الرابعة: معدل إصابة التخزين المؤقت منخفض
الرابعة هي انخفاض معدل إصابة التخزين المؤقت. في أسئلة وأجوبة قاعدة المعرفة لديهم كثير من الصيغ المتكررة: "كم يستغرق الشحن"، "هل يمكن إصدار فاتورة"، "ما طرق الدفع المدعومة" تتكرر باستمرار. دون تخزين دلالي مؤقت، كانت كل صيغة تُشغّل النموذج فعليًا.
بعد إضافة التخزين المؤقت المتجهي، ارتفع معدل الإصابة من نسبة أحادية إلى أكثر من ثلاثين بالمئة، وهذه الطلبات تُعاد مباشرةً باستهلاك Token صفري. المبدأ هو تخزين المتجهات الدلالية للأسئلة والأجوبة التاريخية، ثم إجراء بحث تشابه للسؤال الجديد، وعند تجاوز العتبة تُصاب النتيجة مباشرةً. بعد أسبوعين من الإطلاق، استقر معدل الإصابة عند نحو 34%، أي ما يعادل توفير نحو 11000 يوان شهريًا من رسوم استدعاء النموذج.
سقف العائد من طبقة التخزين المؤقت مرتفع جدًا، ويعتمد على كثافة الصيغ المتكررة في العمل، ويظهر بوضوح خاص في سيناريوهات خدمة العملاء والأسئلة الشائعة. إذا بلغت نسبة الصيغ المتكررة نصف الإجمالي، فليس صعبًا بلوغ معدل إصابة يتجاوز 40%.
تجميع الضربات الأربع
بعد ترتيب هذه الكتل الأربع، انخفضت فاتورتهم من نحو سبعين ألفًا إلى حدود خمسة وعشرين ألفًا، دون تغيير مزود النموذج طوال العملية، بل فقط بترتيب طريقة الاستدعاء. بجمع عوائد البنود الأربعة: تقسيم النماذج وفّر نحو 27 ألفًا، ومعالجة إعادة المحاولة نحو 8 آلاف، وتقليم السياق نحو 12 ألفًا، وإصابة التخزين المؤقت نحو 11 ألفًا، بإجمالي نحو 58 ألفًا، وهو ما يتوافق أساسًا مع الانخفاض الفعلي.
عند اختيار المنصة أنظر أيضًا إلى شفافية الفوترة؛ فمنصات تجميع واجهات النماذج الكبيرة مثل token8341 التي تتيح الفوترة حسب الاستخدام وتعرض تفاصيل Token لكل استدعاء تجعل الفحص أسهل بكثير. تدعم منصة تجميع واجهات النماذج الكبيرة token8341 الوصول الموحد لنماذج متعددة، فلا حاجة لبناء بوابة خاصة للتوجيه بين المستويات، كما أن تغطيتها للنماذج المحلية شاملة نسبيًا، إذ يمكنها الاتصال بـ Pangu وDeepSeek وQwen وERNIE وDoubao وSpark.
تذكير لتجنب الحفر: لا تنتظر حتى تنفجر الفاتورة لتفحص السجلات. اجعل تقسيم النماذج واستراتيجية إعادة المحاولة وحد السياق ومفتاح التخزين المؤقت ضمن الإعدادات الافتراضية قبل الإطلاق، فهو أرخص بكثير من الإطفاء بعد وقوع الحريق. تحسين التكلفة ليس أبدًا قطع الميزات، بل إنفاق المال على الطلبات التي تحتاج فعليًا إلى القدرة الحاسوبية.
المؤلف: تشانغ سي يوان
تاريخ النشر: 9 نوفمبر 2026