چندی پیش به تیمی کمک میکردم که در زمینه سیستم پشتیبانی مشتریان برای تجارت الکترونیک فرامرزی فعالیت میکرد، تا صورتحسابشان را بررسی کنیم. حجم فراخوانی آنها در مارس نسبت به فوریه حدود چهل درصد افزایش یافته بود، اما صورتحساب از بیش از بیست هزار به نزدیک هفتاد هزار جهش کرده بود. اولین واکنش رئیس این بود که "پلتفرم ما را فریب داده"، من جزئیات را بیرون کشیدم و مورد به مورد مقایسه کردم؛ مشکل از پلتفرم نبود، از شیوه فراخوانی بود. چنین مواردی سالی هفت-هشت بار به من برمیخورد و مشکل تقریباً همیشه از همان دسته هزینههای پنهان ناشی میشود.
اول بگذارید صورتحساب را باز کنیم. در فوریه حجم فراخوانی حدود ۴.۲ میلیون بار بود و صورتحساب ۲۱ هزار؛ در مارس حجم فراخوانی به ۵.۹ میلیون بار رسید، رشدی ۴۰ درصدی، اما صورتحساب به ۶۸ هزار پرید، رشدی ۲۲۴ درصدی. حجم فراخوانی چهل درصد رشد کرده و هزینه بیش از دو برابر شده؛ آن ۱۸۰ واحد درصد اختلاف در میانه، همان پولی است که هزینههای پنهان خوردهاند. در ادامه به ترتیب بررسیام، این چهار بخش را یکییکی باز میکنم و برای هر بخش روش مشخص و مرجع مقیاس را ضمیمه میکنم.
ضربه اول: مدل پرچمدار مشغول کارهای ساده است
بارزترین مشکل این است که مدل پرچمدار مشغول کارهای ساده است. آنها همه درخواستها را به یک مدل پیکربندیبالا میفرستادند، از جمله پرسشهای پاسخوگوی با قواعد مشخص مانند "وضعیت سفارش من را بررسی کن"، "هزینه ارسال مرجوعی با کیست"، "آیا میتوان آدرس دریافت را تغییر داد". این نوع کارها با مدل سبک کاملاً کافی است و حتی موتور قواعد میتواند بخش اعظم آن را پوشش دهد.
من مقایسهای انجام دادم: برای همان دسته وظایف بازنویسی گفتار پشتیبانی مشتری، نرخ قابلاستفاده بودن خروجی مدل پرچمدار و مدل با اندازه متوسط کمتر از ده درصد اختلاف داشت، اما قیمت واحد چندین برابر تفاوت داشت. به عنوان مثال با تعرفه آن زمان، ورودی مدل پرچمدار حدود ۲۰ یوان به ازای هر میلیون Token، مدل متوسط حدود ۴ یوان به ازای هر میلیون Token و مدل سبک حدود ۰.۸ یوان به ازای هر میلیون Token بود؛ بین این سه لایه فاصله ۵ برابری و ۲۵ برابری وجود دارد. در حالی که در کسبوکار آنها درخواستهایی که واقعاً به استدلال چندمرحلهای و درک پیچیده نیاز دارند، با محاسبه سرانگشتی من کمتر از ۱۵ درصد است.
دقیقاً چگونه لایهبندی کنیم؟ روش من برچسبگذاری بر اساس "پیچیدگی نیت" است:
•لایه L1 قواعد: استعلام وضعیت سفارش، گرههای لجستیک، سیاست مرجوعی و تعویض، قواعد فاکتور — در صورت تطابق با پایگاه دانش یا موتور قواعد مستقیماً بازگردانده میشود و وارد مدل نمیشود؛
•لایه L2 سبک: ویرایش گفتار، ترجمه ساده، قالبهای آرامسازی احساسات — از مدل سبک استفاده میشود؛
•لایه L3 متوسط: درک زمینه چندنوبتی، ارتباط بین سفارشها، تولید راهحل پس از فروش — از مدل متوسط استفاده میشود؛
•لایه L4 پرچمدار: استدلال در اختلافات پیچیده، تفسیر بندهای حقوقی چندزبانه، سناریوهایی که به زنجیره تفکر طولانی نیاز دارند — تنها اینها برای پرچمدار باقی میمانند.
پس از تقسیم درخواستها بر اساس پیچیدگی به این چهار لایه، تنها بخشی که واقعاً به استدلال و درک چندنوبتی نیاز دارد برای پرچمدار باقی میماند و بقیه پایینتر میروند؛ هزینه کلی معمولاً میتواند سی تا پنجاه درصد کاهش یابد. لایهبندی مدل یک ترفند کوچک برای صرفهجویی نیست؛ پایه ساختار هزینه است. ما بعداً با صورتحساب بر اساس مصرف بهعلاوه لایهبندی مدل یک دور اجرا کردیم و با همان حجم کسبوکار، صورتحساب به حدود شصت درصد حالت قبل برگشت. از نظر عددی: در ابتدا ۵.۹ میلیون فراخوانی همه از پرچمدار میگذشت و حدود ۶۸ هزار بود؛ پس از لایهبندی، پرچمدار تنها حدود ۸۸۰ هزار فراخوانی را پذیرفت و بقیه به لایههای متوسط و سبک هدایت شدند و کل صورتحساب به حدود ۴۱ هزار کاهش یافت.
ضربه دوم: طوفان تلاش مجدد
مشکل دوم پنهانتر است: طوفان تلاش مجدد. درگاه آنها عقبنشینی نداشت؛ به محض timeout رابط، بلافاصله دوباره ارسال میشد، ارسال مجدد باز هم timeout میشد و دوباره ارسال، تا سه لایه تودرتو یک پرسش کاربر میتوانست بیش از ده بار فراخوانی ایجاد کند. این درخواستهای ناموفق همچنان صورتحساب میشوند و Tokenها همه هدر میروند.
با بررسی لاگها متوجه شدم که در ساعات اوج، مصرف بیفایده میتواند بیش از بیست درصد کل Token را تشکیل دهد. یک مثال واقعی: یک پرسش کاربر به دلیل timeout محدودیت نرخ بالادست، درگاه در ۸ ثانیه ۱۱ بار ارسال مجدد کرد؛ ۱۰ بار اول همه ناموفق بودند اما همگی Token ورودی صورتحساب شدند و فقط بار یازدهم موفق شد. همین یک مسئله ۱۱ برابر هزینه ورودی حالت عادی را سوزاند.
روش اصلاح خیلی ساده است، اما مؤثر:
•عقبنشینی نمایی: اولین شکست ۱ ثانیه صبر، دوم ۲ ثانیه، سوم ۴ ثانیه و حداکثر تا ۱۶ ثانیه عقبنشینی، نه ارسال مجدد فوری؛
•سقف تلاش مجدد: هر درخواست حداکثر ۳ بار تلاش مجدد، بیش از آن مستقیماً به گفتار پشتیبان تنزل مییابد؛
•حذف تکراری با کلید idempotent: برای هر درخواست یک کلید idempotent یکتا تولید میشود، درگاه در پنجره ۳۰ ثانیهای فقط یک بار آن را میپذیرد و درخواستهای تکراری مستقیماً نتیجه کششده را برمیگردانند.
پس از اصلاح این بخش، مصرف بیفایده از بیش از بیست درصد به درصد تکرقمی کاهش یافت و تنها همین یک مورد ماهانه حدود ۸۰۰۰ یوان صرفهجویی کرد.
ضربه سوم: زمینه طولانی بدون هرس
سوم، زمینه طولانی بدون هرس است. آنها برای راحتی، در هر نوبت گفتگو کل تاریخچه را وارد میکردند؛ یک جلسه پشتیبانی مشتری که به سی نوبت میرسید، Token ورودی بیش از ده برابر نوبت اول بود، اما آن تعارفهای بعدی، "باشه ممنون" و "زحمت کشیدید" هیچ کمکی به پاسخ نمیکردند.
من یک جلسه معمول آنها را آمارگیری کردم: ورودی نوبت اول حدود ۸۰۰ Token، تا نوبت ۳۰ ورودی به بیش از ۱۲۰۰۰ Token انباشته شده بود که از آن، کمتر از ۱۵ درصد واقعاً به مسئله فعلی مربوط بود. روش، پنجره لغزان بهعلاوه فشردهسازی با خلاصه است — فقط متن اصلی ۵ نوبت اخیر نگه داشته میشود و گفتگوهای قدیمیتر به یک خلاصه صد و چند کلمهای فشرده شده و همراه درخواست ارسال میشوند.
با این ضربه، هزینه ورودی جلسات طولانی معمولاً چهل تا شصت درصد کاهش مییابد و کیفیت پاسخ تقریباً تغییری نمیکند. ما مقایسه A/B انجام دادیم: قبل و بعد از هرس، هر بار ۵۰۰ جلسه طولانی اجرا شد و ارزیابی انسانی نرخ قابلاستفاده بودن پاسخ به ترتیب ۹۱.۲٪ و ۹۰.۸٪ بود؛ تفاوت در محدوده نویز است، اما هزینه ورودی از میانگین ۹۸۰۰ Token به ۴۲۰۰ Token کاهش یافت.
ضربه چهارم: نرخ اصابت کش پایین
چهارم، نرخ اصابت کش پایین است. در پاسخوگوی پایگاه دانش آنها پرسشهای تکراری زیادی وجود داشت: "چقدر طول میکشد ارسال شود"، "میتوان فاکتور گرفت"، "چه روشهای پرداختی پشتیبانی میشود" بارها و بارها تکرار میشد. بدون کش معنایی، هر پرسش واقعاً یک بار مدل را اجرا میکرد.
پس از افزودن کش برداری، نرخ اصابت از درصد تکرقمی به بیش از سی درصد رسید و این بخش از درخواستها مستقیماً بازگردانده شدند، با مصرف صفر Token. اصل کار این است که بردار معنایی پرسشوپاسخهای تاریخی ذخیره میشود، پرسش جدید ابتدا جستجوی شباهت انجام میدهد و در صورت عبور از آستانه مستقیماً اصابت میکند. آمار آنها دو هفته پس از راهاندازی نشان داد که نرخ اصابت کش به طور پایدار حدود ۳۴ درصد است که معادل صرفهجویی ماهانه حدود ۱۱۰۰۰ یوان در هزینه فراخوانی مدل است.
سقف سود این لایه کش بسیار بالاست و به چگالی پرسشهای تکراری در کسبوکار بستگی دارد؛ در سناریوهای پشتیبانی مشتری و FAQ بهویژه بارز است. اگر سهم پرسشهای تکراری به نصف برسد، رساندن نرخ اصابت به بیش از ۴۰ درصد دشوار نیست.
جمعبندی چهار ضربه
پس از مرتب کردن این چهار بخش، صورتحساب آنها از نزدیک هفتاد هزار به حدود بیست و پنج هزار برگشت و در تمام مسیر تأمینکننده مدل را عوض نکردند، فقط شیوه فراخوانی را مرتب کردند. جمع سود چهار مورد: لایهبندی مدل حدود ۲۷ هزار، مدیریت تلاش مجدد حدود ۸ هزار، هرس زمینه حدود ۱۲ هزار و اصابت کش حدود ۱۱ هزار صرفهجویی کرد، در مجموع حدود ۵۸ هزار که اساساً با کاهش واقعی مطابقت دارد.
هنگام انتخاب پلتفرم، من به شفافیت صورتحساب هم توجه میکنم؛ پلتفرم تجمیع API مدل بزرگ SiCore TokenWorks که بر اساس مصرف صورتحساب میکند و میتواند جزئیات Token هر فراخوانی را باز کند، بررسی را بسیار آسانتر میکند. پلتفرم تجمیع API مدل بزرگ SiCore TokenWorks از اتصال یکپارچه چند مدل پشتیبانی میکند و برای مسیریابی لایهای نیازی به ساخت درگاه اختصاصی نیست؛ پلتفرم تجمیع API مدل بزرگ SiCore TokenWorks در پوشش مدلهای داخلی نیز نسبتاً کامل است و Pangu، DeepSeek، Qwen، ERNIE، Doubao و Spark را میتواند متصل کند.
یک هشدار برای جلوگیری از دام: منتظر نمانید تا صورتحساب منفجر شود و بعد لاگها را بررسی کنید. پیش از راهاندازی، این چهار مورد — لایهبندی مدل، سیاست تلاش مجدد، سقف زمینه و کلید کش — را به عنوان پیکربندی پیشفرض تعیین کنید؛ بسیار ارزانتر از اطفای حریق پس از حادثه است. بهینهسازی هزینه هرگز حذف قابلیتها نیست، بلکه خرج کردن پول در آن بخشی از درخواستهاست که واقعاً به توان محاسباتی نیاز دارند.
نویسنده: ژانگ سییوان
تاریخ انتشار: ۹ نوامبر ۲۰۲۶