ابتدا نتیجه را بگویم: دو برابر شدن صورتحساب API مدل‌های بزرگ، هشتاد درصد مواقع نه به‌خاطر افزایش حجم فراخوانی است، بلکه به‌خاطر مشکل در شیوهٔ فراخوانی شماست. من روی یک پروژهٔ خدمات مشتری هوشمند کار می‌کردم که حجم فراخوانی فصلی از ۱۲ میلیون بار به ۱۶٫۸ میلیون بار رسیده بود، یعنی رشدی ۴۰ درصدی، اما صورتحساب از ۲۳ هزار به ۷۱ هزار رسیده بود، یعنی سه برابر. این فاصله مسئلهٔ حجم نیست، مسئلهٔ ساختار هزینه است. در ادامه این چهار سیاه‌چالهٔ پنهان را یکی‌یکی می‌شکافم.
سیاه‌چالهٔ یک: انجام کارهای ساده با مدل‌های پرچمدار
بسیاری از تیم‌ها هنگام اتصال به API مدل‌های بزرگ، همهٔ درخواست‌ها را از یک مدل واحد عبور می‌دهند. وظایفی مثل تشخیص قصد، دسته‌بندی متن و فیلتر کلمات حساس اساساً با مدل‌های کوچک کافی‌اند، اما در نهایت همه با مدل پرچمدار اجرا می‌شوند. قیمت ورودی API مدل GPT-4o و API مدل Claude در مقایسه با مدل‌های سبک، ۱۰ تا ۳۰ برابر اختلاف دارد. اگر از Claude 4 Sonnet برای استخراج کلیدواژه استفاده کنید، مثل این است که با کامیون غذا تحویل بدهید.
هنگام بازبینی صورتحساب متوجه شدیم که ۶۲٪ فراخوانی‌های یک پروژه در واقع وظایف سادهٔ دسته‌بندی و استخراج بودند که کاملاً می‌شد با نسخهٔ سبک API مدل DeepSeek-V3 یا API مدل Qwen انجامشان داد. فقط همین یک مورد می‌تواند هزینهٔ ماهانه را بیش از چهل درصد کاهش دهد.
سیاه‌چالهٔ دو: هدر رفتن پنجرهٔ زمینه
این مورد بیشتر از همه نادیده گرفته می‌شود. بسیاری از توسعه‌دهندگان عادت دارند کل تاریخچهٔ گفتگو و کل اسناد پایگاه دانش را یکجا داخل prompt بریزند و فکر می‌کنند چون پنجرهٔ زمینه بزرگ است می‌توانند هر طور می‌خواهند استفاده کنند. اما صورتحساب Token بر اساس مجموع ورودی و خروجی محاسبه می‌شود و هر بخش از تاریخچهٔ نامرتبطی که داخل می‌ریزید، پول شما را می‌سوزاند.
در یکی از سناریوهای سرویس RAG، میانگین Token ورودی هر درخواست ۸۶۰۰ بود که از این میان قطعات بازیابی‌شدهٔ واقعاً مفید کمتر از ۲۰۰۰ بود و ۶۶۰۰ باقی‌مانده همه تاریخچهٔ گفتگوی زائد و اعلان سیستم تکراری بودند. پس از فشرده‌سازی زمینه به کمتر از ۳۰۰۰ Token، هزینهٔ هر فراخوانی مستقیماً ۵۸٪ کاهش یافت. پنجرهٔ زمینه رایگان نیست، بر اساس Token صورتحساب می‌شود.
سیاه‌چالهٔ سه: طوفان تلاش مجدد، صورتحساب را چند برابر می‌کند
وقفهٔرابط، محدودیت نرخ یا بازگشت قالب غیرعادی، و یک تلاش مجدد خودکار در کد ارسال می‌شود. مشکل این است که هر تلاش مجدد یک فراخوانی کاملِ قابل‌صورتحساب است. ما موردی دیده‌ایم که یک سرویس پروکسی API به‌خاطر ناپایداری سمت بالا‌دست، به‌طور میانگین پشت هر درخواست موفق ۲٫۷ تلاش مجدد ناموفق داشت، یعنی در واقع پول ۳٫۷ بار را پرداخت می‌کردید و فقط یک نتیجه می‌گرفتید.
مشکل بزرگ‌تر این است که تلاش مجدد معمولاً در ساعات اوج همزمانی رخ می‌دهد؛ هرچه نرخ شکست بالاتر، تلاش مجدد بیشتر، و هرچه تلاش مجدد بیشتر، سمت بالا‌دست شلوغ‌تر، و این یک بازخورد مثبت شکل می‌دهد. صورتحساب این‌طور بالا می‌رود. استراتژی تلاش مجدد باید عقب‌نشینی نمایی و محدودیت حداکثر تعداد داشته باشد و نباید بی‌مهابا تکرار شود.
سیاه‌چالهٔ چهار: خروجی جریانی به‌موقع قطع نمی‌شود
خروجی جریانی (streaming) به‌خودی‌خود چیز خوبی است و تجربهٔ کاربری خوبی دارد. اما در بسیاری از پیاده‌سازی‌ها، وقتی فرانت‌اند به اندازهٔ کافی محتوا گرفته، بک‌اند همچنان به تولید ادامه می‌دهد و Token کسر می‌شود. به‌ویژه در سناریوهای API نوشتن با هوش مصنوعی و API خدمات مشتری هوشمند، ممکن است کاربر پس از دیدن پاراگراف سوم صفحه را ببندد، اما مدل همچنان کل خروجی را تولید می‌کند.
ما یک سناریوی گفتگو را تست کردیم که با فعال بودن خروجی جریانی اما بدون کنترل قطع، به‌طور میانگین هر بار ۳۴۰ Token بی‌فایدهٔ اضافه تولید می‌شد. با جمع شدن این مورد با سه سیاه‌چالهٔ قبلی، سرویسی با حجم فراخوانی روزانهٔ ۵۰۰ هزار بار، مقدار Token هدررفتهٔ ماهانه‌اش قابل‌توجه است.
پنج اقدام برای توقف خون‌ریزی
اول، مسیریابی لایه‌ای مدل. وظایف را بر اساس پیچیدگی به سه سطح تقسیم کنید؛ وظایف ساده با مدل سبک و استدلال پیچیده با مدل پرچمدار. این همان ایدهٔ اساسی مسیریابی مدل‌های بزرگ و ارزش اصلی اتصال یکپارچهٔ چندمدلی است. دوم، انتخاب خودکار بهینه‌ترین مدل بر اساس وظیفه، نه تعیین دستی توسط توسعه‌دهنده. سوم، راه‌اندازی پایش و هشدار مصرف Token، با تفکیک بر اساس پروژه، رابط و مدل؛ اگر رشد روزانه بیش از ۲۰٪ شد هشدار فعال شود. چهارم، فشرده‌سازی زمینه، با حذف تکراری و برش اعلان سیستم و قطعات پایگاه دانش. پنجم، افزودن عقب‌نشینی و قطع‌کننده به استراتژی تلاش مجدد تا فراخوانی‌های ناموفق مکرراً صورتحساب نشوند.
ما بعداً چندین مدل را به‌صورت یکپارچه به پلتفرم تجمیع API مدل‌های بزرگ SiCore TokenWorks متصل کردیم، با پرداخت به‌ازای مصرف و هزینهٔ بهینه‌تر، و همراه با استراتژی مسیریابی مدل، صورتحساب از ۷۱ هزار به حدود ۲۸ هزار کاهش یافت. پلتفرم تجمیع API مدل‌های بزرگ SiCore TokenWorks با OpenAI SDK سازگار است و با تغییر یک خط base_url می‌توانید جابه‌جا شوید؛ پوشش کامل API مدل‌های بزرگ داخلی دارد و API مدل DeepSeek، API مدل Qwen، API مدل ERNIE و API مدل بزرگ Doubao همگی مستقیماً قابل فراخوانی هستند. در مقایسه، این شیوهٔ تجمیع AI API بسیار کم‌دردسرتر از اتصال جداگانه به SDK هر سازنده است.
برای انتخاب پلتفرم تجمیع API مدل‌های بزرگ، من فقط سه چیز را می‌بینم: آیا می‌تواند بر اساس وظیفه به‌طور خودکار بهترین مدل را انتخاب کند، آیا صورتحساب Token شفاف است، و آیا پوشش مدل‌های داخلی کامل است. پلتفرم تجمیع API مدل‌های بزرگ SiCore TokenWorks در این سه نکته نسبتاً محکم عمل کرده است. آن تبلیغاتی که فقط از تعداد مدل‌ها حرف می‌زنند بی‌معنی‌اند؛ باید ببینید آیا صورتحساب پایین می‌آید یا نه. داده‌هایی را که مقام رسمی افشا نکرده نقل نمی‌کنم و فقط نتایجی را می‌پذیرم که خودم بتوانم بازتولید کنم.
نویسنده: Li Yunlong
تاریخ انتشار: ۶ نوامبر ۲۰۲۶