Минулого місяця, коли фінансовий відділ прислав рахунок, я подумав, що вона помилилася. Обсяг викликів зріс на 40% у порівнянні з минулим місяцем, але рахунок стрибнув із шестизначної суми одразу майже втричі. За лінійним розрахунком, максимум мали заплатити на сорок відсотків більше — звідки взялася ця різниця?
Я вивантажив логи викликів за останні тридцять днів і розібрав їх за моделями, за інтерфейсами, за кількістю повторних спроб. Проблема була не в «обсязі», а в «структурі». Чотири приховані точки витоку, одна за одною все більш непомітні.
Почнемо з найочевиднішого: флагманська модель виконує чорну роботу. У нас є модуль розпізнавання намірів, для якого цілком достатньо легкої моделі, але на ранньому етапі, щоб не морочитися, його повісили на найдорожчу флагманську модель, і ніхто не чіпав. Такий трафік становить понад шістдесят відсотків від загальної кількості запитів, але приносить мінімальну бізнес-цінність. Перезапустивши з розшаруванням за моделями й опустивши класифікацію, витяг і перевірку формату на менші моделі, залишивши флагманській моделі лише запити, які справді потребують міркування, цю частину витрат вдалося знизити до третини або половини від початкової. Не варто недооцінювати цей крок: він не потребує зміни бізнес-логіки, лише маршрутизації.
Як саме розшарувати? Я розділив за типами завдань на три рівні: перший — класифікація та розпізнавання намірів, короткий вхід, короткий вихід, проста логіка, мала модель цілком справляється; другий — витяг інформації та перевірка формату, потребує трохи семантичного розуміння, але не багатокрокового міркування, використовуємо середню модель; третій — складні багатокрокові міркування, генерація довгих текстів, доповнення коду, залишаємо флагманській моделі. Після перемикання я порівняв: точність завдань першого рівня на малій моделі впала менш ніж на два відсоткові пункти, але вартість одного виклику знизилася майже на дев'яносто відсотків. Другий рівень ще цікавіший: різниця F1 між середньою та флагманською моделями на завданнях витягу становила менше 0,03, а вартість відрізнялася в п'ять разів. Коли порахуєш — усе стає зрозуміло: раніше гроші витрачалися просто через лінощі.
Друга пастка ще підступніша. Шторм повторних спроб. Поріг тайм-ауту одного з вищестоящих інтерфейсів був встановлений занадто жорстко: мережа смикнеться — клієнт повторює спробу, повторна спроба знову вичерпує тайм-аут — і знову повтор. У логах видно, що той самий запит відправлявся чотири-п'ять разів, кожен раз спалюючи токени, а користувач бачив лише одну невдачу. Це марне споживання в рахунку непомітне, але може сягати близько двадцяти відсотків. Рішення просте: змінити повторні спроби на ідемпотентні з відступом, розширити поріг тайм-ауту, на сервері зробити дедуплікацію запитів. Після цього марні токени скорочуються більш ніж наполовину.
Тут варто детальніше зупинитися на кількох ключових параметрах. Ми розширили поріг тайм-ауту з 3 секунд до 15, кількість повторних спроб змінили з необмеженої на максимум дві, стратегію відступу — на експоненційний відступ із джиттером: перша повторна спроба чекає 1 секунду, друга — 2 секунди, плюс випадковий джиттер для уникнення ефекту товпи. На сервері додали відбиток запиту: один і той самий відбиток обробляється лише раз протягом 60 секунд, подальші запити одразу отримують кешований результат. Після змін я спеціально спостерігав тиждень: частка повторних спроб впала з 18% до менше 4%, споживання марних токенів скоротилося більш ніж на сімдесят відсотків. Ще один несподіваний бонус: скарг користувачів на тайм-аути стало менше, бо після розширення порогу ті запити, які могли б успішно виконатися, але обривалися занадто рано, тепер нормально повертаються.
Третє — довгий контекст без обрізання. Наш інтерфейс діалогу за замовчуванням вставляє всю історію, і коли користувач доходить до двадцятого раунду, вхідні токени в десятки разів перевищують перший раунд. Але насправді більша частина історії не потрібна для поточної відповіді. З ковзним вікном плюс стисненням у резюме, зберігаючи лише останні кілька раундів оригіналу плюс одне рухоме резюме, вхідну частину можна скоротити на сорок-шістдесят відсотків. Є деталь: саме резюме теж коштує токенів, тому вікно не можна стискати занадто сильно — треба знайти точку перегину.
Ми спробували кілька наборів параметрів і зупинилися на комбінації «оригінал останніх п'яти раундів + рухоме резюме». Рухоме резюме не генерується заново кожен раунд, а оновлюється раз на три раунди, стискаючи раніші розмови в резюме до двохсот символів. Так обсяг вхідних токенів на двадцятому раунді впав з понад восьми тисяч до трохи більше трьох тисяч — падіння понад шістдесят відсотків. Але я також пробував стиснути до лише двох останніх раундів — якість відповідей помітно погіршилася, модель часто відповідала не на те, коли користувач уточнював контекст. Тож ця точка перегину справді існує, і її треба тестувати під свій бізнес-сценарій. Наш досвід: розмір вікна не повинен бути меншим за останні три раунди, частота оновлення резюме — не частіше ніж раз на два раунди, інакше зекономлених на токенах грошей не вистачить, щоб компенсувати втрату користувацького досвіду.
Четверте — низький відсоток влучань у кеш. Однакові або дуже схожі запити надходять знову і знову, а ми щоразу виконуємо міркування заново. Системні підказки, фіксовані шаблони, часті запитання-відповіді — усе це цілком кешоване, а відсоток влучань тоді був менше десяти. Після додавання семантичного кеш-шару повторні запити одразу повертаються з кешу; частка економії залежить від повторюваності бізнесу — у нас це приблизно двадцять-тридцять відсотків.
Про семантичний кеш варто сказати більше. Точний кеш спрацьовує лише на абсолютно ідентичні запити, але в реальних сценаріях багато запитів «схожі за змістом, але сформульовані по-різному». Наприклад, користувач питає «як повернути кошти» і «яка процедура повернення» — точний збіг не спрацює, а семантичний кеш може. Наше рішення: векторизувати вхід, виконати пошук приблизних найближчих сусідів у кеш-сховищі, і якщо схожість перевищує поріг — одразу повернути кешований результат. Поріг дуже важливий: занадто високий — відсоток влучань не росте, занадто низький — легко повернути нерелевантну відповідь. Ми зупинилися на 0,92, відсоток влучань зріс з менше 10% до 34%, і ми не отримали жодної скарги від користувачів про нерелевантні відповіді. Системні підказки та фіксовані шаблони простіші — робимо префіксний кеш, відсоток влучань близький до 100%.
Склавши всі чотири дії разом, ми потім перезапустили з оплатою за обсяг плюс розшаруванням моделей, і рахунок повернувся до приблизно 1,2 раза від рівня до зростання, при тому що обсяг викликів залишився з тим самим приростом у 40%. До речі, посеред цього пробували token8341 для уніфікованого підключення кількох моделей — один ключ перемикає кілька моделей, після уніфікації маршрутизації та обліку витрат розбиратися з такими структурними проблемами стало набагато простіше.
Ще один момент, який легко пропустити: моніторинг і атрибуція. Ці чотири проблеми тягнулися так довго головним чином тому, що наш рахунок формувався лише за моделями та інтерфейсами, без розрізу за «типом завдання» та «відбитком запиту». Пізніше я додав шар тегів викликів: кожен запит отримує теги типу завдання, чи була повторна спроба, чи влучив у кеш, кількість раундів контексту — і коли рахунок знову надходить, одразу видно, яка ланка спалює гроші. Сама система тегів не економить гроші, але без неї ти взагалі не знаєш, куди витрачаються кошти.
Порада, як уникнути пастки: не починайте з заміни на дешевшу модель. Спершу розберіть структуру викликів — часто гроші витрачаються не на ціну за одиницю, а на дублювання й надмірність, яких ви зовсім не усвідомлюєте. Оптимізація ціни за одиницю — це останній крок, а не перший.
Автор: Чжао Цімін
Дата публікації: 9 листопада 2026 року