8341TokenFactory
LLM APIAPI Gateway

Объём вызовов вырос на 40%, а счёт — почти втрое? SiCore TokenWorks поможет разобраться в этом счёте

SiCore TokenWorks Team·2026-11-08

Когда в прошлом месяце финансистка прислала счёт, я подумал, что она ошиблась. Объём вызовов вырос на 40% месяц к месяцу, а счёт подскочил с чуть больше шестизначной суммы сразу почти втрое. Если считать линейно, максимум переплата должна была составить сорок процентов — откуда взялась остальная часть?

Я выгрузил логи вызовов за последние тридцать дней и разрезал их по моделям, по интерфейсам, по числу повторов. Проблема была не в «объёме», а в «структуре». Четыре скрытые точки утечки — одна незаметнее другой.

Начну с самого очевидного: флагманская модель занималась черновой работой. У нас был модуль распознавания намерений, для которого изначально хватало лёгкой модели, но на раннем этапе ради простоты его повесили на самую дорогую флагманскую модель, и так никто и не тронул. Такой трафик составлял больше шестидесяти процентов всех запросов, но приносил крайне низкую бизнес-ценность. После повторного прогона с разделением моделей по уровням — когда классификацию, извлечение и проверку формата спустили на маленькие модели, а флагманской оставили только запросы, действительно требующие рассуждения, — эту часть затрат удалось сжать до трети–половины от прежней. Не стоит недооценивать это действие: оно не требует менять бизнес-логику, меняется только маршрутизация.

Как именно разделять по уровням? Я разбил задачи на три уровня. Первый — классификация и распознавание намерений: короткий вход, короткий выход, простая логика, маленькая модель вполне справляется. Второй — извлечение информации и проверка формата: нужно немного семантического понимания, но не нужно многошагового рассуждения, используем среднюю модель. Третий — только сложное многошаговое рассуждение, генерация длинных текстов, автодополнение кода — оставляем флагманской модели. После разделения я сравнил: на задачах первого уровня точность на маленькой модели упала меньше чем на два процентных пункта, а стоимость одного вызова снизилась почти на девяносто процентов. Со вторым уровнем ещё интереснее: разница в F1 между средней и флагманской моделью на задачах извлечения составила меньше 0.03, а стоимость отличалась в пять раз. Посчитаешь — и сразу понятно: раньше мы переплачивали просто из лени.

Вторая ловушка ещё коварнее. Шторм повторов. Порог таймаута на одном из вышестоящих интерфейсов был выставлен слишком жёстко: сеть дёрнется — клиент повторяет запрос, повтор снова уходит в таймаут, и снова повтор. В логах видно, что один и тот же запрос отправлялся четыре-пять раз, каждый раз сжигая Token, а пользователь видел только одну неудачу. Такое неэффективное потребление в счёте незаметно, но его доля может достигать около двадцати процентов. Действия простые: заменить повторы на идемпотентные с экспоненциальной задержкой, ослабить порог таймаута, на сервере сделать дедупликацию запросов. После этого недействительные Token сократились больше чем наполовину.

Здесь стоит подробнее остановиться на ключевых параметрах. Мы ослабили порог таймаута с исходных 3 секунд до 15, число повторов с неограниченного изменили на максимум два, а стратегию задержки сделали экспоненциальной с джиттером — первый повтор ждёт 1 секунду, второй 2 секунды, плюс случайный джиттер, чтобы избежать эффекта громового стада. На стороне сервера добавили отпечаток запроса: один и тот же отпечаток обрабатывается только раз в 60 секунд, последующие запросы сразу получают кэшированный результат. После изменений я специально неделю следил за метриками: доля повторов упала с исходных 18% до менее 4%, потребление недействительных Token сократилось более чем на семьдесят процентов. Был и неожиданный бонус: жалоб пользователей на таймауты стало меньше, потому что после ослабления порога те запросы, которые могли бы успешно выполниться, но обрывались слишком рано, теперь нормально возвращаются.

Третье — длинный контекст без обрезки. Наш диалоговый интерфейс по умолчанию засовывал всю историю целиком: к двадцатому раунду входные Token в десять с лишним раз больше, чем в первом. А на деле большая часть истории для текущего ответа бесполезна. Со скользящим окном плюс сжатием в сводку, сохраняя только последние несколько раундов в оригинале и одну скользящую сводку, входную часть можно сократить на сорок–шестьдесят процентов. Есть нюанс: сама сводка тоже стоит Token, поэтому окно нельзя сжимать слишком сильно — нужно найти ту самую точку перегиба.

Мы попробовали несколько наборов параметров и остановились на комбинации «последние пять раундов в оригинале + скользящая сводка». Скользящая сводка не генерируется заново каждый раунд, а обновляется раз в три раунда, сжимая более ранний диалог в сводку не длиннее двухсот слов. Так объём входных Token к двадцатому раунду упал с восьми с лишним тысяч до чуть больше трёх тысяч — снижение более чем на шестьдесят процентов. Но я пробовал и сжатие до последних двух раундов — качество ответов заметно просело: когда пользователь уточнял контекст, модель часто отвечала невпопад. Так что точка перегиба действительно существует, и её нужно тестировать под свой сценарий. Наш опыт таков: размер окна не должен быть меньше последних трёх раундов, а частота обновления сводки — не чаще раза в два раунда, иначе сэкономленных на Token денег не хватит, чтобы компенсировать потерю пользовательского опыта.

Четвёртое — низкий процент попаданий в кэш. Одинаковые или очень похожие запросы приходили снова и снова, а мы каждый раз заново выполняли вывод. Системные промпты, фиксированные шаблоны, частые вопросы-ответы — всё это полностью кэшируемое — тогда давали меньше десяти процентов попаданий. После добавления слоя семантического кэша повторные запросы сразу возвращаются; доля экономии зависит от повторяемости бизнеса, у нас это примерно двадцать–тридцать процентов.

Про семантический кэш стоит сказать пару слов подробнее. Точный кэш ловит только полностью идентичные запросы, но в реальности масса запросов «по смыслу похожи, но сформулированы иначе». Например, пользователь спрашивает «как вернуть деньги» и «какова процедура возврата» — точное совпадение не сработает, а семантический кэш сработает. Мы использовали такую схему: векторизуем вход, ищем приближённых соседей в кэш-хранилище, и если сходство выше порога — сразу возвращаем кэшированный результат. Порог критичен: слишком высокий — попаданий мало, слишком низкий — легко вернуть нерелевантный ответ. Мы в итоге остановились на 0.92, попадания выросли с менее 10% до 34%, и при этом не было ни одной жалобы пользователя на нерелевантный ответ. С системными промптами и фиксированными шаблонами всё проще — делаем префиксный кэш, попадания близки к 100%.

Когда четыре действия сложились вместе, мы потом прогнали оплату по объёму плюс разделение моделей по уровням — счёт вернулся примерно к 1.2 от уровня до роста, а объём вызовов остался тем же приростом в 40%. Кстати, по пути пробовали token8341 для унифицированного доступа к нескольким моделям: один Key переключает несколько моделей, а после унификации маршрутизации и биллинга разбираться в таких структурных проблемах стало заметно проще.

Ещё один легко упускаемый момент: мониторинг и атрибуция. Четыре проблемы тянулись так долго в первую очередь потому, что наш счёт выводился только по моделям и интерфейсам, без разреза по «типу задачи» и «отпечатку запроса». Позже я добавил слой тегов вызовов: каждый запрос получал теги типа задачи, факта повтора, попадания в кэш и числа раундов контекста — и когда счёт снова приходил, сразу было видно, какое звено жжёт деньги. Сама система тегов не экономит деньги, но без неё ты просто не знаешь, куда уходят средства.

Предостережение: не начинайте с замены на более дешёвые модели. Сначала разберите структуру вызовов — часто деньги уходят не на цену за единицу, а на повторы и избыточность, о которых вы даже не подозреваете. Оптимизация цены за единицу — это последний шаг, а не первый.

Автор: Чжао Цимин

Дата публикации: 9 ноября 2026 г.