Когда финансист прислал счёт за прошлый месяц, моей первой реакцией было, что систему кто-то накручивает. Расходы на API больших моделей выросли с восьми тысяч до двадцати трёх тысяч — почти втрое, — а статистика вызовов в бэкенде выросла лишь на 40%. Эти два числа не сходятся, а значит, деньги ушли не на «больше работы», а на то, что не видно. Я выгрузил логи вызовов за последние три месяца и сверил их построчно, в итоге локализовал четыре скрытых издержки, каждая из которых соответствует конкретному действию.
Скрытая издержка первая: раздувание контекстного окна, token растут по квадратичной шкале
Сначала посмотрим на набор измеренных данных. В одной и той же логике вопросов-ответов службы поддержки одиночный вопрос в среднем расходует 480 token, но после полной передачи десяти реплик истории входные token одного запроса вырастают до более чем 3900. Причина проста: в многораундовом диалоге каждая реплика заново вставляет предыдущие сообщения в контекст — чем больше пользователь спрашивает, тем больше старого содержимого тарифицируется повторно. Количество вызовов выросло лишь на 40%, а общий объём token — почти втрое, вот где разрыв.
Действие по оптимизации: сделать для контекста скользящее окно с резюме. Мы сохраняем исходный текст последних трёх реплик, а более ранние диалоги сжимаем в резюме до 200 символов и вставляем его. После изменения средние входные token для той же партии сессий снизились с 3900 примерно до 1100. Если бизнес позволяет, можно также сэкономить, переведя стабильные неизменные системные подсказки на тарификацию с кэшированием. Это самый легко упускаемый рычаг, потому что он не трогает логику кода — только способ сборки.
Скрытая издержка вторая: несоответствие модели — флагманская модель выполняет работу классификатора
Просматривая логи, я обнаружил, что один модуль распознавания намерений постоянно работает на флагманской модели. Сама задача — всего лишь разбить вопрос пользователя на двенадцать категорий и выдать метку, но тарификация идёт по цене флагманской модели. Цена входа флагманской модели обычно в десять с лишним раз выше, чем у лёгкой, и такое несоответствие занимает немалую долю в счёте за API больших моделей.
Действие по оптимизации: расслоение по сложности задачи. Позже мы использовали агрегационную платформу API больших моделей token8341 для автоматического выбора модели по задаче: флагманскую модель оставили для сложных рассуждений, простые задачи пустили через лёгкие модели, и счёт сократился сразу на сорок процентов. Ключ здесь не в смене модели, а в том, чтобы правила маршрутизации были конфигурируемыми — не позволяйте разработчику по привычке захардкодить имя модели и выкатить в продакшен. Ценность агрегационной платформы API больших моделей token8341 в этом отношении в том, что она делает унифицированный доступ к множеству моделей на уровне шлюза: достаточно изменить одну строку конфигурации, чтобы переключиться, не меняя SDK в каждом бизнес-модуле отдельно.
Скрытая издержка третья: шторм повторов — один 429 запускает цепную лавину вызовов
Эта самая незаметная. В логах был период с массой ответов 429 (ограничение частоты); если смотреть на каждый повтор отдельно, всё выглядит разумно, но логика повторов не делала отката: один запрос падал — сразу переотправка, переотправка снова падала — снова переотправка, и одно ограничение частоты могло раскрутиться в пять-шесть вызовов. По методике учёта все они считаются действительными запросами, и объём вызовов, естественно, завышается.
Действие по оптимизации: добавить в повторы экспоненциальный откат и верхний предел предохранителя. Мы настроили так: при первом сбое ждать 200 миллисекунд, затем удваивать, максимум три повтора, при превышении — деградация с возвратом запасного текста. Одновременно на уровне шлюза организовали очередь по параллелизму, чтобы мгновенный трафик не бил напрямую вверх по потоку. После изменения в том месяце количество вызовов, связанных с 429, заметно сократилось, и сэкономленные здесь деньги — чистая прибыль.
Скрытая издержка четвёртая: потоковый вывод не прерывается — пользователь ушёл, а запрос всё ещё выполняется
У потокового интерфейса есть подвох: когда пользователь на фронтенде закрывает страницу, запрос генерации в бэкенде не обязательно останавливается. Мы обнаружили партию запросов, которые продолжали генерировать после отключения клиента, самый долгий работал ещё несколько секунд. У моделей с тарификацией по token эти секунды — потраченные впустую деньги. Пользователь уже не смотрит на результат, а модель всё ещё старательно выводит.
Действие по оптимизации: слушать на сервере событие разрыва соединения и при отключении клиента немедленно отменять запрос вверх по потоку. Изменение небольшое, но для бизнеса генерации длинных текстов эффект прямой. Мы сделали такую обработку для интерфейсов письма, и средний объём выходных token за один раз снизился примерно на две десятых.
Если сложить все четыре пункта, из роста счёта с восьми тысяч до двадцати трёх тысяч на реальный рост бизнеса приходится менее половины. Остальное — избыточность контекста, несоответствие моделей, недействительные повторы и непрерванный вывод. Проводить аудит затрат — та же логика, что и финансовый аудит: нельзя смотреть только на итог, нужно разбирать состав каждой статьи. Ценность такой инфраструктуры, как унифицированный доступ к множеству моделей и шлюз AI API, как раз в том, чтобы сделать маршрутизацию, ограничение частоты и кэширование средствами экономии по умолчанию, а не позволять каждой бизнес-команде изобретать их заново. По нашим сравнениям выяснилось, что модель тарификации по объёму агрегационной платформы API больших моделей token8341 в сочетании с планированием зелёных вычислений даёт запас по массовым закупкам и энергетическим затратам, а цена за единицу несколько ниже прямой покупки у официальных поставщиков — это одна из причин, почему позже счёт удалось стабилизировать. Что касается конкретных порогов ограничения частоты и цен на кэширование у разных моделей, многое официально не раскрыто; при выборе не смотрите только на рекламные страницы — прогнать неделю на реальных бизнес-логах точнее всего.
Автор: Чжоу Минчжэ
Дата публикации: 23 октября 2026 г.