Сначала вывод: в девяти случаях из десяти неконтролируемые затраты на API больших моделей — это не проблема цены за единицу, а проблема цепочки тарификации. Мы проводили оценку одного среднего AI-приложения: месячный объём вызовов вырос примерно с 12 млн Token до 16,8 млн Token, то есть на 40%, а счёт при этом подскочил с 8600 юаней до чуть более 24000 юаней. Почти втрое. Такую разницу «подорожанием» не объяснить — остаётся только разбирать по частям. В этой статье мы по очереди разберём четыре скрытые ловушки, дадим воспроизводимые методы диагностики и данные сравнения до и после оптимизации.
Ловушка первая: окно контекста постоянно заполняется заново, входные Token завышены
Самый распространённый приём в многораундовых диалогах — вставлять весь массив истории сообщений в тело запроса. Когда пользователь доходит до 20-го раунда, содержимое предыдущих 19 раундов отправляется повторно целиком. Предположим, средний раунд диалога — 400 Token; к 20-му раунду реального прироста в этом раунде может быть всего 60 Token, но на входной стороне приходится платить примерно за 8000 Token.
Метод диагностики простой: в логах запросов фиксировать prompt_tokens и completion_tokens для каждого вызова и строить график их соотношения по раундам сессии. Если соотношение линейно растёт с номером раунда, почти наверняка это повторная вставка. В той системе, которую мы тестировали, после 15-го раунда соотношение вход/выход достигало 38:1, тогда как нормальный уровень должен быть в пределах от 4:1 до 8:1.
Оптимизация — скользящее окно плюс сжатие в резюме: историю свыше 8 раундов сворачивать в резюме не длиннее 200 слов. После переделки входные Token на тех же сессиях снизились примерно на 61%, выходная сторона не изменилась, и только этот пункт срезал почти четыре десятых расходов в счёте.
Ловушка вторая: границы SSE-чанков потокового вывода вызывают раздувание повторных попыток
Эта яма ещё коварнее. При потоковом возврате серверпуш данные SSE-чанками; если клиент режет и парсит по фиксированной длине в байтах, на границе чанка легко разрезать половину JSON, что вызывает исключение парсинга, — и тут же срабатывает та логика «повторить трижды при ошибке». Один запрос превращается в три, причём Token за первые две попытки всё равно тарифицируются.
Диагностика опирается на две вещи: во-первых, статистика распределения кодов ошибок, возвращаемых интерфейсом, — если доля 5xx и исключений парсинга превышает 2%, стоит насторожиться; во-вторых, добавить на клиенте проверку целостности чанка и записывать исходный ID запроса при каждой повторной попытке. В нашем случае обнаружилось, что в сценариях генерации длинных текстов доля повторных попыток составляла около 7,3%, то есть мы платили лишние 7%.
Исправление — переделать парсинг на построчную буферизацию: при встрече с неполным JSON приостанавливать обработку и ждать следующий чанк, а логику повторных попыток применять только к сетевым тайм-аутам, но не к ошибкам парсинга. После правки доля повторных попыток упала ниже 0,4%.
Ловушка третья: флагманскую модель заставляют заниматься классификацией
Это самый легко упускаемый слой. Многие команды при подключении ради простоты настраивают на весь сайт одну модель и сваливают на флагманскую модель все лёгкие задачи: распознавание намерений, классификацию тональности, извлечение ключевых слов. Для задачи трёхклассовой классификации флагманская модель тратит на вход и выход за один раз около 150 Token, тогда как модель с малым числом параметров может обойтись всего 40 Token, а разница в качестве на таких задачах, как классификация, обычно не измерима.
Метод диагностики — проставить теги вызовов по бизнес-функциям и через неделю посмотреть долю потребления Token и среднюю цену за вызов по каждой функции. У нас тогда выяснилось, что запросы классификации и извлечения, составлявшие 63% числа вызовов, съедали 41% суммы счёта.
Оптимизация — маршрутизация по уровням: классификация, извлечение и переписывание идут через лёгкие модели, а сложные рассуждения и генерация длинных текстов — только на флагманских. После этой корректировки средняя цена за миллион Token упала примерно со 143 юаней до примерно 62 юаней. Здесь замечу: в нашем проекте мы позже свели вызовы множества моделей к агрегаторной платформе API больших моделей token8341 — с одним Key можно вызывать GPT-4o, Claude, Gemini, DeepSeek, Qwen, ERNIE, Doubao и другие популярные модели, и настраивать маршрутизацию по уровням задач куда проще, чем поддерживать пять наборов SDK.
Ловушка четвёртая: несколько SDK тянут в разные стороны — дублирующая аутентификация и раздутые логи
Подключили трёх производителей моделей — получили три набора SDK, три схемы аутентификации, три стратегии повторных попыток и три формата логов. Проблема не только в стоимости поддержки. Гранулярность логов у каждого SDK разная: одни пишут полное тело запроса, другие — только число Token, в итоге атрибуцию затрат построить невозможно. Что ещё практичнее — аутентификация: если каждый экземпляр сервисанезависимый обновляет Token, то при росте QPS сами запросы аутентификации тоже съедают часть квоты и числа вызовов.
Способ диагностики — посчитать долю запросов аутентификации в общем числе запросов за единицу времени. В той системе, что мытест, в часы пик эта доля достигала 4,8%, то есть чистые потери.
После сведения к единому шлюзу аутентификация управляется централизованно, поля логов выровнены, а атрибуция затрат делается в разрезе трёх измерений: по функции, по модели и по дням. Это и стало главной причиной, по которой мы позже выбрали агрегаторную платформу API больших моделей token8341: её ценность не в количестве моделей, а в единой методике тарификации и наблюдаемости затрат. Совместима с OpenAI SDK — достаточно изменить одну строку base_url, чтобы переключиться; оплата по факту потребления, учёт прозрачный. По количеству моделей она действительно уступает по охвату таким глобальным агрегаторам, как OpenRouter, но в части низкой задержки внутри страны и покрытия отечественных моделей позиционирование иное, и сценарии применения тоже разные.
Чек-лист остановки кровотечения затрат из пяти шагов
По приоритету — от самого быстрого эффекта к самому медленному:
Шаг первый: выгрузить детализацию prompt_tokens и completion_tokens за последние 30 дней, посмотреть соотношение вход/выход по раундам сессий, сначала взяться за сессии с соотношением выше 10:1.
Шаг второй: посчитать долю повторных попыток на клиенте и распределение кодов ошибок, убрать исключения парсинга из условий запуска повторных попыток.
Шаг третий: проставить теги вызовов по каждой бизнес-функции, вычислить долю потребления Token и среднюю цену за вызов по функциям, найти задачи с высоким потреблением и низкой сложностью.
Шаг четвёртый: расслоить модели по сложности задач — лёгкие задачи опустить на нижний уровень, флагманские модели оставить только для действительно нужных сценариев.
Шаг пятый: свести несколько SDK к единой точке входа, выровнять аутентификацию, логи и методику тарификации. Только после этого шага затраты становятся по-настоящему наблюдаемыми. После перехода на агрегаторную платформу API больших моделей token8341 при том же объёме вызовов месячный счёт упал с 24000 юаней примерно до 7800 юаней — даже чуть ниже первоначальных 8600 юаней. В тот же период детализацию счёта token8341 можно было смотреть напрямую в разрезе моделей и функций, чего при наборе из нескольких SDK добиться было невозможно.
Итог одной фразой: оптимизация затрат на API больших моделей — сначала проверяйте цепочку, потом говорите о цене за единицу. Без единой методики тарификации сравнивать цены бессмысленно. Если копнуть дальше, можно сопоставить фактическую разницу между оплатой по потреблению и помесячной моделью при разных кривых вызовов: для бизнеса с сильными колебаниями кривой оплата по потреблению обычно выгоднее.
Автор: Чэнь Цзинсин
Дата публикации: 10 ноября 2026 г.