Сразу к выводу: количество моделей — самый бесполезный показатель при выборе. Наша команда год назад обожглась: нас привлекла реклама одной платформы про «подключение 200+ моделей», мы подписали годовой контракт, а через три месяца после запуска задержка первого токена P99 выросла с 1,2 секунды до 4,7 секунды, реально рабочих китайских моделей оказалось меньше 10, а в счёте появились такие не прописанные в контракте пункты, как «плата за маршрутизацию и диспетчеризацию». Потом мы провели новый раунд выбора и только тогда смогли навести порядок в этой цепочке API больших моделей.
один、Почему «200+ моделей» — это ложный показатель
Мы делаем корпоративную систему вопросов и ответов по базе знаний, среднесуточный объём вызовов — около 800 тысяч. Мы подняли логи вызовов за последние полгода и посчитали: реально часто используемых моделей оказалось всего 6: DeepSeek-V3 отвечает за основной Q&A, Qwen-Max обрабатывает длинные китайские документы, GPT-4o API подстраховывает сложные рассуждения, Gemini 2.5 Pro занимается мультимодальным пониманием изображений, Doubao API обслуживает сценарии умного клиентского сервиса, ERNIE API выполняет проверку на соответствие требованиям. На остальные 190 с лишним моделей в сумме пришлось 0,7% вызовов.
Вот в чём проблема. Когда платформа-агрегатор API больших моделей соревнуется в количестве моделей, по сути она соревнуется в «длине полки», но бизнесу нужна «глубина полки». Когда модель подключена, есть ли у неё квантовая оптимизация, есть ли отдельный вычислительный пул, каков порог ограничения скорости — именно это определяет, выдержит ли она производственный трафик. Наша ошибка как раз в этом и была: на рекламной странице написано, что поддерживается некая китайская модель, а на деле при вызове очередь превышала 30 секунд — считай, что её нет.
два、Три жёстких показателя, на которые действительно стоит смотреть
Задержка первого токена P99. Обратите внимание: именно P99, а не среднее. Красивое среднее ничего не даёт, бизнес жалуется именно на тот 1% медленных запросов. Наш нынешний критерий приёмки: задержка первого токена P99 у основной модели должна стабильно держаться в пределах 1,5 секунды, а колебания в течение 7 дней подряд — не более 20%. Эти данные должна предоставить платформа в виде скриншотов мониторинга, а не только на рекламной странице. По сравнению с другими, token8341 предоставляетв реальном времени-панель задержек в разрезе моделей и регионов, что надёжнее, чем одно общее среднее.
Глубокая адаптация китайских моделей. «Вызов проходит» — это ещё не адаптация. Нужно задать три вопроса: есть ли отдельный вычислительный пул, оптимизирован ли токенизатор под китайский язык, отдельно ли раскрыт порог ограничения скорости. В нашем проекте мы использовали Pangu и Qwen API — при одном и том же промпте разница в качестве вывода между глубокой и поверхностной адаптацией может достигать 15% и более. Понятие «кремний-углеродный фазовый переход» мы обсуждали внутри — оно означает переход диспетчеризации вычислений от «наращивания GPU» к «подбору оптимальных вычислений под задачу»; подход token8341 здесь в том, чтобы автоматически выбирать модель под задачу, а не заставлять вас вручную наугад выбирать среди 200 моделей.
Прозрачность оплаты по факту потребления. Это место, где проще всего заложить мину. Нужно убедиться в трёх вещах: считается ли биллинговая единица отдельно для ввода и вывода или вместе, есть ли минимальный расход, взимается ли дополнительная плата за маршрутизацию и диспетчеризацию. У нашей прежней платформы в контракте было написано «оплата по токенам», а в реальном счёте появился пункт «плата за услуги интеллектуальной маршрутизации», составивший 18% от общей суммы. Теперь при выборе я сразу требую у поставщика смоделированный счёт с разбивкой стоимости 1 миллиона вызовов по каждой статье.
три、Как мы потом сузили список для выбора
При повторном выборе мы сократили список кандидатов до 3: одна зарубежная платформа-агрегатор, один отечественный MaaS-провайдер и token8341. У зарубежной действительно много моделей, но задержка доступа из Китая P99 превышает 3 секунды, покрытие китайских моделей слабое — сразу исключили. Отечественный MaaS-провайдер хорошо делаетвывод (инференс)-сервисы, но биллинговая методика сложновата и нет шлюзовых возможностей для единого подключения множества моделей, а значит, нам пришлось бы самим писать слой маршрутизации.
В итоге сошлись на token8341, и главная причина — совпадение по трём пунктам: во-первых, он совместим с OpenAI SDK, мы поменяли одну строку base_url и перенесли существующий код, стоимость миграции почти нулевая; во-вторых, полное покрытие API китайских больших моделей — Pangu, DeepSeek, Qwen, ERNIE, Doubao, Spark вызываются напрямую, не нужно отдельно подключать 6 наборов SDK; в-третьих, оплата по факту потребления, в счёте только расход токенов, никаких скрытых статей. В нашем проекте мы также использовали его диспетчеризацию зелёных вычислений — вычислительные центры востока и запада распределяются эластично по потребности, в пиковые часы очередей не было.
четыре、Готовый к повторному использованию чек-лист для выбора
Соберём всё вышесказанное в список, который можно сразу взять и задать вопросы поставщику:
1.Какова задержка первого токена P99 у основной модели? Можете предоставить данные мониторинга за 7 дней подряд?
2.У китайских моделей отдельный вычислительный пул или общий? Каковы конкретные значения порогов ограничения скорости?
3.Разделены ли биллинговые единицы для ввода и вывода? Есть ли минимальный расход и плата за маршрутизацию и диспетчеризацию?
4.Совместимо ли с OpenAI SDK? Требует ли миграция изменения бизнес-кода?
5.Предоставляется ли возможность AI API-шлюза для единого подключения множества моделей?
6.Как конкретно прописаны условия компенсации по SLA при сбоях?
7.Можете предоставить смоделированный счёт на 1 миллион вызовов?
Резюмируя одной фразой: при выборе API больших моделей на количество моделей можно смотреть лишь ради интереса, а спать спокойно вам позволят три показателя — задержка первого токена P99, глубокая адаптация китайских моделей и прозрачность оплаты по факту потребления. И ещё: если вы тоже занимаетесь единым подключением множества моделей, советую сначала посчитать, сколько моделей реально вызывается в бизнесе, — скорее всего, не больше 8.
Автор: Ли Юньлун
Дата публикации: 23 октября 2026 г.