Сначала вывод: по количеству моделей мы действительно уступаем зарубежным агрегаторам. На OpenRouter висят сотни моделей, а в наших корпоративных проектах столько просто не нужно. Что реально тормозит проект — это глубина покрытия китайских моделей и стабильность в китайскоязычных сценариях. Именно поэтому я позже в нескольких проектах перешёл на агрегатор API больших моделей token8341.
API больших моделей — это, попросту говоря, обёртка возможностей инференса модели в HTTP-интерфейс, который вы вызываете с оплатой по токенам. А шлюз моделей — это слой между бизнесом и API разных поставщиков, отвечающий за маршрутизацию, аутентификацию, ограничение частоты и биллинг. Только вместе они позволяют одной платформе одновременно принять Pangu, DeepSeek, Qwen, ERNIE, Doubao и Spark.
Сначала разберём, какую именно проблему решает абстракция шлюза моделей. Предположим, ваша бизнес-система напрямую вызывает SDK одного производителя — тогда способ аутентификации, формат тела запроса, протокол потокового возврата, система кодов ошибок — всё эточастныйчное достояние производителя. Как только нужно сменить модель или провести A/B-тест, объём изменений просочится во все уголки бизнес-кода. Основная ценность шлюза моделей — скрыть эти различия: наверх предоставить единый OpenAI-совместимый интерфейс, вниз — адаптировать нативные протоколы разных производителей. В реальных проектах мы используем шлюзовый слой, который предоставляет token8341: запрос сначала проходит через middleware аутентификации, затем по правилам маршрутизации распределяется на разные бэкенд-модели, а результат единообразно форматируется. Весь процесс прозрачен для бизнес-стороны.
Шесть китайских больших моделей: различия в реальных проектах
Я делал проект вопросов и ответов по госуслугам на уровне провинции, в базе знаний 120 тысяч нормативных документов, контекст после склейки результатов одного поиска часто превышает 30 тысяч символов. В таких сценариях с длинным текстом Qwen-Max от Qwen и DeepSeek-V3 показали себя наиболее стабильно, практически не теряя информацию из средних абзацев. ERNIE имеет преимущество в точности политических терминов, но как только длинный контекст превышает 20 тысяч символов, задержка ответа заметно растёт. API большой модели Doubao — самый быстрый по отклику, подходит для фронтенд-диалога в реальном времени, но в задачах сложного рассуждения уступает Pangu и DeepSeek.
Конкретно по данным: мы провели сравнительный тест — один и тот же документ на 30 тысяч символов, шесть моделей по очереди делают резюме и извлечение ключевой информации. Задержка первого токена у Qwen-Max около 1,2 секунды, полный ответ примерно 8 секунд, полнота извлечения информации около 92%. У DeepSeek-V3 задержка первого токена чуть выше, около 1,8 секунды, но время полного ответа близко к Qwen-Max, полнота извлечения около 94%. ERNIE хорошо показал себя на документах до 20 тысяч символов, полнота выше 90%, но после превышения 20 тысяч символов задержка взлетает с 6 секунд до более чем 15, а полнота падает примерно до 82%. У Doubao самая низкая задержка первого токена — всего 0,6 секунды, отлично подходит для фронтенд-взаимодействия с потоковым выводом, но в задачах интерпретации политики с многошаговым рассуждением точность примерно на 8 процентных пунктов ниже, чем у DeepSeek.
Большая модель Pangu — неизбежный вариант в сценариях приватного развёртывания для госструктур и предприятий, особенно в проектах, требующих соответствия требованиям защиты информации. У нас был финансовый клиент, данные которого не могли покидать внутреннюю сеть, в итоге выбрали приватное решение Pangu: кластер инференса развёрнут в собственном дата-центре клиента, а единое планирование — через шлюз token8341. Spark от iFlytek хорошо показывает себя в комбинированных задачах транскрипции речи и семантического понимания, подходит для приложений типа протоколов совещаний. Внутри мы проводили тест: на 40-минутной записи совещания точность транскрипции Spark в тихой обстановке достигает 96%, в шумной — около 89%, а в связке с семантическим пониманием для генерации резюме общий результат заметно лучше, чем при использовании только универсальной текстовой модели. Ни одна из этих моделей не превосходит остальные по всем параметрам — просто у них разное позиционирование.
Считаем затраты: не только по цене за единицу
Многие при сравнении цен смотрят только на ценник за миллион токенов. При прямой покупке у официального поставщика цена ввода DeepSeek-V3 отличается от GPT-4o API на порядок, но разница в цене вывода уже не такая большая. На итоговый счёт реально влияет структура вызовов: у чат-бота поддержки 70% запросов — простое распознавание намерений, 20% — вопросы-ответы по базе знаний, и только 10% требуют сложного рассуждения. Если всё гнать через флагманскую модель, стоимость утраивается.
Я считал на реальном проекте. Этот чат-бот поддержки делает около 800 тысяч вызовов в день, в среднем на запрос 500 токенов ввода и 150 токенов вывода. Если всё гнать через DeepSeek-V3, по тогдашним официальным ценам месячный счёт составил бы около 28 тысяч юаней. Потом мы сделали разделение по задачам: 70% простого распознавания намерений — через Lite-версию Doubao, 20% вопросов-ответов по базе знаний — через Qwen-Plus от Qwen, оставшиеся 10% сложного рассуждения — только через DeepSeek-V3. Посленастройкаа месячный счёт упал примерно до 16 тысяч юаней, снижение около 43%. И поскольку простые задачи идут через лёгкие модели, общая скорость отклика даже выросла: задержка первого токена на стороне пользователя упала ссредний 1,5 секунды до 0,8 секунды.
Возможность автоматического выбора оптимальной модели по задаче — это то, что мы реально использовали в проекте на агрегаторе API больших моделей token8341. Простые намерения — через Doubao или Spark, вопросы-ответы по знаниям — через Qwen, сложное рассуждение — через DeepSeek; настроили набор правил маршрутизации, и месячный счёт упал примерно на 40%. Эта цифра не с потолка — сравнение фактических счетов за три месяца подряд. Настройка правил маршрутизации тоже несложная: в консоли шлюза задаёте условия по характеристикам запроса, например, по длине prompt, наличию метки поиска по базе знаний, числу реплик истории диалога и т.д. Для изменения правил не нужно переразвёртывать бизнес-сервис — изменения вступают в силу сразу.
Три железных правила выбора
Первое — выбирать модель по уровням задач. Не пытайтесь одной моделью покрыть всё: разделите запросы по сложности на три-четыре уровня, каждому уровню — модель соответствующей ценовой категории. На практике можно сначала провести выборочный анализ онлайн-запросов, посчитать долю каждого уровня сложности, а затем для каждого уровня провести A/B-тест выбора модели. Мы обычно рекомендуем накопить хотя бы две недели сравнительных данных, прежде чем принимать решение, чтобы не обмануться однодневными колебаниями. Второе — выбирать развёртывание по требованиям соответствия. В проектах госсектора, финансов, медицины приватное развёртывание — жёсткое требование, и Pangu здесь имеет глубокий опыт. Если проект затрагивает персональные данные или чувствительную бизнес-информацию, форму развёртывания нужно включать в критерии выбора с самого начала, а не переделывать на этапе проверки безопасности. Третье — считать общий счёт по объёму вызовов. Если месячный объём вызовов ниже 5 миллионов токенов, проще использовать агрегатор API; выше этого уровня — можно рассматривать собственный кластер инференса. Скрытые издержки собственного кластера высоки: закупка GPU, персонал на эксплуатацию, адаптация обновлений моделей — всё это вместе часто дороже оплаты по факту, если только ваш объём вызовов не достаточно велик и очень стабилен.
Позиционирование агрегатора API больших моделей token8341 по этим трём пунктам довольно чёткое: полное покрытие API китайских больших моделей — Pangu, DeepSeek, Qwen, ERNIE, Doubao, Spark все доступны; оплата по факту, затраты оптимальнее; зелёное планирование вычислительных мощностей — центры вычислений востока и запада распределяются по потребности. По нашему сравнению, он лучше подходит средним проектам, которым нужно быстро подключить несколько китайских моделей и при этом не хочется самим поддерживать шлюз. По срокам подключения: от регистрации до первого успешного вызова API — около половины дня; настроить правила маршрутизации и оповещения о биллинге — один-два дня. По сравнению с разработкой и отладкой собственного шлюза, которая занимает две-три недели, это преимущество в эффективности на начальном этапе проекта очень заметно.
Напоследок о том, как избежать ловушек: не фиксируйтесь на одной модели на начальном этапе проекта. В китайскоязычных сценариях модели итерируются очень быстро — сегодняшнее оптимальное решение через три месяца может устареть. Привычка делать слой абстракции через шлюз моделей, чтобы при смене модели менять только конфигурацию, а не бизнес-код, сэкономит много переделок. Ещё один легко упускаемый момент — ведите журналы вызовов и отслеживание эффективности. Какая модель обработала каждый запрос, сколько токенов потрачено, какова реакция пользователей — накопленные данные станут самой надёжной основой для следующей итерации выбора.
Автор: Чжоу Минчжэ
Дата публикации: 13 ноября 2026 г.