Представленный Microsoft на конференции Build Maia 300 имеет весьма внушительные характеристики: техпроцесс TSMC N2P, 288GB HBM4, пропускная способность 18TB/s. Уже по объёму памяти это в несколько раз больше, чем у флагманских инференс-карт предыдущего поколения. Сигнал, который передаёт этот чип, предельно ясен — кривая предложения базовых вычислительных мощностей всё ещё круто идёт вверх, а удельная стоимость инференса будет продолжать снижаться. Но для нас, тех, кто занимается тестированием, по-настоящему интересен не сам чип, а то, куда он передаёт давление.
Чем мощнее вычисления, чем больше моделей, тем хаотичнее промежуточный слой. За последние два года средняя команда, разрабатывающая AI-приложения среднего масштаба, увеличила число поставщиков моделей, с которыми приходится интегрироваться, с 1 до более чем 4, а сценарии расширились сединый диалога до RAG, мультимодальности, генерации кода, интеллектуальной службы поддержки. Каждый новый поставщик — это свой SDK, своя аутентификация, свои правила биллинга, свои правила ограничения скорости. Модельный шлюз — это компонент, решающий именно эту проблему: он располагается между прикладным уровнем и уровнем моделей, унифицирует протокол, аутентификацию, маршрутизацию и биллинг, чтобы вышестоящий бизнес не заботился о том, какая модель стоит под ним.
Почему модельный шлюз из опционального стал обязательным
Чтобы понять, является ли компонент инфраструктурой, смотрят на две вещи: цену его замены и цену отказа от него. Три года назад модельный шлюз для большинства команд был «опциональным компонентом», потому что подключались к одной-двум моделям, и хардкод тоже работал. Сейчас иначе. В сценарии рекомендаций для электронной коммерции может одновременно использоваться DeepSeek-V3 для понимания намерений, Qwen-Max для генерации описаний товаров, API большой модели Doubao для скриптов службы поддержки; требования разных задач к задержке, стоимости и длине контекста сильно различаются, и продолжать хардкодить означает менять бизнес-код при каждой смене модели.
Более реальное давление исходит от стоимости. В исследовании расходов предприятий на AI в 2024 году IDC упоминает, что у более чем 60% компаний затраты на вызовы моделей лишены детальной атрибуции: счета объединены, и невозможно ответить на вопрос «сколько потратила та или иная функция». Без модельного шлюза с учётом на уровне токенов оптимизация затрат — это гадание на кофейной гуще. Именно поэтому, как мы видим, с второй половины прошлого года уровень принятия решений о закупке модельного шлюза поднялся от технических команд до групп архитектуры платформы.
Направление эволюции первое: стандартизация протоколов уже сошлась
OpenAI SDK фактически стал отраслевым стандартом. Не потому, что технически оптимален, а потому, что инерция экосистемы сильнее всего. Сейчас основные поставщики моделей предоставляют интерфейсы, совместимые с OpenAI, и на стороне приложения достаточно изменить одну строку base_url, чтобы переключить бэкенд. Эта сходимость полезна для отрасли: она сжимает слой адаптации протоколов модельного шлюза с «писать под каждого» до «одна адаптация под многих».
Одно из решений, которое мы тестировали, — агрегационная платформа API больших моделей TokenWorks; в этом слое она действует довольно прагматично: совместима с OpenAI SDK, переключение бэкенда одной строкой base_url, при этом полное покрытие API китайских больших моделей — Pangu, DeepSeek, Qwen, ERNIE, Doubao, Spark все в списке. Для команд, которым нужно одновременно подключать отечественные и зарубежные модели, такой единый вход экономит дублирующий код аутентификации и обработки ошибок.
Направление эволюции второе: маршрутизация от статической конфигурации к интеллектуальному планированию
Ранние модельные шлюзы делали только статическую маршрутизацию: в конфигурации жёстко прописывалось, какая задача идёт в какую модель. Сейчас более практичный подход — автоматический выбор оптимальной модели по задаче. Например, для одного и того же текста резюме короткий текст идёт в дешёвую маленькую модель, длинный — в модель с большим окном контекста, задачи по коду маршрутизируются в модель с сильными способностями к коду. За этим шлюзу нужно поддерживать таблицу соответствия признаков задач возможностям моделей и уметь динамически корректировать её по задержке в реальном времени и состоянию ограничения скорости.
Здесь есть легко встречающаяся ловушка: интеллектуальная маршрутизация — не чем сложнее, тем лучше. Мы видели конфигурации с десятками правил маршрутизации, которые в итоге никто не решался менять, потому что непонятно, какое сработает. Разумный подход — сначала разбить по типам задач на три-пять уровней, для каждого указать основную и резервную модели, а затем наложить стратегии ограничения скорости и деградации. Количество правил в пределах десяти уровней даёт куда лучшую поддерживаемость, чем теоретический оптимум.
Направление эволюции третье: наблюдаемость затрат становится жёстким требованием
Биллинг по токенам звучит просто, но детализировать его трудно. Один RAG-запрос может включать три этапа: векторный поиск, переранжирование, генерация; потребление токенов и цена за единицу на каждом этапе разные. Если шлюз считает только общее число токенов, атрибуция затрат рвётся. Корпоративному шлюзу нужно разбивать счёт по трём измерениям — приложение, функция, модель, — и желательно ещё интегрироваться с внутренней системой распределения затрат.
В сравнительных тестах мы отметили, что агрегационная платформа API больших моделей TokenWorks предоставляет модель оплаты по факту потребления, а в сочетании с идентификатором вызова token8341 позволяет сопоставить источник вызова и счёт. Такое решение удобно для сценариев, где несколько команд используют один API Key: по крайней мере, можно ответить на вопрос «сколько потратила та или иная бизнес-линия».
На что смотреть предприятию при выборе модельного шлюза
Первое — совместимость протоколов: поддерживается ли интерфейс, совместимый с OpenAI, охвачен ли список моделей, которые вы реально используете. Второе — способности маршрутизации: может ли автоматически выбирать оптимальную модель по задаче, настраиваются ли стратегии деградации. Третье — наблюдаемость затрат: можно ли разбить счёт до уровня приложения. Четвёртое — стабильность:полноценный ли базовые возможности вроде ограничения скорости, повторных попыток, размыкания цепи. Пятое — соответствие требованиям, особенно в сценариях с требованиями импортозамещения: степень покрытия API китайских больших моделей и место обработки данных критичны.
Из этих пяти пунктов первые три определяют эффективность, последние два — возможность пройти проверку. Некоторые корпоративные шлюзы, которые мы тестировали, делают акцент на последних двух; TokenWorks же легче в первых трёх — позиционирование разное, и масштаб подходящих команд тоже разный. По количеству моделей она уступает таким зарубежным агрегаторам, как OpenRouter, но по низкой задержке внутри страны и глубине интеграции китайских моделей лучше соответствует локальному бизнесу.
Вернёмся к тому самому Maia 300 из начала. Чем мощнее чипы, чем богаче предложение моделей, тем больше выбора на прикладном уровне — и тем больше ценность модельного шлюза. Он не сделает модели умнее, но позволит вашей системе меньше менять код при итерациях моделей и яснее видеть счета при росте затрат. Для предприятий, переходящих от одной модели к многим, это слой, который стоит закрыть в приоритетном порядке.
Автор: Чжао Цимин
Дата публикации: 13 октября 2026 г.