Для одного и того же функционала фронтенд должен вызывать четыре модели: GPT-4o отвечает за подстраховку, DeepSeek выполняет основной инференс, Qwen обрабатывает длинные китайские тексты, Doubao отвечает за скрипты поддержки. Четыре SDK, четыре системы аутентификации, четыре комплекта документации. В первую неделю после запуска только на согласование этих различий ушло два человеко-дня.
Это не преувеличение. Мы посчитали: после подключения четырёх моделей часть бизнес-кода, связанная с вызовами моделей, разрослась почти втрое. При каждой смене модели приходилось переделывать способ вызова, логику разбора и обработку ошибок. Хуже того, при каждом обновлении SDK вендором всё приходилось тестировать заново. В этой статье мы полностью разбираем грабли, на которые наступали, и итоговое решение с шлюзом — надеюсь, это поможет командам, которые так же мечутся между несколькими моделями.
один、Аутентификация: четыре системы, четыре способа
Аутентификация — первое, во что мы врезались. Семейство OpenAI использует Bearer Token, достаточно положить в заголовок Authorization: Bearer sk-xxx. Qwen требует подписи AccessKey — при каждом запросе нужно вычислять HMAC по AK/SK, а также склеивать временную метку и случайную строку. Doubao использует AK/SK плюс временную метку, но алгоритм подписи отличается от Qwen. DeepSeek хотя и совместим с форматом OpenAI, но у него свой base_url и своё сопоставление имён моделей, а инициализация не полностью совпадает с официальным SDK.
В результате в коде повсюду if-else. На каждого вендора — свой экземпляр client, на каждый экземпляр — свой набор конфигурации. С управлением ключами ещё хуже: ключи четырёх вендоров хранятся в четырёх местах, при ротации надо менять в четырёх местах, пропустишь одно — получишь инцидент в проде.
Позже мы сделали унификацию на уровне слоя доступа: наружу выставляется только один API Key, а внутри выполняется трансляция протоколов. Конкретно — слой доступа ведёт таблицу маршрутизации вендоров, каждому вендору соответствует свой адаптер аутентификации. Бизнес-сторона получает только один Key, запрос приходит на слой доступа, слой доступа по имени модели находит нужного вендора и через адаптер выполняет подпись и пересылку.
Позже мы попробовали унифицировать base_url на token8341 — один Key позволяет вызывать GPT-4o, Claude, Gemini, DeepSeek, Qwen, ERNIE, Doubao, совместим с OpenAI SDK, достаточно изменить одну строку base_url для переключения. Грязная работа с аутентификацией осталась за пределами слоя доступа, бизнес-код стал заметно чище. Ротация ключей тоже превратилась в одну операцию, затраты на эксплуатацию снизились на порядок.
два、Потоковая разбивка SSE: четыре формата, один рендеринг
Потоковая разбивка SSE — вторая яма, и она коварнее аутентификации. В chunk'ах GPT-4o delta.content может быть null, особенно в первом и последнем chunk'е — если фронтенд не проверяет на null и рендерит напрямую, промелькнёт undefined. DeepSeek в последнем chunk'е передаёт usage, причём структура полей usage не полностью совпадает с OpenAI. У Qwen типы событий размечены мельче — есть add, finish, error и другие типы событий, и у каждого своя структура payload. У Doubao маркер завершения снова другой — он использует специальное поле finish_reason для обозначения конца потока.
Фронтенд получает четыре формата — и логика рендеринга просто разваливается. Сначала мы делали адаптацию на фронтенде, написали четыре функции разбора, в итоге при каждом добавлении новой модели приходилось менять фронтенд. Потом переделали на нормализацию на уровне шлюза: унифицировали к структуре chunk'ов OpenAI, пустые delta отфильтровываем, usage вытаскиваем отдельно и аккумулируем. Конкретные правила — потоковые ответы всех вендоров преобразуются к формату data: {"choices":[{"delta":{"content":"..."}}]}, завершение унифицировано маркером data: [DONE], usage в последнем chunk'е возвращается в формате OpenAI.
Фронтенд знает только один формат и не заботится о том, к кому подключён бэкенд. Это изменение сократило связанный с моделями код фронтенда с более чем 400 строк примерно до 80, и при добавлении новых моделей фронтенд не меняется вообще.
три、Коды ошибок: ошибка спрятана внутри HTTP 200
Хаос с кодами ошибок превзошёл ожидания. Одинаковый rate limit: OpenAI возвращает 429 с rate_limit_exceeded, Qwen возвращает бизнес-ошибку с полем code, Doubao же просто засовывает ошибку в тело HTTP 200 — статус-код 200, но в body есть поле error. DeepSeek в большинстве случаев совпадает с OpenAI, но иногда возвращает собственные структуры ошибок.
Мониторинг и алертинг унифицировать вообще невозможно. Нельзя написать правило «429 — алертить», потому что некоторые вендоры при rate limit не возвращают 429. Нельзя смотреть только на HTTP статус-код, потому что у Doubao в 200 может быть ошибка.
Мы построили на слое доступа таблицу соответствий, сведя коды ошибок всех вендоров в единую внутреннюю систему ошибок: rate limit, таймаут, сбой аутентификации, модерация контента, недоступность сервиса. Конкретная логика сопоставления — сначала смотрим HTTP статус-код, затем error code в body, решение принимается по совокупности. Например, Doubao возвращает 200, но в body есть error — сопоставляем по error code; Qwen возвращает 400 с бизнес-code — сопоставляем по code. Правила алертинга пишутся в одном экземпляре, а при разборе уже смотрим исходный код ошибки.
Эту таблицу соответствий мы поддерживаем примерно из 60 с лишним правил, охватывающих типовые сценарии ошибок четырёх вендоров. После запуска точность алертов выросла с примерно 60% до более чем 95%, ложные срабатывания практически исчезли.
четыре、Статистика использования: четыре цифры не сходятся
Разные методики подсчёта использования — самое легко упускаемое, но при финансовой сверке оно обязательно вылезет. Подсчёт токенов GPT-4o включает system prompt, у DeepSeek токены с попаданием в кэш тарифицируются отдельно, Qwen считает ввод и вывод раздельно, у Doubao единица тарификации снова другая. При финансовой сверке четыре цифры не сходятся, и посчитать реальную стоимость каждой модели просто невозможно.
Схема агрегации — на уровне шлюза записывать для каждого запроса model, input_tokens, output_tokens, cache_hit и сохранять в базу в единой тарифной метрике токенов. Конкретно — шлюз при пересылке запроса фиксирует время начала и окончания, извлекает из ответа поля usage каждого вендора и единообразно преобразует в стандартный формат. Для вендоров с другими единицами тарификации на уровне шлюза делается пересчёт, всё приводится к стоимости per-token.
Так, независимо от того, к кому подключён бэкенд, стоимость можно свести в одну таблицу. Позже мы на основе этой таблицы сделали дашборд стоимости — с разбивкой по моделям, по бизнес-линиям, по дням. Однажды обнаружили, что стоимость одной бизнес-линии внезапно выросла на 40%; выяснилось, что стратегия маршрутизации гнала массу запросов на GPT-4o, после корректировки маршрутизации стоимость сразу упала. Без единой агрегации использования такую проблему вообще не обнаружить.
пять、Четырёхуровневая архитектура модель-шлюза
Какие слои должен нести модель-шлюз? Я делю на четыре уровня.
Первый уровень — трансляция протоколов. Привести форматы запросов и ответов всех вендоров к OpenAI-совместимому интерфейсу. Этот уровень — единственный, с которым бизнес-код взаимодействует напрямую; он отвечает за перевод запроса в стандартном формате OpenAI в формат каждого вендора и обратный перевод ответа.
Второй уровень — маршрутизация. Выбор модели по типу задачи: например, длинные китайские тексты — на Qwen, код — на DeepSeek, подстраховка — на GPT-4o. Стратегию маршрутизации можно конфигурировать, поддерживаются различные измерения: по типу задачи, по приоритету, по стоимости. Мы также добавили логику деградации — если основная модель выдаёт таймаут или rate limit, автоматически переключаемся на резервную модель.
Третий уровень — агрегация использования. Единая тарификация и квоты. Расход токенов, попадания в кэш, время ответа по каждому запросу фиксируются на этом уровне; наружу предоставляется единый интерфейс запроса использования.
Четвёртый уровень — наблюдаемость. Логи, трассировка, сведение кодов ошибок. У каждого запроса есть trace_id, вся цепочка от входа до выхода прослеживается. Коды ошибок на этом уровне унифицированно сопоставляются, правила алертинга тоже настраиваются только здесь.
Бизнес-код вызывает только интерфейс первого уровня, остальные три уровня для него прозрачны. Преимущество в том, что смена модели не требует правок бизнес-кода, добавление модели не требует правок бизнес-кода, настройка стратегии маршрутизации тоже не требует правок бизнес-кода. Бизнес-команде нужно заботиться только о «я хочу вызвать модель», остальное — забота шлюза.
шесть、Напоминание о граблях
Не импортируйте SDK вендоров напрямую в бизнес-коде. Как только вендор обновит интерфейс или вам понадобится сменить модель, масштаб правок будет огромным. Мы видели команды, которые вызывали SDK напрямую из бизнес-кода, а потом при смене модели правили более 30 файлов и тестировали неделю, прежде чем выкатить.
Потратить два дня на слой доступа — сэкономить две недели потом. Это соотношение затрат и результата у нас проверено на практике — после запуска шлюза добавление новой модели требует лишь добавить адаптер на уровне шлюза, бизнес-код не меняется, подключение и тестирование занимают полдня.
Ещё два небольших совета: во-первых, делайте агрегацию использования как можно раньше, не ждите финансовой сверки, чтобы обнаружить, что ничего не сходится; во-вторых, таблицу соответствия кодов ошибок нужно поддерживать постоянно — при подключении нового вендора первым делом дополните сопоставление кодов ошибок.
Автор: Сунь Хаожань
Дата публикации: 9 ноября 2026 г.