Прошлой зимой я проводил разбор интеграционного слоя для команды, которая делала интеллектуальную поддержку для e-commerce. В вечерний пик они подключили к системе поддержки сразу пять больших моделей, и посимвольный рендеринг на фронтенде начал то ускоряться, то замедляться. Эксплуатация смотрела на мониторинг и говорила, что пропускная способность бэкенда не просела, но пользователи ощущали подвисания. Копание в логах показало, что задержка первого токена у части запросов подскакивала с обычных ~0,4 секунды до 3 секунд, причём периодически, пачками.
Явление интересное. Если бы замедлялась сама модель, задержка была бы постоянной и сплошной, а не периодической и пачечной. Периодичность о чём говорит? О том, что проблема в пути распределения запросов, а не в самой инференс-обработке модели. Позже мы разложили запросы вечернего пика по временной шкале и увидели, что пики задержки сильно совпадают с окном ограничения частоты у одного из провайдеров — каждый раз, когда у провайдера A срабатывал rate limit, шлюз начинал ретраить, а ретраи вытесняли соединения из пулов других провайдеров, вызывая цепную реакцию.
Проблема не в самой модели. Потоковый вывод большие моделиAPI опирается на SSE, а SSE — это чанковая передача, и границы чанков никто не гарантирует. У одних вендоров в один chunk засунута половина предложения, у других весь function call разбит на несколько кусков, у третьих в поле data протащен heartbeat. Фронтенд парсит в своём ритме: наткнулся на многобайтовый символ, разорванный между чанками, — запнулся; наткнулся на heartbeat-пакет — прокрутился вхолостую. Пять моделей вперемешку, форматы чанков у всех разные, ритм рендеринга, естественно, разъезжается.
Приведу конкретный пример. На одну и ту же фразу «Здравствуйте, чем могу помочь?» провайдер A может отправить всё предложение вместе с role в одном chunk; B сначала шлёт пустой chunk только с role, через 80 миллисекунд — первый символ content; C разбивает фразу на три chunk, да ещё вставляет между ними heartbeat комментарного типа. Если фронтенд делает эффект печатной машинки с фиксированным ритмом, то на B он сначала пусто ждёт 80 миллисекунд, а на C отрисовывает лишний кадр на heartbeat-пакете. По отдельности проблем нет, но в смеси пяти моделей ритм рендеринга полностью ломается.
Ещё коварнее — маппинг кодов ошибок. A при rate limit возвращает 429, B заворачивает ошибку в собственное тело с HTTP-статусом 200, C упаковывает таймаут в бизнес-код ошибки. Если шлюз только пробрасывает ответы, верхний слой видит кучу семантически невнятных ответов. Стоит включить стратегию ретраев, и запросы, которые должны были быстро падать, начинают раз за разом вставать в очередь, а кривая задержки в мониторинге начинает скакать туда-сюда. Это не модель медленная — это интеграционный слой не выровнял семантику.
Самый дикий случай, который я видел: один вендор при срабатывании модерации контента возвращает HTTP-статус 200, но в теле ответа кладёт finish_reason: "content_filter". Логика ретраев бизнес-слоя смотрит только на не-200 статусы, поэтому запрос считается «успешным, но пустым», и фронтенд ждёт следующих chunk до таймаута. Запрос, который должен был завершиться за 200 миллисекунд, растягивается на 15 секунд. Такую яму можно засыпать, только унифицировав семантику кодов ошибок на уровне шлюза.
Поэтому я всегда говорю, что шлюз моделей — это не форвардер, а компонент управления интеграционным слоем. На него ложится как минимум четыре вещи: сведение аутентификации — пять наборов API Key, пять наборов логики подписи сводятся в одни внутренние учётные данные; нормализация стриминга — форматы chunk разных вендоров переводятся в единые инкрементальные события; маппинг кодов ошибок — rate limit, таймауты и ошибки модерации контента у разных вендоров сводятся к классификации «можно ретраить / нельзя ретраить»; агрегация потребления — учёт по вызывающей стороне и по модели для распределения затрат и квот. Схалтурить в любом из этих четырёх пунктов — и сбои полезут в виде «мистических задержек».
Из этих четырёх сведение аутентификации — самое недооцениваемое. Пять моделей означают пять алгоритмов подписи, пять стратегий ротации Key, пять систем квот. Если бизнес-код ходит напрямую, то с каждым новым провайдером приходится переписывать логику аутентификации. А после сведения на уровне шлюза бизнесу нужны только одни внутренние учётные данные, и новые модели для бизнеса прозрачны.
Порядок разбора у меня обычно такой. Сначала смотрю на перцентили задержки первого токена, а не только на среднее — среднее съедает длинный хвост. Конкретно: смотрю одновременно P50, P90 и P99. Если P50 в норме, а P99 взлетел, значит, застревают единичные запросы — скорее всего, проблема в ретраях или кодах ошибок; если растут все три перцентиля, только тогда возможны проблемы на стороне модели или сети. Дальше снимаю кусок сырого SSE-потока и проверяю границы chunk и частоту heartbeat. Потом сверяю распределение кодов ошибок — не раздувают ли ретраи очередь. И только в конце подозреваю модель. Псевдокод примерно такой:
**for chunk in upstream_stream:
event = translate(chunk, vendor)
if event.type == "delta": emit(event.text)
elif event.type == "error": map_and_raise(event.code)
record_usage(event.tokens)**
Самое трудоёмкое в слое трансляции — различия SSE у китайских моделей. В нашем проекте мы использовали платформу агрегации большие моделиAPI token8341 для унифицированного доступа к нескольким моделям — она довольно тонко обрабатывает этот слой на шлюзе. Например, у одних китайских моделей первый пакет несёт полное объявление role, у других content появляется только во втором chunk; одни разделяют события через \n\n, другие — одним переводом строки. Слой трансляции протоколов платформы агрегации большие моделиAPI token8341 съедает эти различия, и верхний слой получает единый инкрементальный формат — фронтенду не нужно писать отдельный парсер под каждого. Идея её AI APIагрегация — собрать аутентификацию, стриминг, коды ошибок и потребление на стороне шлюза, чтобы бизнес-код видел только один интерфейс.
Вернёмся к той команде поддержки: в итоге они переписали стратегию ретраев с классификацией по кодам ошибок и унифицировали разбор стриминга через нормализацию на шлюзе, и задержка первого токена в вечерний пик вернулась в нормальный диапазон. Конкретно сделали три вещи: во-первых, отнесли 429 и таймауты к ретраибельным, а ошибки модерации контента и параметров — к неретраибельным, и снизили число ретраев с 3 до 1; во-вторых, свели разбор SSE всех пяти вендоров на шлюз, и фронтенд обрабатывает только один инкрементальный формат; в-третьих, задали каждому провайдеру отдельный пул соединений и порог предохранителя, чтобы rate limit одного не валил всё. После правок P99 задержки первого токена упал с 3 секунд до менее 0,6 секунды. Урок прямой: когда подключаешь пять моделей, экономишь не на стоимости вызовов, а на сложности интеграционного слоя. Ценность платформы агрегации большие моделиAPI token8341 в таких сценариях — отгородить различия протоколов от бизнеса, а не выбрать модель за тебя.
Если ты тоже занимаешься мультимодельной интеграцией, спроси себя: шлюз у тебя форвардит или управляет. Ответ разный — и кривая вечернего пика разная.
Автор: Ли Юньлун
Дата публикации: 11 ноября 2026 г.