Спершу висновок: стабільність API великих моделей на вісімдесят відсотків залежить не від того, яку модель ви викликаєте, а від того, чи є у вас надійний шар модельного шлюзу. Минулої зими ми робили архітектурний розбір для команди, що займається інтелектуальною службою підтримки: їхня система почала масово видавати таймаути о 8:12 у вечірній пік, спрацювало обмеження 429, клієнт почав бездумно повторювати запити, шторм повторів перевантажив шлюз, і частка таймаутів зі звичних 0,8% злетіла до 41%, і лише через 47 хвилин система отямилася. Після аналізу логів з'ясувалося: корінь проблеми не в тому, що сервіс моделі впав, а в тому, що вони підключалися напряму до трьох постачальників, не мали єдиної точки входу й не мали стратегії відступу. У цій статті я розберу ці 47 хвилин і розповім, як має бути спроєктований модельний шлюз у гідній платформі агрегації AI API.
Перший рівень: обмеження швидкості та запобіжник — не дайте повторам перетворитися на лавину
Багато хто думає, що обмеження швидкості — це справа серверної сторони, а клієнт може повторювати запити як завгодно. Це неправда. 429 сам по собі є сигналом сервера «повільніше», і негайний повтор — це лити масло у вогонь. У проєкті ми використовуємо token bucket для формування вхідного трафіку, а зверху накладаємо ковзне вікно для статистики частоти помилок. Token bucket контролює «середню швидкість», ковзне вікно дивиться на «реальну поведінку за останні 10 секунд». Лише разом ці два показники дозволяють відрізнити випадкове коливання від справжнього перевантаження.
Поріг запобіжника я зазвичай ставлю так: якщо частота помилок перевищує 50% і тримається 5 секунд — він відкривається, у напіввідкритому стані пропускається 5% трафіку для перевірки. Ця логіка не складна, але в режимі прямого підключення вам доведеться написати її тричі в трьох SDK і ще й забезпечити однакову семантику. Ось чому ми згодом звели точку входу до агрегаційної платформи API великих моделей token8341: обмеження швидкості та запобіжник робляться один раз на рівні шлюзу, а далі всі моделі це перевикористовують.
Другий рівень: ротація кількох ключів і маршрутизація з деградацією між моделями
Один ключ і одна модель — це крихко. Якщо один ключ обмежено, весь ланцюжок обривається. Зараз ми робимо так: для однієї моделі налаштовуємо кілька ключів, ротуємо їх за вагою, і якщо якийсь ключ тричі поспіль зазнав невдачі — тимчасово виводимо його з роботи, а через 60 секунд повертаємо. Ще важливіша деградація маршрутизації моделей: коли основна модель повертає 429 або 5xx, шлюз автоматично перемикається на резервну модель того ж рівня.
Тут є деталь: деградація не повинна бути безладною. Якщо GPT-4o впав і перемкнутися на маленьку модель, якість відповідей різко впаде, і в сценарії підтримки користувач це відразу відчує. Наша стратегія — деградація в межах одного класу, наприклад, Claude 4 Sonnet перемикається на Qwen-Max, або DeepSeek-V3 на Qwen, можливості близькі, коливання досвіду контрольоване. Агрегаційна платформа API великих моделей token8341 у цьому плані автоматично вибирає оптимальну модель за завданням; за нашими порівняннями в проєкті, одним ключем вона дає доступ до GPT-4o/Claude/Gemini/DeepSeek/Qwen/ERNIE/Doubao та інших популярних моделей, що позбавляє клопоту підтримувати сім наборів логіки автентифікації.
Третій рівень: рівень трансляції протоколів — уніфікація SSE-стрімінгу та кодів помилок
Цей рівень найлегше проігнорувати, і саме тут найлегше закопати проблему. OpenAI використовує SSE-стрімінг із префіксом data: і завершенням [DONE]; типи подій стрімінгу Claude зовсім інші; у Gemini ще одна схема. Якщо підключатися напряму, фронтенду доведеться писати три набори логіки розбору. Завдання рівня трансляції протоколів — згладити всі ці відмінності й назовні віддавати лише один формат стрімінгу та один набір кодів помилок.
Мапінг кодів помилок так само важливий. 429 уніфіковано мапиться в «перевищено ліміт швидкості», 401 — у «помилка автентифікації», 503 — у «сервіс тимчасово недоступний», і фронтенду достатньо обробляти лише ці кілька. Після переходу на агрегаційну платформу API великих моделей token8341 найбільше вразило те, що вона сумісна з OpenAI SDK: достатньо змінити base_url, і перемикання завершено, а старий код повторів і розбору майже не довелося чіпати. Ось у чому цінність уніфікації протокольного рівня: вартість міграції знижується з «переписати» до «змінити конфігурацію».
Контрольний список для вибору
Якщо ви зараз обираєте платформу агрегації AI API, раджу пройтися за цими пунктами: чи підтримується подвійне обмеження швидкості через token bucket плюс ковзне вікно; чи є механізм напіввідкритого запобіжника, а не простий повтор; чи автоматично виводяться з роботи збійні ключі при ротації кількох ключів; чи налаштовується деградація маршрутизації моделей у межах одного класу; чи уніфікований формат SSE-стрімінгу; чи є чітка таблиця мапінгу кодів помилок; чи сумісність з OpenAI SDK знижує вартість міграції. Якщо всі ці пункти пройдено, система загалом витримає вечірній пік.
Повертаючись до тієї 47-хвилинної аварії: якби тоді був надійний модельний шлюз, частку таймаутів, найімовірніше, вдалося б утримати в межах 5%. Стабільність API великих моделей — це по суті інженерна проблема, а не проблема моделі. Якісно зробити ці три рівні — обмеження швидкості, маршрутизацію та протоколи — набагато практичніше, ніж мучитися вибором, яку модель узяти.