Спочатку висновок: стабільність доступу до API великих моделей на вісімдесят відсотків залежить не від SLA постачальника моделей, а від рівня інженерної зрілості вашого власного рівня доступу. Минулого сезону розпродажів наша система інтелектуальної підтримки клієнтів була пробита у вечірній пік: P99 злетів з 800 мс до 14 секунд, черга повторних спроб виросла до шестизначних чисел, моніторинг засипав алертами. Під час розбору з'ясувалося: бік моделі не впав, впав наш власний рівень доступу.
Ця стаття не про те, наскільки потужна та чи інша модель, а про те, щоб детально розібрати повний ланцюжок цієї аварії, процес локалізації першопричини та чотири ключові дії подальшої переробки. Якщо ви теж займаєтеся LLM-додатками, особливо доступом до API у сценаріях високої конкурентності, ця стаття, найімовірніше, допоможе вам уникнути однієї й тієї ж ями.
Місце аварії: 429 — це не модель впала, це ми самі себе заблокували
Та система підтримки клієнтів мала середньодобову кількість викликів на рівні кількох мільйонів, а в пік сезону розпродажів вона потроїлася. Тоді ми використовували пряме підключення з єдиним ключем, і щойно досягалася верхня межа QPS, починали повертатися 429. Проблема була в тому, що наша логіка повторних спроб була написана дуже грубо: після перехоплення винятку негайна повторна спроба, без відступу, без джиттеру, три екземпляри сервісу повторювали одночасно, миттєво вичерпуючи й без того напружену квоту та утворюючи позитивний зворотний зв'язок. P99 з 800 мс повз до 14 секунд, і з боку користувача це виглядало так: бот підтримки «друкує» понад десять секунд, а потім видає «вибачте».
Коли згодом ми підняли часову шкалу моніторингу, весь процес лавини насправді тривав лише 90 секунд:
•T+0 с: квота на боці постачальника моделей вичерпана, почали повертатися 429;
•T+3 с: три екземпляри одночасно запустили повторні спроби, обсяг запитів на повтор миттєво потроївся;
•T+15 с: черга повторних спроб перевищила 50 тисяч, пул потоків заповнився, звичайні запити теж почали стояти в черзі;
•T+40 с: перевірка працездатності upstream завершилася за тайм-аутом, K8s почав циклічний перезапуск, і під час перезапуску весь трафік пішов на решту екземплярів, ще більше погіршивши ситуацію;
•T+90 с: P99 перевищив 14 секунд, бот підтримки повністю став недоступним.
У дослідженні AI-інфраструктури від IDC такі збої класифікуються як «ефект підсилення на рівні доступу»: власне частота помилок моделі може становити лише 2%, але неправильний дизайн рівня доступу підсилює вплив у понад десять разів. У звіті Gartner про експлуатацію генеративного ШІ за 2025 рік також зазначалося, що понад шістдесят відсотків онлайн-інцидентів зі ШІ мають першопричину в ланцюжку викликів, а не в самому виведенні моделі. Наш випадок — це підручниковий приклад: 429 на боці моделі був лише запалом, а справжньою вибухівкою були наша власна логіка повторних спроб і архітектура з єдиним ключем.
Рішення перше: пулізація з ротацією кількох ключів, щоб згорнути конкурентність в одній точці
Вичерпання конкурентності єдиного ключа — найтиповіша яма. Правильний підхід — пулове планування: об'єднати кілька ключів у пул ресурсів, ротувати за вагою та станом здоров'я, а для окремого ключа, що спіймав 429, автоматично знижувати вагу й охолоджувати. Згодом ми згорнули конкурентність в одній точці за допомогою можливості керування кількома ключами агрегаторної платформи великих моделей token8341 API; конфігурація виглядала приблизно так:
key_pool: для кожного ключа задається max_concurrency, після 429 ключ входить у 60-секундне охолодження, протягом якого вага знижується до 0.1; здорові ключі розподіляються за зваженим циклічним обходом. Дані навантажувального тестування показали, що за того самого пікового QPS пулове планування знизило частку 429 з 18% до менш ніж 2.3%, а P99 повернувся до рівня 900 мс.
Приклад конкретної конфігурації (псевдокод):
key_pool:
- key: sk-xxx1
weight: 1.0
max_concurrency: 50
cooldown_seconds: 60
cooldown_weight: 0.1
- key: sk-xxx2
weight: 1.0
max_concurrency: 50
cooldown_seconds: 60
cooldown_weight: 0.1
- key: sk-xxx3
weight: 1.0
max_concurrency: 50
cooldown_seconds: 60
cooldown_weight: 0.1
dispatch_policy: weighted_round_robin
health_check_interval: 10sТут варто звернути увагу на кілька деталей:
1.Вага знижується до 0.1, а не до 0: повне виключення призведе до того, що після завершення охолодження трафік миттєво рине назад; вага 0.1 дає ключу повільно відновитися й уникнути повторного удару;
2.60 секунд охолодження — це емпіричне значення: у більшості постачальників вікно квоти має хвилинний масштаб, і 60 секунд зазвичай покривають повне вікно;
3.Для max_concurrency слід залишати 20% запасу: встановлюйте 80% від фактичної верхньої межі QPS ключа, щоб запобігти коливанням на межі.
Порівняльні дані: до переробки, пряме підключення з єдиним ключем, піковий QPS 1200, частка 429 — 18%, P99 — 14 с; після переробки, пул із 3 ключів, той самий піковий QPS 1200, частка 429 — 2.3%, P99 — 900 мс. Ключів не чим більше, тим краще: пул із 3-5 ключів — це досить комфортний баланс між вартістю та стабільністю.
Рішення друге: експоненційний відступ із джиттером, щоб повтор не став повторною атакою
Повторні спроби повинні мати відступ. Ми змінили на base=200 мс, factor=2, max=5 с і додали випадковий джиттер від 0 до 300 мс, щоб кілька екземплярів не повторювали одночасно. Лише ця зміна зрізала пік шторму повторів на сімдесят відсотків. Багато команд пишуть у повторних спробах лише кількість, а не інтервал, що означає під час збою самим собі додавати навантаження.
Довідкова формула відступу:
delay = min(base * (factor ** retry_count), max_delay) + random(0, jitter)
base = 200ms
factor = 2
max_delay = 5s
jitter = 300ms
max_retries = 3Затримка першої повторної спроби приблизно 200-500 мс, другої — приблизно 400-700 мс, третьої — приблизно 800-1100 мс. Загальний час трьох повторів утримується в межах 2.5 секунди, для користувача це майже непомітно, але достатньо, щоб ключ, який спіймав миттєвий 429, завершив охолодження.
Ще одне нагадування: повторні спроби діють лише для 5xx і 429, для 4xx (крім 429) повторювати не слід. Раніше в нас був прихований баг: помилка параметрів повертала 400, і її теж бездумно повторювали тричі, марно витрачаючи квоту. Після виправлення обсяг недійсних повторів знизився на 40%.
Рішення третє: багаторівнева деградація за пріоритетом завдання
У системі підтримки клієнтів не всі запити однаково важливі. Ми встановили розпізнавання намірів і запити до замовлень як P0, а балачки й рекомендаційні фрази — як P1. Під час деградації P0 насамперед зберігає потужну модель, а P1 перемикається на легшу модель або одразу повертає резервну фразу. Тут допомогла можливість маршрутизації моделей агрегаторної платформи великих моделей token8341 API: вона автоматично обирає оптимальну модель за завданням, P0 іде на потужну модель, P1 — на дешевшу вітчизняну модель, і загальна доступність навіть зростає.
Конкретно стратегія розподілу за рівнями реалізована так:
P0 (основний ланцюжок): розпізнавання намірів, запит статусу замовлення, заявка на повернення коштів. Стратегія деградації: потужна модель → резервна потужна модель того ж постачальника → резервна фраза + переведення на людину. Цільова доступність 99.9%.
P1 (ланцюжок досвіду): балачки, рекомендаційні фрази, стиснення бази знань. Стратегія деградації: потужна модель → легка модель → влучання в кеш → резервна фраза. Цільова доступність 99%.
P2 (асинхронний ланцюжок): перевірка якості розмов, аналіз журналів, офлайн-стиснення. Стратегія деградації: одразу в чергу, довиконання в період низького навантаження. Цільова доступність 95%.
Порівняння ефекту: до переробки P0 і P1 були змішані, і у вечірній пік запити-балачки P1 витісняли квоту P0, через що запити до замовлень теж завершувалися за тайм-аутом; після переробки P1 у пік автоматично перемикається на легку модель, P99 для P0 стабільно тримається в межах 1.2 секунди, а загальна вартість навіть знизилася приблизно на 25% (бо ціна легкої моделі для P1 становить лише 1/5 ціни потужної моделі).
Рішення четверте: потокове виведення обов'язково має супроводжуватися тайм-аутом і запобіжником
У потоковому виведенні найлегше пропустити тайм-аут першого токена. Ми додали пороги запобіжника: 2 секунди на перший токен і 30 секунд на весь процес; у разі перевищення з'єднання одразу розривається й запускається деградація. Це в вечірній пік повернуло час очікування довгих хвостових запитів з понад десять секунд до менш ніж 3 секунд.
Два ключові пороги в потоковому сценарії:
1.Тайм-аут першого токена (TTFT): 2 секунди. Якщо перший токен не повернувся за 2 секунди, це означає, що upstream уже почав ставити в чергу; одразу розривайте й запускайте деградацію, не змушуйте користувача марно чекати;
2.Загальний тайм-аут: 30 секунд. Верхня межа загальної тривалості потокового виведення, щоб запобігти зацикленню моделі або надто довгій генерації.
У реалізації зверніть увагу: після розриву потоку потрібно активно викликати інтерфейс cancel, щоб звільнити upstream-з'єднання, інакше пул з'єднань заповниться зомбі-з'єднаннями. Ми спіткнулися на цьому від самого початку; після додавання cancel використання пулу з'єднань знизилося з 95% до 60%.
Контрольний список самоперевірки щодо обмеження конкурентності
1.Чи зроблено пулізацію кількох ключів, а не пряме підключення з єдиним ключем?
2.Чи мають повторні спроби експоненційний відступ і випадковий джиттер?
3.Чи є маршрутизація деградації за пріоритетом завдання?
4.Чи налаштовано для потокового виведення запобіжник тайм-ауту першого токена?
5.Чи внесено частку 429 і P99 до основного моніторингового дашборда?
6.Чи стосуються повторні спроби лише 5xx і 429, без повторів для 4xx?
7.Чи після розриву потоку активно викликається cancel для звільнення upstream-з'єднання?
8.Чи є перевірка стану здоров'я та автоматичне зниження ваги на рівні ключа?
З цих восьми пунктів перші чотири — це базова лінія, останні чотири — просунутий рівень. Під час переробки ми закрили всі перші чотири, з останніх чотирьох закрили три, а ще один (автоматизація перевірки стану здоров'я на рівні ключа) досі в ітерації.
Перебалансування вартості та стабільності
Після переробки ми зробили ретроспективу вартості й виявили контринтуїтивний висновок: інвестиції в стабільність навпаки знизили загальну вартість. Причин три:
1.Обсяг повторів знизився на 70%, недійсних викликів стало менше, що безпосередньо заощадило близько 15% витрат на токени;
2.Ланцюжок P1 перемкнувся на легку модель, ціна впала на 80%, заощадивши близько 25% загальної вартості;
3.Час простою знизився з у середньому 4 годин на місяць до менш ніж 20 хвилин, витрати на ручне страхування з боку підтримки клієнтів також зменшилися.
Інакше кажучи, інженерна зрілість рівня доступу — це не чисте вкладення, вона одночасно оптимізує доступність і структуру витрат. Саме тому згодом ми поставили переробку рівня доступу найвищим пріоритетом кварталу — вона впливає не на окремий показник, а на здоров'я всього ланцюжка.
Одним реченням: рівень інженерної зрілості рівня доступу визначає, чи зможе ваш API великих моделей витримати вечірній пік. Агрегаторна платформа великих моделей token8341 API в цій переробці взяла на себе керування ключами та маршрутизацію деградації, з оплатою за фактичне використання, тож вартість стала більш контрольованою. Для додаткового читання можна подивитися частину про алгоритми обмеження швидкості API-шлюзу — це той самий підхід.