8341TokenFactory
LLM APIAPI Gateway

Фабрика token8341: один функціонал викликає чотири моделі — GPT-4o для страхування, DeepSeek як основна, Qwen для китайської, Doubao для підтримки

SiCore TokenWorks Team·2026-11-08

Один і той самий функціонал, а фронтенд має викликати чотири моделі: GPT-4o відповідає за страхування, DeepSeek виконує основневисновок, Qwen обробляє довгі китайські тексти, Doubao підключається до скриптів підтримки клієнтів. Чотири SDK, чотири системи автентифікації, чотири комплекти документації. За перший тиждень після запуску лише на узгодження цих відмінностей пішло два людино-дні.

Це не перебільшення. Ми підрахували: після підключення чотирьох моделей частина бізнес-коду, пов'язана з викликами моделей, розрослася майже втричі. Щоразу при зміні моделі доводилося переписувати спосіб виклику, логіку парсингу та обробку помилок. Ще гірше — щоразу, коли постачальник оновлював SDK, усе доводилося тестувати заново. У цій статті ми повністю розберемо граблі, на які наступили, і остаточне рішення з шлюзом, сподіваючись допомогти командам, які так само борсаються між кількома моделями.

один、Автентифікація: чотири системи, чотири підходи

Автентифікація — перше, на що ми натрапили. Родина OpenAI використовує Bearer Token, достатньо покласти Authorization: Bearer sk-xxx у заголовок запиту. Qwen вимагає підпису AccessKey: для кожного запиту треба обчислити HMAC за допомогою AK/SK, а ще зібрати мітку часу та випадковий рядок. Doubao використовує AK/SK плюс мітку часу, але алгоритм підпису відрізняється від Qwen. DeepSeek хоч і сумісний з форматом OpenAI, але має власний base_url і мапінг назв моделей, а спосіб ініціалізації не цілком збігається з офіційним SDK.

У результаті код усюди рясніє if-else. По одному екземпляру client на кожного постачальника, по одному комплекту конфігурації на кожен екземпляр. З управлінням ключами ще гірше — ключі чотирьох постачальників зберігаються в чотирьох місцях, під час ротації треба змінювати чотири, і якщо пропустити хоч один — буде інцидент на продакшені.

Пізніше ми уніфікували це на рівні доступу: назовні виставляємо лише один API Key, а всередині робимо трансляцію протоколів. Конкретно — рівень доступу веде таблицю маршрутизації постачальників, кожен постачальник має власний адаптер автентифікації. Бізнес-сторона отримує лише один Key, запит іде на рівень доступу, той за назвою моделі знаходить відповідного постачальника й через адаптер виконує підпис і переадресацію.

Пізніше ми спробували уніфікувати base_url на token8341 — один Key дозволяє викликати GPT-4o, Claude, Gemini, DeepSeek, Qwen, ERNIE, Doubao, сумісний з OpenAI SDK, достатньо змінити один рядок base_url для перемикання. Брудна робота з автентифікації залишається за рівнем доступу, а бізнес-код став значно чистішим. Ротація ключів теж стала однією операцією, а витрати на експлуатацію впали на порядок.

два、SSE-стрімінг частинами: чотири формати, один рендеринг

SSE-стрімінг частинами — друга яма, і вона навіть підступніша за автентифікацію. У chunk від GPT-4o delta.content може бути null, особливо в першому та останньому chunk; якщо фронтенд не перевіряє на порожнечу й одразу рендерить, блимне undefined. DeepSeek у останньому chunk передає usage, і структура його полів usage не цілком збігається з OpenAI. Qwen має дрібніші типи event — add, finish, error тощо, і структура payload кожного типу різна. У Doubao позначка завершення знову інша — він позначає кінець потоку спеціальним полем finish_reason.

Коли фронтенд отримує чотири формати, логіка рендерингу просто розвалюється. Спочатку ми робили адаптацію на фронтенді, написали чотири функції парсингу, але щоразу при додаванні нової моделі доводилося правити фронтенд. Потім переробили на нормалізацію на рівні шлюзу: уніфікували до структури chunk OpenAI, порожні delta одразу фільтрували, usage витягували окремо й накопичували. Конкретні правила — усі стрімінгові відповіді постачальників перетворюються на формат data: {"choices":[{"delta":{"content":"..."}}]}, завершення уніфіковано позначається data: [DONE], usage повертається в останньому chunk у форматі OpenAI.

Фронтенд знає лише один формат і не мусить турбуватися, до кого підключений бекенд. Ця зміна скоротила код фронтенду, пов'язаний з моделями, з понад 400 рядків до приблизно 80, а при додаванні нових моделей фронтенд взагалі не змінюється.

три、Коди помилок: помилка схована в HTTP 200

Хаос із кодами помилок перевершив очікування. При однаковому обмеженні швидкості OpenAI повертає 429 з rate_limit_exceeded, Qwen повертає бізнес-помилку з полем code, а Doubao взагалі запихає помилку в body з HTTP 200 — статусний код 200, але в body є поле error. DeepSeek здебільшого збігається з OpenAI, але іноді повертає власні структури помилок.

Моніторинг і алерти неможливо уніфікувати. Не можна написати правило «429 — алерт», бо деякі постачальники не повертають 429 при обмеженні швидкості. Не можна дивитися лише на HTTP-статус, бо 200 від Doubao може бути помилкою.

Ми на рівні доступу побудували таблицю мапінгу й звели коди помилок усіх до єдиної внутрішньої системи помилок: обмеження швидкості, тайм-аут, збій автентифікації, модерація контенту, сервіс недоступний. Конкретна логіка мапінгу — спершу дивимося на HTTP-статус, потім на error code у body, рішення ухвалюємо за комбінацією. Наприклад, Doubao повертає 200, але в body є error — мапимо за error code; Qwen повертає 400 з бізнес-code — мапимо за code. Правила алертів пишемо лише один комплект, а під час розбору дивимося на оригінальний код помилки.

Цю таблицю мапінгу ми підтримуємо — приблизно 60+ правил, що покривають типові сценарії помилок чотирьох постачальників. Після запуску точність алертів зросла з приблизно 60% до понад 95%, хибні спрацювання майже зникли.

чотири、Статистика використання: чотири числа не сходяться

Різні підходи до статистики використання найлегше проґавити, але під час фінансової звірки вони обов'язково виявляться. Підрахунок token у GPT-4o включає system prompt, DeepSeek окремо тарифікує token з кеш-влучань, Qwen рахує вхід і вихід окремо, а одиниця тарифікації Doubao знову інша. Під час фінансової звірки чотири числа не сходяться, і неможливо порахувати реальну вартість кожної моделі.

Схема агрегації — на рівні шлюзу записувати для кожного запиту model, input_tokens, output_tokens, cache_hit і зберігати в БД за єдиним підходом тарифікації за token. Конкретно — шлюз під час переадресації запиту фіксує час початку й завершення, витягує з відповіді поле usage кожного постачальника й уніфікує до стандартного формату. Для постачальників з іншими одиницями тарифікації на рівні шлюзу робимо перерахунок, усе зводимо до вартості per-token.

Так, незалежно від того, до кого підключений бекенд, вартість можна звести в одну таблицю. Пізніше ми на основі цієї таблиці зробили дашборд витрат — можна розбивати за моделлю, за бізнес-лінією, за днями. Якось виявили, що витрати однієї бізнес-лінії раптом зросли на 40%; з'ясувалося, що стратегія маршрутизації спрямувала багато запитів на GPT-4o, після коригування маршрутизації витрати одразу впали. Без уніфікованої агрегації використання таку проблему взагалі не виявити.

п'ять、Чотирирівнева архітектура шлюзу моделей

Які рівні має брати на себе шлюз моделей? Я поділяю на чотири.

Перший рівень — трансляція протоколів. Уніфікувати формати запитів і відповідей постачальників до інтерфейсу, сумісного з OpenAI. Це єдиний рівень, з яким безпосередньо контактує бізнес-код; він перекладає запит у стандартному форматі OpenAI у формат кожного постачальника, а потім перекладає відповідь назад.

Другий рівень — маршрутизація. Вибирати модель за типом завдання: наприклад, довгі китайські тексти — Qwen, код — DeepSeek, страхування — GPT-4o. Стратегію маршрутизації можна конфігурувати, підтримуючи різні виміри — за типом завдання, за пріоритетом, за вартістю. Ми також додали логіку деградації — якщо основна модель тайм-аутить або впирається в обмеження швидкості, автоматично перемикаємося на резервну.

Третій рівень — агрегація використання. Уніфікована тарифікація та квоти. Споживання token, кеш-влучання, час відповіді кожного запиту фіксуються на цьому рівні, назовні надається уніфікований інтерфейс запиту використання.

Четвертий рівень — спостережуваність. Логи, трасування, зведення кодів помилок. Кожен запит має trace_id, повний ланцюжок від входу до виходу простежуваний. Коди помилок уніфіковано мапляться на цьому рівні, правила алертів теж налаштовуються лише тут.

Бізнес-код викликає лише інтерфейс першого рівня, решта три для нього прозорі. Перевага в тому, що для зміни моделі не треба правити бізнес-код, для додавання моделі не треба правити бізнес-код, для зміни стратегії маршрутизації теж не треба правити бізнес-код. Бізнес-команді достатньо дбати про «я хочу викликати модель», решту бере на себе шлюз.

шість、Нагадування про граблі

Не імпортуйте SDK постачальників безпосередньо в бізнес-код. Щойно постачальник оновить інтерфейс або ви захочете змінити модель, обсяг змін розростеться. Ми бачили команди, які викликали SDK прямо в бізнес-коді, а потім під час зміни моделі правили понад 30 файлів і тестували тиждень перед релізом.

Витратиш два дні на рівень доступу — заощадиш два тижні згодом. Це співвідношення витрат і результату в нас реально перевірене — після запуску шлюзу для додавання нової моделі достатньо додати адаптер на рівні шлюзу, бізнес-код не змінюється, підключення й тестування займають пів дня.

Ще дві маленькі поради: по-перше, робіть агрегацію використання якомога раніше, не чекайте фінансової звірки, щоб виявити, що нічого не сходиться; по-друге, таблицю мапінгу кодів помилок треба постійно підтримувати — перше, що треба зробити при підключенні нового постачальника, це доповнити мапінг кодів помилок.

Автор: Сунь Хаожань

Дата публікації: 9 листопада 2026 року