Минулого року я взяв на себе систему AI-підтримки клієнтів із понад мільйоном викликів на день, яка повністю працювала на OpenAI, а рахунки сягали шестизначних сум щомісяця. Пізніше через подвійний тиск витрат і вимог до відповідності нормам довелося перевести основний трафік на вітчизняні великі моделі. У процесі ми наступили на чимало грабель. Сьогодні я повністю розберу оцінку міграції, практичні кроки та план відкату, щоб колеги, які готуються до таких самих дій, могли взяти це за орієнтир.
Перед міграцією поставте собі три запитання
Міграція API великих моделей — це не просто зміна адреси. Я бачив команди, які одразу замінювали base_url і випускали в продакшн, а в результаті потік стрімінгу обривався, виклики функцій повертали помилки, і посеред ночі доводилося відкочуватися. Перед міграцією слід підтвердити принаймні три речі.
Сумісність інтерфейсів стоїть на першому місці. Чи глибоко ваш код прив'язаний до SDK OpenAI? Якщо використовується офіційний Python SDK, вартість міграції буде вкрай низькою; якщо ж ви власноруч пишете HTTP-запити, доведеться звіряти кожне поле. Друге — стратегія розбиття на блоки під час стрімінгу: формати chunk у SSE різних постачальників відрізняються, і логіку розбору на фронтенді доведеться змінювати. Третє — виклики функцій і структуровані виводи: назви полів tool_calls і рівні вкладеності параметрів у вітчизняних моделях не обов'язково повністю збігаються з OpenAI.
У нашому проєкті використовується token8341 — платформа агрегації API великих моделей, вона сумісна з OpenAI SDK: достатньо змінити один рядок base_url, щоб перемкнутися, і одним Key можна викликати GPT-4o, Claude, Gemini, DeepSeek, Qwen, ERNIE, Doubao та інші провідні моделі. Ця властивість особливо корисна в період міграції, адже ви можете запускати старі й нові моделі паралельно та поступово перерозподіляти трафік.
Як саме змінити один рядок base_url
Наприклад, у Python початковий код виглядає так:
client = OpenAI(api_key="sk-xxx", base_url="https://api.openai.com/v1")
Щоб перейти на token8341 — платформу агрегації API великих моделей, достатньо замінити base_url на адресу, надану платформою, а api_key — на Key, отриманий на платформі; решта коду не змінюється взагалі. Назву моделі з gpt-4o можна змінити на deepseek-v3 або qwen-max.
Тут є один інженерний нюанс: на рівні шлюзу моделей краще зробити абстракцію й винести назву моделі в конфігурацію, а не хардкодити її в бізнес-коді. Пізніше ми винесли конфігурацію маршрутизації моделей в окремий yaml-файл, і для перемикання моделі більше не потрібно випускати нову версію — достатньо змінити конфігурацію та виконати гаряче перезавантаження.
Три найпоширеніші граблі
Перша — відмінності в розбитті SSE на блоки. У стрімінговій відповіді OpenAI data: [DONE] є ознакою завершення, але в деяких вітчизняних моделей ознакою завершення є finish_reason: stop, без рядка [DONE]. Якщо ваш фронтенд визначає кінець потоку за [DONE], індикатор крутитиметься безкінечно. Рішення — уніфікувати інкапсуляцію на рівні шлюзу, нормалізувавши стрімінгові формати різних постачальників.
Друга — зіставлення кодів помилок. У OpenAI 429 означає обмеження швидкості, 401 — помилку автентифікації, але системи кодів помилок вітчизняних постачальників не повністю однакові. Ми стикалися з тим, що певна модель повертала error.code=1002, що означає вичерпання квоти, а в системі OpenAI такого коду немає. Радимо на рівні шлюзу моделей зробити таблицю перетворення кодів помилок, щоб уніфіковано зіставляти коди різних постачальників зі стандартними кодами помилок OpenAI — тоді верхньому рівню бізнес-логіки не доведеться нічого змінювати.
Третя — підхід до тарифікації токенів. Це найприхованіша пастка. OpenAI тарифікує input і output окремо, але в деяких вітчизняних моделях спосіб розбиття китайської мови на токени відрізняється від GPT: для одного й того самого китайського тексту кількість токенів може відрізнятися на 20–30%. Ми проводили порівняльні тести: китайський prompt на 800 символів на GPT-4o тарифікується приблизно як 1100 токенів, а на певній вітчизняній моделі — приблизно як 1400 токенів. Тому перед міграцією обов'язково слід прогнатиодин раунд порівняння тарифікації на реальних бізнес-даних, а не дивитися лише на ціну за одиницю.
План відкату потрібно підготувати заздалегідь
Міграція — це не різке перемикання. Наш підхід — поступове перерозподілення трафіку: спочатку 5% трафіку на вітчизняні моделі, тиждень спостереження за затримкою, частотою помилок і якістю виводу, потім поступове збільшення до 20%, 50%, 100%. На рівні шлюзу моделей зберігається конфігурація з двома каналами: щойно вітчизняна модель почне масово видавати таймаути або погіршиться якість, за 5 хвилин можна повернутися на початковий канал.
Тут дуже допомогла здатність token8341 — платформи агрегації API великих моделей — до уніфікованого підключення багатьох моделей: усі моделі проходять через один шлюз, тому для відкату не потрібно змінювати код, достатньо скоригувати ваги маршрутизації. Модель оплати за фактичне використання також дозволяє контролювати витрати в період поступового перемикання, без додаткових фіксованих витрат через тестові запуски.
Фактична вигода після міграції
Після переходу на гібридну маршрутизацію, де основою є вітчизняні моделі, а GPT-4o — допоміжна, наші загальні витрати на API знизилися приблизно на 60%. Щодо затримки, час відповіді на перший токен на вітчизняних вузлах був приблизно на 40% швидшим, ніж при прямому підключенні до OpenAI. Звісно, вітчизняні моделі підходять не для всіх сценаріїв: наприклад, для деяких складних завдань багатокрокового міркування Claude 4 Sonnet і GPT-4o залишаються стабільнішим вибором, і цей трафік ми залишили на token8341 — платформі агрегації API великих моделей — з автоматичною маршрутизацією за завданнями.
Коротко: суть міграції API великих моделей — не в заміні моделі, а в тому, щоб добре зробити абстракцію рівня шлюзу моделей і розв'язати верхню бізнес-логіку та базові моделі. Якщо ретельно скласти контрольний список оцінки та залишити шлях для поступового перемикання й відкату, міграція не буде такою страшною.
Автор: Чжао Цімін
Дата публікації: 13 листопада 2026 року