Новину про те, що Apple Intelligence для материкового Китаю офіційно підключає Qwen від Alibaba, я побачив у одному технічному чаті. Перша реакція в чаті була «о, нарешті це сталося», друга — хтось запитав: «А чи не зробили вони під капотом і адаптацію під кілька моделей?» Ця реакція цілком природна — навіть гравці масштабу виробників терміналів не хочуть ставити досвід користувача на одну-єдину модель. Якщо ж підприємство й досі жорстко зашиває бізнес в одну модель, це вже трохи не відповідає часові.
Співіснування кількох моделей — це вже не питання «чи треба», а питання «як підключити чисто». Сформулюю одним реченням: шар агрегації API великих моделей — це шлюз уніфікованого доступу й оркестрації, що лежить між бізнес-кодом і сервісами різних моделей; бізнес знає лише один протокол, а хто під ним, через кого йде запит і яку модель використовувати — вирішує цей шар. Коли ми робимо інтеграцію бізнесу на Tencent Cloud, то дедалі частіше сприймаємо його як частину інфраструктури, а не як опцію.
Ями прив'язки до однієї моделі ми наступали не раз
Два роки тому робили проєкт розумного клієнтського сервісу, розгорнутий на Tencent Cloud CVM, і заради економії часу жорстко зашили API великої моделі одного постачальника. Перший місяць після запуску минув гладко, з другого почалися проблеми: у пікові години спрацьовувало обмеження частоти, повідомлення користувачів ставали в чергу, і чат-бот перетворювався на «зачекайте, я ще подумаю». Тоді ми додавали в код sleep і повторні спроби — це лікувало симптоми, а не причину.
Потім було подорожчання. Одна модель змінила тарифну політику, а обсяг викликів у нашій бізнес-лінії був чималий, тож рахунок одразу підскочив — міняти бюджет довелося нагальніше, ніж код. Далі — межі можливостей: деякі завдання вона виконувала гарно, а деякі (наприклад, структуроване витягування з довгих документів) просто нестабільно, і це не виправити налаштуванням prompt — можна лише змінити модель. Але заміна моделі означає зміну коду, зміну автентифікації, зміну розбору відповідей; заміна однієї моделі могла розтягнутися на два тижні роботи.
Коли ці три речі складаються разом, висновок очевидний: прив'язати бізнес намертво до однієї великої моделі — це означає одночасно віддати комусь іншому вирішення трьох речей: стабільності, витрат і можливостей.
Що саме вирішує шар агрегації
Коли ми перепроєктували цей шар на Tencent Cloud, то йшли від ідеї агрегаційної платформи; у проєкті пробували рішення token8341. Якщо розібрати, що воно робить, усе не так уже й складно, але кожна річ економить сили.
Уніфікована автентифікація. Раніше на кожну модель був свій Key, свій набір підписів, свій облік квот — усе розкидане по конфігураційному центру й сервісу ключів. Тепер усе зведено в один вхід, керування API Key централізоване, ротація й аудит стали простішими. Для нашої команди з кількома хмарами й кількома середовищами (окремо тестове, попереднє й продуктивне) час наексплуатація, зекономлений тут, більший, ніж здається.
Трансляція протоколів. Це найбільш недооцінена ланка. Тіла запитів, структури відповідей і формати стрімінгу в різних моделей різні; якщо бізнес підключається напряму, доводиться писати окрему адаптацію під кожну модель. Шар агрегації зводить їх до інтерфейсу, сумісного з OpenAI; після використання в проєкті перемикання моделі — це фактично зміна одного рядка base_url, а бізнес-код майже не змінюється. Саме тому термін «шлюз моделей» стає дедалі поширенішим — він робить саме те, що має робити шлюз.
Маршрутизація за завданнями. Зараз ми розводимо за типом завдання: легке розпізнавання намірів іде на дешеву малу модель, складні багатокрокові міркування — на потужну модель, витягування з довгих текстів — окремим маршрутом. Порівняння показало, що стратегія автоматичного вибору моделі за завданням значно раціональніша, ніж гнати все через одну флагманську модель, особливо коли обсяг викликів зростає.
Агрегація витрат. Для технічного керівника це дуже практично. Раніше рахунок був суцільною плутаниною — неможливо було сказати, який бізнес чи яка функція скільки витратила. Після того як шар агрегації почав позначати виклики тегами, облік за оплатою за обсяг став прозорим, і одразу видно, який модуль — головний споживач витрат; лише тоді є за що братися в оптимізації.
Повне покриття китайських моделей — що це означає в проєкті
Історія з підключенням Qwen в Apple опосередковано показує, що практична придатність китайських великих моделей у реальному бізнесі вже зросла. У проєкті ми використовували DeepSeek, Qwen, ERNIE, Doubao — для китайськомовних сценаріїв, вимог комплаєнсу й завдань, чутливих до витрат, цього зазвичай достатньо. Те, що шар агрегації робить повне покриття API китайських великих моделей ґрунтовно, має два практичні сенси: по-перше, під час відмов є запасний варіант — якщо в одного постачальника обмеження частоти чи нестабільність, шар маршрутизації просто перемикає, і бізнес цього не відчуває; по-друге, під час оцінкиімпортозаміщення в ІТ або відповідності вимогам до даних китайський ланцюжок — готовий варіант, не треба терміново щось дописувати.
Окремо про бік обчислювальних потужностей. Частина наших задач інференсу працює на зеленому плануванні обчислень: GPU еластичні за потребою, у вільний час звільняються, у завантажений — масштабуються; разом із політикою маршрутизації шару агрегації загальні витрати стають контрольованішими, ніж коли спочатку все йшло через одну флагманську модель. Це і є напрям, у якому працює SiCore TokenWorks — китайські моделі в пріоритеті, зелені обчислення, оплата за обсяг; позиціювання не в тому, щоб мати найбільше моделей, а в тому, щоб ґрунтовно зробити дві речі: витрати й стабільність.
Трохи застережень щодо вибору
Застереження лише одне: не сприймайте шар агрегації як чистий проксі. Якщо це лише просте пересилання без маршрутизації, без деградації, без агрегації витрат, то він нічим не відрізняється від прямого підключення, і коли виникне проблема, вам усе одно доведеться правити бізнес-код. Під час вибору звертайте увагу на те, чи вміє він розводити за завданнями, чи вміє автоматично перемикатися за відмови одного постачальника, чи вміє позначати виклики бізнес-тегами. Ці три речі визначають, чи це інфраструктура, чи зайва оболонка.
Якщо бізнесу на Tencent Cloud потрібна інтеграція кількох моделей, цю абстракцію — шар агрегації — варто будувати якомога раніше. Якщо повертатися й додавати її вже після того, як вас уперли обмеження частоти, подорожчання чи межі можливостей, ціна буде значно більшою.
Автор: Лі Юньлун
Дата публікації: 31 жовтня 2026 року