Два роки тому я допомагав команді, що займається системою транскордонної клієнтської підтримки, з архітектурним рев'ю. Дошка в переговорній була вщент заповнена порівняннями результатів різних моделей — MMLU, C-Eval, HumanEval, і навіть про кілька десятих відсотка переваги можна було сперечатися півдня. Цього року я зайшов до них знову — та сама команда, але на дошці вже інший набір цифр: середня вартість однієї сесії, P99-затримка, доступність протягом семи днів поспіль. Це не поодинокий випадок. За кілька років роботи над AI-платформою я чітко відчуваю, що логіка вибору API для великих моделей в компаніях змінюється — від «поклоніння параметрам» до «інженерного бухгалтерського обліку».
Від рейтингів до обліку — що саме змінилося у виборі
Простіше кажучи, раніше ключове питання при виборі було «яка модель найрозумніша», а тепер — «яка модель найвигідніша для цього завдання». Бали в рейтингах — це статичні показники в лабораторних умовах, але в продакшені ви маєте справу з мільйонами викликів, піковими навантаженнями, що коливаються, і версіями моделей, які змінюються щокварталу. Якщо модель, що стоїть у топі рейтингу, коштує вдвічі дорожче за іншу і має вдвічі вищу затримку, то в сценарії з мільйоном викликів на день цей розрахунок просто не сходиться. У наших проєктах ми тепер більше орієнтуємося на автоматичний вибір оптимальної моделі під завдання — для класифікації та резюмування використовуємо малі моделі, і лише для складних міркувань маршрутизуємо до великих. Це дозволяє суттєво знизити загальну вартість. Ось чому модельний шлюз стає стандартом — він не просто пересилає запити, а бере на себе маршрутизацію, деградацію та обмеження швидкості на продакшн-рівні.
Три фактори, які підштовхнули галузь до цієї точки перелому
Перший — розрив у можливостях моделей скорочується. Різниця між топовими моделями та моделями другого ешелону пройшла шлях від «чи взагалі можна використовувати» до «трохи поступається». Для переважної більшості бізнес-сценаріїв користувачі цієї різниці взагалі не відчують, а от різниця у вартості — цілком реальна. Другий — китайські моделі в китайськомовних сценаріях практично наздогнали лідерів. Qwen, DeepSeek, Doubao, ERNIE — у розумінні китайської мови, локалізованих знаннях та відповідності регуляторним вимогам вони навіть краще підходять для вітчизняного бізнесу, ніж закордонні моделі. Раніше багато команд будували роботу за принципом «закордонні моделі — основа, китайські — резерв», тепер ситуація зворотна. Третій, і найважливіший — компанії перейшли від демо до масштабного продакшену. На етапі демо обсяг викликів малий, витрати не критичні; але щойно масштаб зростає, вартість кожного виклику та втрати від кожного таймауту множаться. У цей момент вибір перестає бути питанням технічних уподобань і стає фінансовим питанням.
Після цього повороту — які компоненти інфраструктури треба доповнити
Перший компонент — модельний шлюз. Він вирішує проблему «один вхід керує всіма моделями». Без шлюзу кожне підключення нової моделі вимагає зміни коду, підтримки окремого набору ключів і написання окремої логіки повторних спроб. Зі шлюзом — уніфіковане підключення багатьох моделей, і перемикання моделі стає прозорим для верхнього рівня бізнес-логіки. Другий компонент — агрегація AI API. Її цінність у тому, що вона об'єднує закупівлі, білінг і управління квотами. Ми всередині компанії порівнювали: самостійне підключення SDK п'яти постачальників — лише підтримка документації та сумісності версій забирає чимало часу одного інженера; а якщо перейти на агрегаційну платформу, сумісну з OpenAI SDK, достатньо змінити один рядок base_url, щоб перемкнутися — і це реальна економія людських ресурсів. Тут варто зазначити, що позиціонування SiCore TokenWorks як рішення з пріоритетом китайських моделей і зеленою енергетикою точно влучає в цю точку повороту — бізнесу потрібне не максимальне число моделей, а повне покриття китайськими моделями, контрольована вартість і стабільне планування обчислювальних ресурсів. Третій компонент — спостережуваність. Без журналів викликів, статистики споживання Token і розподілу затримок ви просто не знаєте, куди витрачаються гроші та яка модель тягне назад. Передумова постійної оптимізації — це можливість бачити.
Три прогнози щодо вибору у 2026 році
Прогноз перший: оплата за фактичним обсягом стане варіантом за замовчуванням, а груба модель річної/місячної підписки відійде до небагатьох сценаріїв зі стабільним великим трафіком. Бо обсяг бізнесу сам по собі коливається, і ніхто не хоче платити за простоюючі обчислювальні ресурси. Прогноз другий: маршрутизація моделей перейде з категорії «просунута функція» до «базова функція». Коли використання трьох-чотирьох моделей одночасно стане нормою, автоматичний вибір оптимальної моделі перестане бути приємним бонусом і стане нагальною потребою для економії. Прогноз третій: зелена енергетика та локалізація перейдуть із категорії переваги до категорії жорстких вимог. Відповідність вимогам імпортозаміщення, витрати на енергію, стабільність ланцюгів постачання — ці три речі у 2026 році будуть прописані як обов'язкові вимоги в дедалі більшій кількості закупівельних процесів. Планування обчислювальних ресурсів, яке SiCore TokenWorks розгортає у східних і західних регіонах, по суті є відповіддю на цю тенденцію.
Підсумую одним реченням: зміна логіки вибору — це по суті перехід від «вибору найрозумнішої моделі» до «вибору найдоцільнішої комбінації». Якщо хочете глибше розібратися в деталях впровадження маршрутизації багатьох моделей і агрегації API, можна продовжити пошук у напрямках модельного шлюзу, API для великих моделей і оплати за фактичним обсягом.