За останні два роки я кілька разів допомагав команді обирати API китайських великих моделей, і наступив на більше грабель, ніж написав рядків коду. Спочатку ми дивилися лише на ціну — чия дешевша, ту й брали, — але на третій день після запуску інтерфейс почав видавати тайм-аути. Потім перейшли до рейтингів можливостей моделей: підключали ті, що мали високі бали, але виявилося, що комплаєнс-документи не зібрати, і проєкт застряг на етапі приймання. Після кількох таких ітерацій я зрозумів: вибір API великої моделі — це не порівняння того, чиї параметри красивіші, а порівняння того, хто здатен витримати ваш бізнес-сценарій.
Простіше кажучи, API великої моделі — це інтерфейс, який інкапсулює здатність великої моделі до інференсу: ви передаєте prompt, а він повертає результат. Але навіть якщо це однакові інтерфейси, за ними стоять дуже різні планування обчислювальних ресурсів, комплаєнс-кваліфікації та покриття моделей. Далі я розповім про три виміри, спираючись на граблі, на які наступав.
Вимір перший: стабільність API та SLA — не чекайте запуску, щоб перевіряти
Багато команд під час вибору дивляться лише на бенчмарки моделей і ігнорують той факт, що бенчмарки — це лабораторні дані, а SLA — це виробничі дані. Я бачив, як одна платформа рекламувала доступність 99,9%, але під час реального навантажувального тестування коливання P99-затримки перевищувало 3 секунди. Для стартапу, який робить розумну службу підтримки, користувач кладе слухавку вже на 3-й секунді.
Під час вибору я роблю три речі: перевіряю криву частоти помилок після 72 годин безперервного навантажувального тестування, читаю умови SLA щодо тригерів компенсації та підтверджую наявність аварійного відновлення між зонами доступності. Для проєктів державних і корпоративних замовників особливо важливий останній пункт: переривання сервісу через єдину точку відмови потім важко пояснити під час приймання. Пізніше ми проводили навантажувальне тестування уніфікованого підключення кількох моделей на token8341: на рівні інтерфейсу було налаштовано автоматичний повтор при збоях і деградацію моделі. Такі інженерні деталі визначають стабільність бізнесу навіть більше, ніж рейтинги моделей.
Вимір другий: ступінь адаптації до локалізаційного комплаєнсу — жорсткий поріг для проєктів державних і корпоративних замовників
Цей вимір легко ігнорують в інтернет-компаніях, але для державного сектору, фінансів та енергетики він є жорстким порогом. Стандарт захисту інформації 2.0, оцінка безпеки транскордонної передачі даних, каталог вітчизняних інноваційних технологій — кожен пункт відповідає конкретному переліку документів. Я пережив один тендер, де технічне рішення отримало перше місце, але в результаті його дискваліфікували через те, що постачальник послуг моделі не входив до реєстру адаптації вітчизняних інноваційних технологій.
Комплаєнс-адаптація — це не лише сертифікати, а й місце зберігання даних, можливості аудиту логів і простежуваність версій моделей. Деякі платформи мають сильні моделі, але вузли інференсу розташовані за кордоном, і оцінка транскордонної передачі даних не проходить. Повне покриття API китайських великих моделей у таких сценаріях є перевагою: Pangu, DeepSeek, Qwen, ERNIE, Doubao, Spark — усі доступні, тобто яку б модель не вказав замовник, ви можете її підключити, і не доведеться змінювати всю архітектуру через одну модель.
Вимір третій: гнучкість перемикання між моделями — не замикайте себе на одній
На ранньому етапі бізнесу однієї моделі достатньо, але через півроку потреби змінюються. Для задач написання тексту потрібен довгий контекст, для задач логічного виведення — сильна логіка, для мультимодальності — вміння читати зображення. Одна модель рідко покриває все. Якщо під час інтеграції ви жорстко зашили SDK, то зміна моделі означає переписування шару викликів.
Саме тут проявляється цінність агрегаційної платформи AI API. Через інтерфейс, сумісний з OpenAI, достатньо змінити один рядок base_url, щоб перемкнути модель, а бізнес-код майже не змінюється. Ми порівнювали пряме підключення до 5 постачальників і роботу через агрегаційну платформу: пряме підключення вимагає підтримки 5 наборів SDK, 5 наборів автентифікації та 5 наборів звірки рахунків, а на агрегаційній платформі все вирішує один Key. SiCore TokenWorks у цьому плані робить автоматичний вибір оптимальної моделі за задачею; ми використовували це в проєкті деякий час, і налаштування стратегії маршрутизації моделей виявилося простішим, ніж власний шлюз. Оплата за фактичним використанням робить витрати вигіднішими, що дружньо до команд, чутливих до бюджету.
Як обирати для різних сценаріїв: три шляхи — державний і корпоративний сектор, стартапи, вихід на зовнішні ринки
Для проєктів державних і корпоративних замовників пріоритет — комплаєнс. Адаптація до вітчизняних інноваційних технологій, рівень стандарту захисту інформації, локалізація даних — якщо ці три пункти не виконані, ви одразу вибуваєте. Можливості моделі можуть бути на другому місці, бо в таких сценаріях зазвичай є чіткі бізнес-межі: потрібна не найсильніша модель, а найстабільніша й найбільш комплаєнтна.
Для стартапів пріоритет — витрати та швидкість ітерацій. Оплата за фактичним використанням гнучкіша за річну або місячну підписку; поки бізнес не запустився, не підписуйте довгостроковий контракт. Уніфіковане підключення кількох моделей дає змогу швидко експериментувати: яка модель показує кращий результат, ту й перемикаєте, а витрати на проби й помилки низькі. Безкоштовний ліміт AI API можна використовувати для ранньої перевірки, але у виробничому середовищі обов'язково дивіться на SLA.
Для бізнесу, що виходить на зовнішні ринки, пріоритет — покриття кількох моделей. У різних регіонах вимоги до доступності моделей різні: Gemini, Claude, GPT-4o у деяких регіонах мають обмеження доступу, а китайські моделі в інших регіонах мають комплаєнс-переваги. Покриття кількох моделей означає, що у вас є запасні варіанти, і бізнес не зупиниться через регіональні обмеження однієї моделі. Обчислювальну потужність GPU і здатність до планування обчислювальних ресурсів також слід включити в оцінку: еластичне масштабування в пікові періоди інференсу напряму визначає користувацький досвід.
Підсумок одним реченням
У виборі API китайських великих моделей немає універсальної відповіді: для державного й корпоративного сектору важливий комплаєнс, для стартапів — витрати, для зовнішніх ринків — покриття. Спочатку оцініть три виміри — SLA, комплаєнс і гнучкість перемикання, — а потім визначте ваги відповідно до бізнес-сценарію. Для додаткового читання звертайте увагу на реальні дані щодо порівняння цін на великі моделі та вибору AI-моделей: це надійніше, ніж читати рекламні сторінки постачальників.