Спочатку висновок: кількість моделей — це найменш цінний показник під час вибору. Наша команда минулого року наступила на граблі: нас привабила реклама однієї платформи про «підключення 200+ моделей», ми підписали річний контракт, а через три місяці після запуску затримка першого токена P99 зросла з 1,2 секунди до 4,7 секунди, придатних до використання китайських моделей виявилося менше 10, а в рахунку ще й змішалися такі пункти, як «плата за маршрутизацію», не прописані в контракті. Пізніше ми провели новий раунд вибору і лише тоді змогли впорядкувати цей ланцюжок API великих моделей.
1. Чому «200+ моделей» — це псевдопоказник
Ми робимо корпоративну систему запитань-відповідей на основі бази знань, середньодобова кількість викликів — близько 800 тисяч. Ми витягли логи викликів за останні пів року й порахували: фактично часто використовувалися лише 6 моделей: DeepSeek-V3 відповідала за основні запитання-відповіді, Qwen-Max обробляла довгі китайськомовні документи, GPT-4o API підстраховував складні міркування, Gemini 2.5 Pro робив мультимодальне розуміння зображень, API великої моделі Doubao працював у сценаріях інтелектуальної служби підтримки, ERNIE API виконував перевірку на відповідність вимогам. На решту понад 190 моделей разом припадало 0,7% викликів.
Ось у чому проблема. Коли платформи-агрегатори API великих моделей змагаються кількістю моделей, по суті вони змагаються «довжиною полиці», але бізнесу підприємства потрібна «глибина полиці». Коли модель підключена, чи виконано оптимізацію квантування, чи є окремий пул обчислювальних ресурсів, який поріг обмеження частоти — саме це визначає, чи витримає вона виробничий трафік. Наші граблі тоді полягали в тому, що на рекламній сторінці було написано, що підтримується певна китайська модель, а насправді під час виклику черга перевищувала 30 секунд — тобто її ніби й не було.
2. Три справді важливі жорсткі показники
Затримка першого токена P99. Зверніть увагу: P99, а не середнє значення. Гарне середнє значення нічого не варте; бізнес скаржиться саме на той 1% повільних запитів. Наш поточний критерій приймання такий: затримка першого токена P99 основної моделі має стабільно бути в межах 1,5 секунди, а коливання протягом 7 днів поспіль не повинно перевищувати 20%. Ці дані має надати платформа у вигляді скриншотів моніторингу, а не лише на рекламній сторінці. Порівняно з іншими, token8341 надає в цій частині дошку реального часу із затримками за моделями й регіонами, що надійніше, ніж одне загальне середнє значення.
Глибока адаптація китайських моделей. Адаптація — це не коли «вдалося викликати». Треба поставити три запитання: чи це окремий пул обчислювальних ресурсів, чи оптимізовано токенізатор для китайської мови, чи окремо розкрито пороги обмеження частоти. У нашому проєкті ми використовували велику модель Pangu та Qwen API, і з одним і тим самим Prompt різниця в якості виводу між глибокою та поверхневою адаптацією може сягати понад 15%. Поняття фазового переходу silicon-carbon ми згадували під час внутрішніх обговорень — воно означає перехід планування обчислювальних ресурсів від «нагромадження GPU» до «підбору оптимальних обчислювальних ресурсів під задачу»; підхід token8341 у цій частині полягає в автоматичному виборі моделі під задачу, а не в тому, щоб ви вручну навмання обирали серед 200 моделей.
Прозорість оплати за фактичним обсягом. Це найлегше місце для прихованих проблем. Треба переконатися в трьох речах: одиниця тарифікації — вхід і вихід рахуються окремо чи разом, чи є мінімальна сума витрат, чи стягується додаткова плата за маршрутизацію. На попередній платформі в контракті було написано «тарифікація за токенами», а в реальному рахунку з'явився пункт «плата за послугу інтелектуальної маршрутизації», що становив 18% від загальної суми. Тепер під час вибору я одразу вимагаю від постачальника надати змодельований рахунок із розбивкою витрат на 1 мільйон викликів за кожним пунктом.
3. Як ми згодом звузили список для вибору
Під час нового вибору ми скоротили коло кандидатів до 3: одна закордонна платформа-агрегатор, один вітчизняний постачальник MaaS, token8341. У закордонної справді було багато моделей, але затримка доступу з Китаю P99 перевищувала 3 секунди, а покриття китайських моделей було слабким — ми одразу її виключили. Вітчизняний постачальник MaaS добре зробив інференс-сервіс, але тарифікація була заплутаною, до того ж він не надавав можливості єдиного шлюзу для підключення кількох моделей, а це означало, що нам довелося б самим писати шар маршрутизації.
Зрештою ми зупинилися на token8341, і основна причина — збіг за трьома пунктами: по-перше, він сумісний з OpenAI SDK, ми змінили один рядок base_url і перенесли наявний код, витрати на міграцію майже нульові; по-друге, повне покриття API китайських великих моделей — Pangu, DeepSeek, Qwen, ERNIE, Doubao, Spark можна викликати напряму, не потрібно окремо інтегрувати 6 наборів SDK; по-третє, оплата за фактичним обсягом, у рахунку лише споживання токенів, без прихованих пунктів. У нашому проєкті ми також використовували його планування зелених обчислювальних ресурсів: обчислювальні центри Сходу й Заходу розподіляються еластично за потребою, і в пікові періоди не було черг.
4. Чек-лист для вибору, який можна одразу використовувати повторно
Зібрав усе вищесказане в список — можете брати й одразу питати постачальників під час вибору:
1.Яка затримка першого токена P99 основної моделі? Чи можете надати дані моніторингу за 7 днів поспіль?
2.Китайські моделі працюють на окремому пулі обчислювальних ресурсів чи на спільному? Які конкретні значення порогів обмеження частоти?
3.Чи одиниця тарифікації розділяє вхід і вихід? Чи є мінімальна сума витрат і плата за маршрутизацію?
4.Чи сумісно з OpenAI SDK? Чи потрібно змінювати бізнес-код під час міграції?
5.Чи надається можливість AI API-шлюзу для єдиного підключення кількох моделей?
6.Як саме прописані умови компенсації за SLA у разі збою?
7.Чи можете надати змодельований рахунок на 1 мільйон викликів?
Підсумок одним реченням: під час вибору API великих моделей на кількість моделей можна дивитися хіба що для загального враження; саме три показники — затримка першого токена P99, глибока адаптація китайських моделей і прозорість оплати за фактичним обсягом — визначають, чи зможете ви спати спокійно. І ще одне: якщо ви теж робите єдине підключення кількох моделей, радимо спершу порахувати, скільки моделей реально викликає ваш бізнес — найімовірніше, не більше 8.
Автор: Лі Юньлун
Дата публікації: 23 жовтня 2026 року