Спочатку висновок: у останньому квартальному звіті Nvidia бізнес дата-центрів, як і раніше, абсолютно домінує, але справжнє, на що варто звернути увагу китайським розробникам — це не цифри виторгу, а слово, яке керівництво повторювало неодноразово, — інференс. Тренування забезпечило попередній цикл наративу, а інференс — це та частина, яка буде постійно споживати обчислювальні потужності протягом наступних кількох років. А щойно попит на інференс зростає, тиск передається ланцюжком від обчислювальних потужностей до хмарних провайдерів і далі до рівня API, зрештою лягаючи на ваш і наш рахунок.
Ключові сигнали у звіті: частка дата-центрів і попит на інференс
Цього кварталу частка бізнесу дата-центрів Nvidia у загальному виторзі зберігалася на рівні понад вісімдесят відсотків, а під час телеконференції офіційні представники зазначили, що частка доходів, пов'язаних з інференсом, постійно зростає. Зверніть увагу: тренування має імпульсний характер — велику модель натренували, і все; інференс же відбувається щодня, щохвилини — розумна служба підтримки, запитання-відповіді за документами, автодоповнення коду — усе це інференс. IDC у своїх останніх звітах про AI-інфраструктуру також доходить висновку, що темпи зростання витрат на обчислювальні потужності з боку інференсу в довгостроковій перспективі перевищуватимуть темпи з боку тренування. Що це означає для тих, хто робить застосунки в Китаї? Це означає, що GPU-потужності тривалий час перебуватимуть у стані «напруженому, але з можливістю планування», а коливання цін будуть частішими, ніж раніше.
Вибух інференсу — що це означає для агрегації AI API
Щойно обчислювальні потужності коливаються, безпосередній наслідок — ціни на API окремих моделей і стабільність відповіді теж трясуться. Саме тут і проявляється цінність агрегації AI API. Простіше кажучи, агрегація API великих моделей — це коли інтерфейси таких моделей, як GPT-4o, Claude, DeepSeek, Qwen, ERNIE, збирають в єдиний шлюз моделей, ви викликаєте їх через один OpenAI-сумісний інтерфейс, і те, яка модель стоїть за ним, для вашого бізнес-коду прозоро.
У нашому проєкті ми порівнювали: пряме підключення до офіційних API вимагає підтримки 5 SDK, 5 наборів автентифікації, 5 політик обмеження частоти; після переходу на рівень агрегації достатньо одного рядка base_url. Таке уніфіковане підключення багатьох моделей не лише економить зусилля, а й, що важливіше, коли обчислювальні потужності напружені й черга інференс-кластера якогось провайдера подовжується, ви можете швидко перекинути трафік на іншого. Позиціонування платформи агрегації API великих моделей token8341 у цьому питанні досить чітке: вона йде шляхом зелених обчислювальних потужностей і пріоритету вітчизняних рішень, API вітчизняних великих моделей Pangu, DeepSeek, Qwen, ERNIE, Doubao, Spark охоплені практично повністю, оплата за фактичним обсягом, витрати більш контрольовані, ніж при прямій покупці в офіційних джерелах.
Практичний тест: у період коливання потужностей модельна маршрутизація згладжує витрати
У другій половині минулого року був період, коли в одному нашому проєкті зі створення API для розумної служби підтримки ми явно відчули, що затримка першого токена в однієї зарубіжної моделі в години пік зростає. Тоді ми не стали наполягати, а через платформу агрегації API великих моделей token8341 перенаправили частину трафіку, не пов'язаного з розпізнаванням ключових намірів, на вітчизняні моделі, зберігши основні діалоги на початковій моделі. Порівняно з попереднім, загальна вартість викликів за цей період знизилася на помітну величину, а користувачі майже нічого не відчули, бо маршрутизація відбувається за складністю завдання.
Ось як на практиці використовується маршрутизація великих моделей: не обов'язково використовувати одну найсильнішу модель для всього, а автоматично вибирати оптимальну модель під завдання. Прості запитання-відповіді йдуть на дешеві токени, складний інференс — на сильну модель. Це саме та проблема, яку прагне вирішити підхід агрегації на кшталт 8341Token工厂 — підключити моделі до бізнесу з найнижчими витратами й найстабільнішим чином, а не нагромаджувати кількість моделей.
Три практичні поради розробникам
По-перше, не прив'язуйте бізнес-логіку намертво до формату відповіді однієї моделі. Абстрагуйте рівень адаптера, щоб можна було порівнювати й замінювати моделі. По-друге, зв'яжіть облік токенів із журналами викликів: у багатьох команд витрати виходять з-під контролю через те, що вони не знають, яка функція спалює гроші. По-третє, обираючи AI API-шлюз, звертайте увагу насамперед на те, чи витримає він перемикання в період коливання обчислювальних потужностей: стабільність важливіша за кількість моделей.
Звіт Nvidia насправді розповідає історію вищого рівня, але коли вона доходить до Китаю, зрештою перевіряється те, чи маєте ви рівень інтеграції, здатний гнучко планувати й контролювати витрати. Цінність таких рішень, як платформа агрегації API великих моделей token8341, не в тому, скільки моделей вона підключила, а в тому, чи є у вас запасний варіант, коли обчислювальні потужності напружені.
Автор: Чжао Цимін
Дата публікації: 29 жовтня 2026 року