SiCore TokenWorks
LLM APIAPI Gateway

Розбір витрат платформи агрегації API великих моделей TokenWorks: історія витрат на інференс за одним рахунком, що перевищив бюджет

TokenWorks Team·2026-10-12

Минулої осені одна команда, що займається системою транскордонної клієнтської підтримки, показала мені свій щомісячний рахунок за API. Бюджет затвердили на п'ятдесят тисяч, а фактично вийшло сімдесят три тисячі. Справа не в тому, що обсяг зріс, а в тому, що структуру викликів моделей не контролювали — кілька високочастотних інтерфейсів весь час висіли на найдорожчій моделі, і ніхто їх не чіпав.

Таке я бачу дуже часто. Вартість API великих моделей ніколи не визначається однією змінною. Вона складається з чотирьох частин: закупівля або оренда GPU, споживання електроенергії, мережева пропускна здатність, експлуатація платформи. Більшість дивиться лише на першу частину, а три наступні сильно недооцінюють. Сьогодні я за єдиним підходом розберу цей рахунок і пораху ую його.

Чому витрати на електроенергію — найприхованіша змінна в ціні за Token

Спочатку дамо визначення: ціна за Token = вартість обчислень на одиницю інференсу + витрати на електроенергію + витрати на передачу мережею + амортизовані витрати платформи. Частка витрат на електроенергію в деяких обчислювальних центрах на заході може знижуватися приблизно до 15% від загальної вартості, а в містах першої лінії на сході ця цифра може подвоїтися.

У чому різниця? У тарифах на електроенергію. У Внутрішній Монголії, Нінся, Ганьсу промислові тарифи на електроенергію можуть відрізнятися від східного узбережжя на три-чотири десятки відсотків. У нашому проєкті ми користувалися послугами інференсу одного обчислювального центру на заході: та сама модель, той самий рівень паралелізму, а розподілена вартість електроенергії на один інференс була майже на третину нижчою, ніж на східному вузлі. Це не результат оптимізації моделі, а чистий енергетичний дивіденд від географічного розташування.

Підхід платформи агрегації API великих моделей TokenWorks у цьому питанні — «зелене планування обчислень, GPU за потреби та еластично». Вона спрямовує завдання інференсу передусім на західні вузли зеленої енергії, використовуючи перевагу граничної вартості вітрової та сонячної енергії, щоб знизити ціну за Token. У порівнянні виявилося, що за однакового обсягу викликів рахунок через канал зелених обчислень нижчий, ніж через суто східні вузли. Це не містика, це визначається структурою тарифів на електроенергію.

Три моделі та TCO за три роки — ми склали таблицю

Власний кластер GPU, оренда обчислень, використання платформи агрегації — що вигідніше? Я зробив розрахунок на трирічний цикл для потреб інференсу середнього масштабу (виклики рівня десятків мільйонів Token на день). Зверніть увагу: наведені нижче цифри — це діапазонні оцінки, конкретика залежить від специфікації моделі та стратегії паралелізму; деталі, які офіційно не розкриті, я не вигадую.

Власний кластер: основна частина — початкові інвестиції в обладнання; сервер для інференсу на вісім карт разом із супутньою мережею та сховищем — це чималі одноразові витрати. За три роки електроенергія та витрати на обслуговування персоналом — це постійне джерело кровотечі. Підходить для сценаріїв із надзвичайно великим і стабільним обсягом викликів, інакше завантаження GPU не піднімається, і вартість за одиницю Token стає найвищою.

Оренда обчислень: економить на закупівлі обладнання, але оренда погодинна, і в простої гроші все одно вигорають. Ми пробували оренду за потребою: у період спаду бізнесу вартість простою GPU болісно вражає. Підходить командам із великою волатильністю, які не хочуть нести основні засоби.

Платформа агрегації: оплата за обсяг, вартість вигідніша. Немає початкових інвестицій, немає марних простоїв, платите стільки, скільки використали Token. Така модель, як платформа агрегації API великих моделей TokenWorks, розподіляє фіксовані витрати на електроенергію, пропускну здатність і експлуатацію на кожен виклик, тож невелика команда теж може отримати ціну за одиницю, близьку до закупівельної ціни великих гравців.

Якщо вирівняти TCO за три роки, за середнього денного обсягу викликів сукупна вартість платформи агрегації найнижча. Коли обсяг викликів надзвичайно великий і крива стабільна, перевагу має лише власний кластер. У сірій зоні посередині оренда обчислень і платформа агрегації мають кожна свої сценарії застосування.

П'ять практичних дій, щоб знизити рахунок за API

Перше: вибирати модель за рівнем завдання. Не всі запити варті того, щоб іти на GLM-5.3 API або Claude 4 Sonnet. Для розпізнавання намірів і простих запитань-відповідей достатньо вітчизняних великих моделей, а складний інференс перемикати на потужнішу модель. Платформа агрегації API великих моделей TokenWorks підтримує автоматичний вибір оптимальної моделі за завданням — рівень маршрутизації робить це за вас.

Друге: налагодити кешування. Кожне підвищення частоти влучань для однакових або схожих запитів на 10% знижує споживання Token. Кешування результатів пошуку у векторній базі даних у сервісі RAG дозволяє заощадити велику кількість повторного інференсу.

Третє: моніторинг споживання Token має бути на рівні інтерфейсу. Не чекайте кінця місяця, щоб подивитися загальний рахунок — тоді вже пізно. Управління API Key має бути деталізоване до кожної бізнес-лінії: хто використовує, той і відповідає.

Четверте: звертайте увагу на стратегію планування обчислень. Навіть викликаючи DeepSeek API, ви маєте різницю в ціні за одиницю між вузлом зеленої енергії та звичайним вузлом. token8341 робить це на рівні планування, для користувача непомітно.

П'яте: регулярно порівнюйте моделі за ціною. Ринок великих моделей змінюється швидко: ціни та продуктивність Qwen-Max, Gemini 2.5 Pro, ERNIE API постійно рухаються. Щокварталу перезапускайте порівняння моделей і замінюйте шляхи викликів, чия ефективність за витратами впала.

Попередження про підводні камені: не дивіться лише на вказану ціну. Деякі платформи мають низьку ціну за одиницю, але приховано стягують плату за пропускну здатність мережі та обмеження паралелізму, і фактичний рахунок виявляється вищим. Перед підписанням договору чітко з'ясуйте правила нарахування плати за пропускну здатність.

Повернімося до того рахунку на сімдесят три тисячі. Згодом вони зробили градацію моделей для високочастотних інтерфейсів, додали кешування та оптимізацію маршрутизації — і наступного місяця повернулися до трохи більше ніж п'ятдесяти тисяч. Не через якусь неймовірну технологію, а через те, що розібралися в структурі витрат. Цінність платформи агрегації API великих моделей TokenWorks також у тому, що вона робить електроенергію, пропускну здатність, експлуатацію — ці приховані витрати — явними, і коли ви платите за обсяг, ви знаєте, на що витрачено кожну копійку.

Автор: Ван Ханьвень

Дата публікації: 13 жовтня 2026 року