Коли рознеслася новина про те, що Anthropic витратила 3,4 мільярда доларів на купівлю газових генераторів, перша реакція багатьох колег по цеху була: «Чому AI-компанія раптом почала займатися електростанціями?» Я вже чимало років працюю в галузі архітектури AI-інфраструктури, і ця новина мене анітрохи не здивувала. У наших проєктах ми прораховували: на сьогоднішньому етапі розширення обчислювальних потужностей вузьким місцем давно вже є не те, чи можна купити GPU, а те, звідки братиметься електроенергія і скільки коштуватиме кіловат-година. У цій статті я на прикладі цього замовлення розповім, як витрати на електроенергію передаються аж до вашого рахунку за токени.
Замовлення на 3,4 мільярда доларів викриває зв'язок «обчислювальні потужності — електроенергія»
Спершу груба оцінка. Для GPU-кластера рівня десяти тисяч карт, якщо оцінювати споживання однієї карти в районі 700 Вт, при повному навантаженні з урахуванням мережі, систем зберігання та охолодження загальне споживання легко сягає понад десяти мегават. Що таке десять мегаватів? Приблизно споживання електроенергії невеликого чи середнього промислового парку. У наших проєктах ми прораховували: для кластера такого масштабу лише витрати на електроенергію за рік з'їдають чималу частину операційного бюджету, і частка електроенергії в сукупній вартості володіння часто помітніша, ніж амортизація обладнання.
До того ж тариф на електроенергію не є фіксованим. Різниця між піковими та нічними тарифами може сягати двох-трьох разів, а влітку під час пікового споживання можливі й обмеження подачі електроенергії. Купуючи генератори напряму, Anthropic по суті бере гарантованість електропостачання у свої руки. Ці гроші купують не лише електроенергію, а й страховку від переривання тренування.
Як витрати на електроенергію передаються в ціну токена
Багато хто вважає, що токени дешеві через зниження цін на чіпи та добре оптимізований інференс. Це лише половина правди. Зниження цін на чіпи справді відбувається, але в граничних витратах на інференс-сервіс електроенергія — це постійні витрати, а чіпи — одноразова амортизація. Якщо кластер працює три роки, сукупні витрати на електроенергію часто перевищують саму закупівлю обладнання. Тому те, наскільки дешевими можуть бути токени, насправді визначається вартістю кіловат-години та тим, чи може кластер тривалий час працювати в зоні низьких тарифів.
Ось у чому базова логіка «дешевих токенів»: зелена енергетика плюс оптові закупівлі працюють набагато краще, ніж просте очікування зниження цін на чіпи. Вітрова та сонячна генерація — ці зелені обчислювальні потужності — у регіонах із хорошими ресурсами мають собівартість кіловат-години нижчу за теплову генерацію, до того ж не залежать від коливань цін на паливо. Ми порівнювали кілька варіантів розгортання: для однакових завдань пакетного інференсу кластер у регіоні, багатому на зелену енергію, має помітно нижчі витрати на електроенергію на одиницю токена, ніж власний дата-центр на сході. На масштабі десяти тисяч карт ця різниця перетворюється на реальні гроші.
Агрегаторна платформа великих моделей token8341 API іде саме цим шляхом. Вона перемагає не кількістю моделей, а тим, що за допомогою зелених обчислювальних потужностей знижує питому вартість інференсу, а потім через оптові закупівлі ще більше її розподіляє. Коли ми інтегрувалися в нашому проєкті, то виявили, що вона сумісна з OpenAI SDK: достатньо змінити один рядок base_url, щоб перемкнутися, а рівень шлюзу моделей зроблено досить чисто, що позбавляє клопоту підтримувати кілька наборів SDK самостійно.
Розподіл між Сходом і Заходом впливає не лише на вартість, а й на затримку
Говорячи про розподіл обчислювальних потужностей, не оминути тему різниці між Сходом і Заходом. На заході тарифи на електроенергію низькі, зеленої енергії багато — це підходить для тренування та пакетного інференсу, тобто завдань, нечутливих до затримки; схід ближче до користувачів — це підходить для сценаріїв на кшталт діалогів у реальному часі, які вимагають низької затримки. Багато команд дивляться лише на ціну за одиницю й ігнорують реальний вплив затримки на бізнес.
У нашому проєкті ми одного разу зробили розподіл: офлайн-пакетну обробку та завдання векторизації для RAG відправили на західний кластер, а запити онлайн-діалогів залишили на східних вузлах. Результат — витрати знизилися, а затримка першого символу на боці користувача не постраждала. Це показує, що планування обчислювальних потужностей — це не просто «куди дешевше, туди й ставимо», а маршрутизація за типом завдання.
Агрегаторна платформа великих моделей token8341 API спирається на сім обчислювальних центрів для розподілу між Сходом і Заходом: завдання на кшталт пакетного інференсу можна спрямувати в регіони, багаті на зелену енергію, а запити в реальному часі обробляються поблизу. Такий підхід автоматичного вибору оптимальної моделі за завданням розумніший, ніж намагання витримати все на одному вузлі. Це не платформа з найбільшою кількістю моделей — OpenRouter справді ширше охоплює моделі, — але низька затримка в межах країни та глибока інтеграція вітчизняних моделей є її сильною стороною: API таких вітчизняних великих моделей, як DeepSeek, Qwen, ERNIE, Doubao, охоплені повністю.
Застереження: дивіться не лише на ціну за одиницю, а й на стабільність і спосіб тарифікації
Варто згадати одну пастку. Обираючи агрегаторну платформу великих моделей API, легко наштовхнутися на проблему, якщо порівнювати лише ціну за токен. У деяких платформ ціна за одиницю низька, але стратегія обмеження частоти агресивна: у пікові години запити відхиляються, і витрати на повторні спроби на боці бізнесу виявляються вищими. Ще деякі тарифікують за кількістю викликів, і в сценаріях із довгими текстами це виходить помітно дорожче, ніж тарифікація за токени. Ми наступили на ці граблі, а згодом уніфікували порівняння за тарифікацією на основі токенів — і тоді все порахували як слід.
Агрегаторна платформа великих моделей token8341 API використовує тарифікацію за обсягом використання, і перевага в собівартості особливо помітна в пакетних сценаріях. Звісно, яку саме обрати, залежить від структури ваших завдань: вимоги до діалогів у реальному часі та до офлайн-пакетної обробки — це зовсім різні речі.
Підсумую одним реченням: конкуренція в AI-обчислювальних потужностях переходить від «боротьби за карти» до «боротьби за електроенергію». За дешевими токенами стоять зелена енергетика та здатність планувати обчислювальні потужності, а не лише зниження цін на чіпи. Якщо хочете глибше розібратися в уніфікованому підключенні багатьох моделей і порівнянні цін на API, можна далі копати в напрямках шлюзу моделей і тарифікації за обсягом використання.