Історія вуглецевого сліду ШІ зазвичай зосереджується на навчанні. Це зрозуміло: один великий цикл навчання може спалити мегават-години протягом тижнів. Але навчання відбувається один раз. Інференс відбувається щоразу, коли хтось запитує модель, назавжди, для мільйонів користувачів. Енергія, яка справді накопичується, — це енергія обслуговування.
Для споживача API це означає, що екологічність вашого використання LLM здебільшого визначається тим, що ви не контролюєте безпосередньо: де розташовані GPU провайдера і що їх живить. Однак ви можете обрати провайдера на основі цього.
Чому енергія інференсу — це історія дата-центрів
Робоче навантаження інференсу — це кластер GPU, що працює в дата-центрі. Дві речі домінують у його впливі:
Енергомережа, до якої він підключений. GPU, що споживає 700 ват, отримує енергію, яка є настільки ж чистою або брудною, як регіональний мікс електроенергії. Дата-центр у регіоні з великою часткою вітру та сонця викидає значно менше вуглецю на токен, ніж те саме обладнання в мережі з переважанням вугілля, навіть якщо все інше ідентичне.
Охолодження. Сервери перетворюють електроенергію на тепло, а позбавлення від цього тепла потребує додаткової електроенергії. Саме це вимірює PUE (ефективність використання енергії): загальна потужність об'єкта, поділена на потужність, що досягає IT-обладнання. PUE 1,5 означає, що об'єкт споживає на 50% більше енергії, ніж споживають сервери. Добре спроєктований сучасний об'єкт працює ближче до 1,1–1,2. Прохолодний, сухий клімат різко знижує витрати на охолодження, і це велика причина, чому дата-центри продовжують з'являтися в холодних внутрішніх регіонах, а не в центрах міст.
Де насправді знаходиться дешева чиста енергія
Місця з найкращою економікою чистої енергії для обчислень — не очевидні технологічні хаби. Вони, як правило, розташовані у внутрішніх регіонах із сильними вітровими та сонячними ресурсами та сухим, прохолодним кліматом:
•Внутрішня Монголія (Хорінгер). Одна з найбільших вітроенергетичних баз Китаю. Холодні зими означають, що більшу частину року потрібно мало або зовсім не потрібно механічного охолодження.
•Сіньцзян (Хамі). Дуже висока сонячна інсоляція та стабільний вітер. Віддалене місце, але віддаленість — це нормально, коли ваше робоче навантаження — це кластер GPU, яким ви керуєте віддалено.
•Нінся (Чжунвей). Уже усталений регіон дата-центрів із сонячною та вітровою енергією комунального масштабу; тут розміщено один із великих міжнародних хмарних регіонів, що свідчить про те, що економіка працює в масштабі.
Модель однакова для всіх трьох: рясна відновлювана генерація, прохолодний сухий клімат, що знижує PUE, і земля, достатньо дешева, щоб побудувати підстанції та сонячні поля, які живлять стійки.
Ніщо з цього не є екзотичною технологією. Це вибір місця розташування. Найзеленіше, що може зробити постачальник обчислень, — це розмістити своє обладнання там, де мережа вже чиста, а клімат безкоштовно виконує половину охолодження.
Що насправді мають говорити "зелені" заяви
Ось де я ставлюся скептично. "Зелений" — це маркетингове слово, доки хтось не надасть вам цифри. Коли провайдер робить заяву про чисту енергію, варто запитати три речі:
•PUE. Якщо вони не публікують його, вважайте заяву неперевірюваною.
•Фактичний мікс енергомережі регіону, де розташований дата-центр. Провайдер, який лише купує сертифікати на відновлювану енергію, працюючи на викопній мережі, не працює екологічно. Розташування — це і є розкриття інформації.
•Чи є відновлювані джерела реальною потужністю, а не компенсаціями. Нові вітрові та сонячні потужності, побудовані для живлення об'єкта, — це інша заява, ніж купівля кредитів деінде.
Чесні провайдери нададуть вам регіон і характеристики об'єкта. Якщо відповідь — "наші дата-центри розташовані у Внутрішній Монголії, Сіньцзяні та Нінся, на мережах із високою часткою відновлюваної енергії, у прохолодному кліматі", це конкретна, перевірювана заява. Якщо відповідь — гасло, йдіть далі.
Що ви насправді можете з цим зробити
Ви не будете перевіряти підстанцію провайдера. Але ви можете ухвалити кілька рішень, які зменшать ваш власний слід:
•Обирайте провайдерів, які розкривають розташування та PUE, а не тих, хто просто друкує "вуглецево нейтральний" на сторінці.
•Використовуйте менші моделі там, де це дозволяє завдання. Модель 7B може відповісти на питання підтримки майже так само добре, як модель 175B, за частку енергії. Спрямування легкого трафіку до маленької моделі — це найбільший важіль вуглецевого сліду, який ви контролюєте.
•Кешуйте агресивно. Кешування підказок перетворює повторюваний вхід на одноразову витрату, скорочуючи як затримку, так і енергію для повторюваних робочих навантажень.
•Об'єднуйте в пакети, коли можете. Менше, але більших запитів перевершують багато крихітних за використанням серверів.
Чесне формулювання полягає в тому, що ви не можете виміряти свій шлях до чистого сліду за допомогою електронної таблиці, бо мікс енергомережі не міститься у ваших даних. Що ви можете зробити — це обирати провайдерів, чия інфраструктура за задумом робить слід меншим, і припинити спрямовувати тривіальні запити до найбільшої моделі, яку ви можете собі дозволити.
Саме таку позицію займає SiCore TokenWorks: його три обчислювальні центри розташовані у Внутрішній Монголії (Хорінгер), Сіньцзяні (Хамі) та Нінся (Чжунвей) — регіонах, обраних за високу частку відновлюваної енергії та прохолодний клімат, що підтримує низький PUE. Якщо вас турбує енергія, що стоїть за вашими викликами API, саме таке розкриття інформації важливіше за значок.