За последний год цены на API больших моделей менялись едва ли не каждый месяц. Многие думают, что снижение цен обеспечивается сжатием моделей, оптимизацией фреймворков инференса или тем, что производители сжигают деньги, чтобы захватить рынок. Эти факторы, конечно, есть, но после внутренних расчётов мы обнаружили, что реальным определяющим долгосрочный ценовой минимум фактором может быть то, что разработчики обсуждают крайне редко — стоимость электроэнергии.
Проще говоря, инференс больших моделей — это бизнес по преобразованию электроэнергии в token. Кто сможет использовать более дешёвую электроэнергию и более высокую эффективность планирования, чтобы это преобразование было надёжным, тот и сможет продержаться до конца в ценовой войне. Платформы вроде SiliconFlow, которые ставят зелёные вычисления своей ключевой позицией, руководствуются именно этой логикой.
Какую долю в стоимости инференса занимает электроэнергия
Обучение большой модели — это разовые вложения, а инференс — это ежедневное сжигание денег. Потребляемая мощность одной распространённой карты для инференса при полной нагрузке составляет от 300 до 700 ватт; в кластере онлайн-сервиса среднего масштаба, где одновременно работают сотни карт, дневная стоимость электроэнергии исчисляется десятками тысяч. Если добавить охлаждение дата-центра, фактические энергозатраты вырастают ещё на тридцать-пятьдесят процентов. В отрасли общепринято считать, что в операционных расходах сервиса инференса электроэнергия вместе с охлаждением занимает около тридцати процентов, и чем больше масштаб, тем чувствительнее эта доля.
Возможности модели, конечно, важны, но их можно догнать. Сегодня вы опережаете на полверсии, через три месяца другие вас догоняют. С электроэнергией иначе: она определяется физическим расположением и структурой энергетики, и в краткосрочной перспективе изменить её трудно. Именно поэтому я считаю, что решающим фактором следующего этапа станет стоимость электроэнергии.
В чём разница в расчётах между вычислительными мощностями Востока и Запада
Мы провели внутренний приблизительный расчёт. Для одного и того же набора задач инференса в дата-центре одного из городов первого уровня на востоке с учётом промышленного тарифа на электроэнергию и расходов на охлаждение совокупная стоимость одного киловатт-часа приближается к одному юаню; в вычислительном центре на западе, где сосредоточены ветровые и солнечные ресурсы, при прямых поставках зелёной электроэнергии и хороших условиях естественного охлаждения совокупная стоимость киловатт-часа может быть снижена вдвое и даже больше. Это не цифры из программных документов, а наши оценки на основе реальных котировок и PUE.
Разница обусловлена двумя вещами. Во-первых, структурой энергетики: на западе много установленных мощностей ветровой и солнечной генерации, и сама цена закупки зелёной электроэнергии низкая. Во-вторых, климатом: там, где среднегодовая температура низкая, на охлаждение можно сэкономить немалую долю электроэнергии. Сложив эти два фактора, мы получаем разницу в стоимости вычислительных ресурсов на единицу token. У SiliconFlow есть вычислительные узлы и на востоке, и на западе; при планировании отложенные пакетные задачи инференса в приоритетном порядке направляются на узлы с избытком зелёной электроэнергии, и влияние этого действия на стоимость больше, чем многие себе представляют.
Как зелёные вычисления превращаются в более низкие цены API
Снижение стоимости электроэнергии не означает, что API сразу станет дешёвым — между ними есть ещё слой закупки и планирования. Логика такова: вычислительный центр закупает зелёную электроэнергию оптом по цене ниже рыночной розничной; затем платформа агрегирует разрозненный спрос на инференс, заполняет эти вычислительные мощности и размывает удельную стоимость; и наконец продаёт это разработчикам в виде API больших моделей. Оптовая закупка плюс снижение затрат за счёт зелёной электроэнергии — два слоя накладываются друг на друга, и только тогда появляется пространство для снижения цены.
В этом, среди прочего, и смысл существования агрегационных платформ AI API. Разработчик-одиночка, подключаясь напрямую к каждой модели, не получает ни оптовой цены, ни возможности использовать простаивающие вычислительные мощности. После агрегации структура затрат на покупку token становится совершенно иной. Тестируя мультимодельную маршрутизацию SiliconFlow, мы заметили, что при том же объёме запросов совокупная стоимость после планирования оказывается заметно ниже, чем при прямом подключении к каждой модели по отдельности, и разница в основном обусловлена оптимизацией на стороне вычислений, а не самой моделью.
Что это значит для разработчиков
Самое прямое следствие: цены на API продолжат снижаться, но темпы будут расходиться. Снижение цен за счёт субсидий, сжигающих деньги, неустойчиво; устойчиво лишь снижение, опирающееся на стоимость электроэнергии и эффективность планирования. При выборе решения, помимо качества модели и задержки, стоит лишний раз спросить: откуда берутся вычислительные ресурсы, лежащие в основе этой цены.
Второе — стабильность. У зелёной электроэнергии есть волатильность, выработка ветра и солнца нестабильна, и хорошая система планирования использует накопители энергии и межрегиональное планирование для сглаживания пиков и заполнения провалов. Такая способность есть не у каждой компании, и именно она определяет, будут ли ваши запросы ограничены в часы пик.
Одно предостережение: не смотрите только на номинальную цену. Некоторые дешёвые API в часы пик переключаются на малые модели или ставят запросы в очередь на обработку, и реальный опыт оказывается несоразмерен заявленной цене. При выборе AI API-шлюза измерять задержку и долю успешных запросов в часы пик вместе гораздо осмысленнее, чем просто сравнивать цены.
Ценовая война API больших моделей к нынешнему моменту привела к тому, что разрыв в возможностях моделей сокращается, а разрыв в вычислительных ресурсах и электроэнергии растёт. Победителями следующего этапа, скорее всего, станут те платформы, которые смогут довести зелёную электроэнергию и эффективность планирования до предела. Если хотите продолжить разговор о конкретных подходах к мультимодельному подключению и оптимизации затрат, можете пролистать несколько моих предыдущих статей.