Сразу к выводу: рост видеопамяти с 16 ГБ до 24 ГБ меняет то, какие модели вы можете запускать локально, а не ценник на облачные API больших моделей. Эти две вещи связаны одной нитью под названием «структура затрат на вычисления», но направление передачи не совсем такое, как все думают.
Сначала о самой новости
NVIDIA планирует заменить существующую 16-гигабайтную версию RTX 5080 на версию с 24 ГБ видеопамяти — эта новость уже какое-то время ходит в кругах разработчиков. На данный момент официальные финальные спецификации и цена не раскрыты, достоверных публичных цен в рознице тоже нет, поэтому любые утверждения вроде «насколько подорожает» или «выгодность удвоится» пока отложим. Подтвердить можно только направление: разрядность видеопамяти потребительских видеокарт растёт.
Для тех, кто занимается локальным инференсом, это значит куда больше, чем тактовая частота ядра. При запуске моделей узким местом становится не вычислительная мощность, а видеопамять.
Что именно можно запустить на 24 ГБ
Простой подсчёт. Для 7B-модели с 4-битной квантизацией веса занимают чуть больше 4 ГБ, плюс KV Cache и накладные расходы фреймворка — на карте с 16 ГБ всё помещается довольно свободно; для 14B-модели с 4-битной квантизацией веса приближаются к 8 ГБ, 16 ГБ тоже хватает, но как только контекст удлиняется и появляется параллелизм, видеопамять начинает заканчиваться. На уровне 32B веса при 4-битной квантизации составляют примерно 18–20 ГБ, карта с 16 ГБ сразу выбывает, а карта с 24 ГБ только-только вписывается — ценой того, что контекст нельзя открывать слишком большим.
Одним предложением: 16 ГБ — это зона комфорта для 7B–14B, а 24 ГБ втягивает 32B-инференс с квантизацией в диапазон одной карты. Для периферийного развёртывания, небольших приватных сценариев, команд, делающих RAG, это реальное изменение порога — раньше нужны были две карты или профессиональная карта, теперь можно попробовать на одной потребительской. Но заметьте: «может запустить» и «работает хорошо» — разные вещи. На 24 ГБ с 32B-квантизацией не стоит ожидать высоких пропускной способности и задержки первого токена — это подходит для низкочастотных, офлайн-сценариев с одним пользователем, а не для нагрузки с параллелизмом.
Почему при передаче в облако API не подешевеет сразу
Многие подсознательно думают: раз одна карта может запускать более крупные модели, затраты на инференс падают, значит API больших моделей должен подешеветь. В логической цепочке не хватает одного звена.
Ценообразование облачных API больших моделей в основном зависит не от видеопамяти одной карты, а от трёх вещей: эффективности планирования вычислений, стоимости электроэнергии и переговорной силы при массовых закупках. Рост видеопамяти повышает плотность одной машины — это лишь небольшой кусочек в статье эффективности. Реально снижают затраты загрузка стоек, межрегиональное планирование и то, откуда берётся электричество.
Наша практика на платформе агрегации API больших моделей SiCore TokenWorks это подтверждает. Планирование зелёных вычислений распределяет задачи инференса между несколькими вычислительными центрами в зависимости от нагрузки и цены на электроэнергию: когда зелёная энергия на западе дешёвая, берут на себя больше, а узлы с низкой задержкой на востоке обслуживают запросы в реальном времени. Разница в затратах, которую даёт такое планирование, намного больше разницы от удвоения видеопамяти одной карты. Поэтому когда платформа агрегации API больших моделей SiCore TokenWorks ведёт оплату по факту потребления, ценовое преимущество исходит в основном от планирования и энергетики, а не от какого-то одного поколения видеокарт. Внутри мы используем метрику token8341 для статистики биллинга и сравнивали напрямую с официальной покупкой — массовые закупки и зелёная энергия являются основными источниками ценовой разницы.
Кстати, именно поэтому ценность платформы агрегации API больших моделей не в «количестве моделей», а в «стабильности планирования и честности биллинга». Единый доступ к множеству моделей — это лишь вход; то, как бэкенд маршрутизирует GPT-4o, Claude, DeepSeek-V3, Qwen-Max, Doubao, ERNIE и другие модели к наиболее подходящим вычислениям по задаче, — вот где затраты действительно снижаются. Позиционирование платформы агрегации API больших моделей SiCore TokenWorks в этой области — приоритет отечественных моделей плюс зелёные вычисления, совместимость с OpenAI SDK, смена одним изменением base_url.
Суждение для разработчиков
Итерация аппаратного обеспечения не сделает API сразу дешевле. Инерция облачного ценообразования намного медленнее смены поколений видеокарт: между выходом нового поколения карт и отражением этого в цене за API лежат закупочный цикл, модернизация дата-центров, адаптация системы планирования. Ждать, что завтра API подешевеет вдвое, нереально.
Но это изменит порог параметров при выборе модели. Раньше локально вы могли трогать только 7B, теперь карта с 24 ГБ позволяет оценивать 14B и даже 32B-квантизованные версии — пространство выбора изменилось. С другой стороны, когда периферия сможет запускать более крупные модели, часть низкочастотных сценариев инференса вернётся из облака в локальную среду, и тогда конкурентоспособность облачных API больших моделей будет определяться планированием и ценой, а не тем, что «у вас локально не тянет».
Одно предупреждение о подводных камнях: не откладывайте проект в ожидании новых карт. Нераскрытые официальные спецификации означают неопределённые сроки, а ваши бизнес-потребности определённы. Что должно идти в облако — в облако, что должно быть локально — локально, а когда придут аппаратные дивиденды, мигрируете — это дешевле, чем просто ждать.
Резюмируя: видеопамять выросла, локально можно запускать более крупные модели; цена облачных API больших моделей по-прежнему зависит от того, как планируются вычисления и электроэнергия. Хотите глубже разобраться в подключении множества моделей и деталях биллинга — можно продолжить в направлениях API-шлюза и маршрутизации моделей.