Спочатку висновок: зростання відеопам'яті з 16 ГБ до 24 ГБ змінює те, які моделі ви можете запускати локально, а не цінник на хмарні API великих моделей. Ці дві речі пов'язані ниткою під назвою «структура витрат на обчислення», але напрямок передачі не зовсім такий, як усі думають.
Спочатку про саму новину
NVIDIA планує замінити наявну 16-гігабайтну версію RTX 5080 версією з 24 ГБ відеопам'яті — ця новина вже деякий час ходить у колах розробників. Станом на зараз офіційно кінцеві специфікації та ціну не розкрито, надійних публічних цін у роздробі теж немає, тож будь-які твердження на кшталт «наскільки подорожчає» чи «вигода подвоїться» поки що відкладемо. Підтвердити можна лише напрямок: розрядність шини відеопам'яті споживчих відеокарт зростає.
Для тих, хто займається локальним інференсом, це означає набагато більше, ніж тактова частота ядра. Під час запуску моделей упираєшся не в обчислення, а спершу у відеопам'ять.
Що саме дозволяє запустити 24 ГБ
Порахуймо приблизно. Для моделі 7B з 4-бітною квантизацією ваги займають трохи більше 4 ГБ, плюс KV Cache і накладні витрати фреймворку — на карті з 16 ГБ усе доволі вільно; для моделі 14B з 4-бітною квантизацією ваги наближаються до 8 ГБ, 16 ГБ теж вміщає, але щойно контекст подовжується й зростає паралелізм, відеопам'ять починає напружуватися. На рівні 32B ваги з 4-бітною квантизацією становлять близько 18–20 ГБ, карта з 16 ГБ одразу вибуває, а карта з 24 ГБ щойно вміщає — ціною того, що контекст не можна відкривати занадто широко.
Одним словом: 16 ГБ — це зона комфорту для 7B–14B, а 24 ГБ затягує квантизований інференс 32B у межі однієї карти. Для периферійного розгортання, невеликих приватних сценаріїв, команд, які роблять RAG, це реальна зміна порогу — раніше потрібні були дві карти або професійна карта, тепер можна спробувати на одній споживчій.
Але зауважте: «може запустити» і «добре працює» — це різні речі. Для 32B з квантизацією на 24 ГБ не варто очікувати високої пропускної здатності та низької затримки першого token — це підходить для низькочастотних, офлайнових, однокористувацьких сценаріїв, а не для навантаження з паралелізмом.
Чому передача в хмару не робить API одразу дешевшим
Багато хто інтуїтивно думає: одна карта може запускати більші моделі, витрати на інференс падають, отже API великих моделей мають подешевшати. У логічному ланцюжку бракує однієї ланки.
Ціноутворення хмарних API великих моделей залежить головним чином не від відеопам'яті однієї карти, а від трьох речей: ефективності планування обчислень, вартості електроенергії, переговорної сили під час оптових закупівель. Більша відеопам'ять підвищує щільність однієї машини — це лише маленький шматок у статті ефективності. Реально тисне на витрати використання стійок, міжрегіональне планування та те, звідки береться електрика.
Наша практика на платформі агрегації API великих моделей SiCore TokenWorks це ілюструє. Планування зеленої енергії розподіляє завдання інференсу між кількома обчислювальними центрами за навантаженням і ціною електроенергії: коли дешева зелена енергія на заході, беремо на себе більше, а східні вузли з низькою затримкою обслуговують запити в реальному часі. Різниця у витратах, яку дає це планування, набагато більша за різницю від подвоєння відеопам'яті однієї карти. Тому коли платформа агрегації API великих моделей SiCore TokenWorks робить оплату за обсягом, перевага у витратах походить головним чином від планування та енергії, а не від якогось одного покоління відеокарт. У нас внутрішньо для статистики білінгу використовується показник token8341, і ми порівнювали з прямими офіційними закупівлями — саме оптові закупівлі плюс зелена енергія є головними джерелами різниці в ціні.
До речі, саме тому цінність платформи агрегації API великих моделей не в тому, що «моделей багато», а в тому, що «планування стабільне, білінг чесний». Уніфікований доступ до багатьох моделей — це лише вхід; те, як бекенд маршрутизує такі моделі, як GPT-4o, Claude, DeepSeek-V3, Qwen-Max, Doubao, ERNIE, до найвідповідніших обчислювальних ресурсів залежно від завдання, — ось де витрати реально знижуються. Позиціонування платформи агрегації API великих моделей SiCore TokenWorks у цій царині — пріоритет вітчизняних моделей плюс зелена енергія, сумісність з OpenAI SDK, достатньо змінити один рядок base_url для перемикання.
Висновок для розробників
Ітерація обладнання не зробить API дешевшим негайно. Інерція хмарного ціноутворення набагато повільніша за зміну поколінь відеокарт: від виходу нового покоління карт до відображення в ціні API лежать закупівельний цикл, модернізація дата-центрів, адаптація систем планування. Сподіватися, що завтра API подешевшає вдвічі, нереалістично.
Але це змінить порогові параметри під час вибору моделі. Раніше локально ви могли доторкнутися лише до 7B, тепер карта на 24 ГБ дозволяє сміливо оцінювати 14B і навіть квантизовані версії 32B — простір вибору змінився. І навпаки: коли периферія зможе запускати більші моделі, частина низькочастотних сценаріїв інференсу повернеться з хмари локально, і тоді конкурентоспроможність хмарних API великих моделей визначатиметься плануванням і ціною, а не тим, що «локально ви не потягнете».
Одне застереження: не відкладайте проєкт через очікування нових карт. Нерозкриті офіційно специфікації означають невизначений графік, а ваші бізнес-потреби визначені. Що має йти в хмару — в хмару, що має бути локальним — локально; коли прийде дивіденд від обладнання, тоді й мігруєте — це дешевше, ніж просто чекати.
Підсумую одним реченням: відеопам'ять зросла, локально можна запускати більші моделі; ціна хмарних API великих моделей усе ще залежить від того, як плануються обчислення та електроенергія. Якщо хочете глибше розібратися в підключенні багатьох моделей і деталях білінгу, можна далі дивитися в напрямках API-шлюзу та маршрутизації моделей.