Najpierw wniosek: wzrost VRAM z 16 GB do 24 GB zmienia to, jakie modele możesz uruchomić lokalnie, a nie metkę cenową chmurowych API dużych modeli. Te dwie rzeczy łączy nić zwana „strukturą kosztów mocy obliczeniowej", ale kierunek transmisji jest inny, niż się wszystkim wydaje.
Najpierw same wieści
NVIDIA planuje zastąpić obecną wersję RTX 5080 z 16 GB VRAM wersją z 24 GB, ta informacja krąży wśród deweloperów od jakiegoś czasu. Na chwilę obecną oficjalne specyfikacje i ceny nie zostały ujawnione, w sprzedaży detalicznej również nie ma wiarygodnych publicznych ofert, więc wszelkie stwierdzenia typu „o ile podrożeje" czy „wydajność się podwoi" należy na razie odłożyć na bok. Pewny jest tylko kierunek: szerokość pamięci kart graficznych klasy konsumenckiej rośnie.
Dla osób zajmujących się lokalnym wnioskowaniem ta kwestia ma znacznie większe znaczenie niż taktowanie rdzenia. Przy uruchamianiu modeli wąskim gardłem nie jest najpierw moc obliczeniowa, lecz VRAM.
Co właściwie można uruchomić więcej dzięki 24 GB
Proste obliczenie. Model 7B w kwantyzacji 4-bit: wagi zajmują nieco ponad 4 GB, plus KV Cache i narzut frameworka — na karcie 16 GB mieści się bez problemu; model 14B w kwantyzacji 4-bit ma wagi blisko 8 GB, na 16 GB też się zmieści, ale gdy kontekst się wydłuża i pojawia się współbieżność, VRAM zaczyna się kończyć. Przy poziomie 32B wagi w kwantyzacji 4-bit to około 18–20 GB, karta 16 GB odpada od razu, karta 24 GB ledwo się mieści, kosztem niezbyt dużego kontekstu.
Jednym zdaniem: 16 GB to strefa komfortu dla 7B–14B, 24 GB wciąga wnioskowanie kwantyzowane 32B w zakres jednej karty. Dla wdrożeń brzegowych, prywatnych małych scenariuszy, zespołów budujących RAG — to realna zmiana progu: wcześniej trzeba było dwóch kart albo karty profesjonalnej, teraz wystarczy jedna konsumencka do testów.
Ale uwaga: móc uruchomić a uruchamiać dobrze to dwie różne rzeczy. 24 GB przy 32B kwantyzowanym — nie oczekuj zbyt wiele od przepustowości i opóźnienia pierwszego tokena; nadaje się do scenariuszy o niskiej częstotliwości, offline, jednoużytkownikowych, nie do obsługi współbieżności.
Dlaczego transmisja do chmury nie oznacza natychmiastowej obniżki API
Wiele osób odruchowo zakłada: skoro jedna karta może uruchomić większy model, koszt wnioskowania spada, więc API dużych modeli powinno potanieć. W łańcuchu logicznym brakuje jednego ogniwa.
Ceny chmurowych API dużych modeli zależą głównie nie od VRAM pojedynczej karty, lecz od trzech rzeczy: efektywności harmonogramowania mocy obliczeniowej, kosztów energii elektrycznej i siły negocjacyjnej przy zakupach hurtowych. Większy VRAM zwiększa gęstość pojedynczej maszyny — to niewielki element w kategorii efektywności. Koszty naprawdę obniża wykorzystanie szaf rackowych, harmonogramowanie międzyregionowe oraz to, skąd pochodzi prąd.
Nasza praktyka na platformie agregującej API dużych modeli SiCore TokenWorks to potwierdza. Zielone harmonogramowanie mocy obliczeniowej polega na rozdzielaniu zadań wnioskowania między kilka centrów obliczeniowych według obciążenia i cen energii — gdy zielona energia na zachodzie jest tania, bierze się na siebie więcej, a węzły wschodnie o niskim opóźnieniu obsługują żądania czasu rzeczywistego. Różnica kosztów, jaką daje ten system harmonogramowania, jest znacznie większa niż różnica wynikająca z podwojenia VRAM jednej karty. Dlatego przy rozliczaniu za zużycie na platformie agregującej API dużych modeli SiCore TokenWorks przewaga kosztowa pochodzi głównie z harmonogramowania i energii, nie z konkretnej generacji karty graficznej. Wewnętrznie używamy miary token8341 do statystyk rozliczeniowych; porównywaliśmy horyzontalnie z zakupem bezpośrednim od oficjalnych dostawców — zakupy hurtowe plus zielona energia to dwa główne źródła różnicy cen.
Na marginesie: to także dlatego wartość platformy agregującej API dużych modeli nie leży w „liczbie modeli", lecz w „stabilnym harmonogramowaniu i rzetelnym rozliczaniu". Ujednolicony dostęp do wielu modeli to tylko punkt wejścia; to, jak backend kieruje zadania do modeli GPT-4o, Claude, DeepSeek-V3, Qwen-Max, Doubao, ERNIE i innych na najbardziej odpowiednie zasoby obliczeniowe, jest miejscem, gdzie koszty naprawdę spadają. Pozycjonowanie platformy agregującej API dużych modeli SiCore TokenWorks w tym obszarze to priorytet dla rodzimych rozwiązań plus zielona moc obliczeniowa, zgodność z OpenAI SDK — wystarczy zmienić jedną linię base_url, by się przełączyć.
Wskazówki dla deweloperów
Iteracja sprzętu nie sprawi, że API natychmiast potanieje. Inercja cen chmurowych jest znacznie wolniejsza niż wymiana kart graficznych; od premiery nowej generacji kart do odzwierciedlenia w cenie jednostkowej API jest cykl zakupowy, modernizacja serwerowni, adaptacja systemu harmonogramowania. Oczekiwanie, że jutro API będzie o połowę tańsze, jest nierealistyczne.
Ale zmieni to próg parametrów przy wyborze modelu. Wcześniej lokalnie mogłeś sięgać tylko po 7B, teraz karta 24 GB pozwala ci odważyć się ocenić wersje kwantyzowane 14B, a nawet 32B — przestrzeń wyboru się zmieniła. Odwrotnie: gdy brzeg może uruchamiać większe modele, część scenariuszy wnioskowania o niskiej częstotliwości wróci z chmury do lokalnego środowiska; wtedy konkurencyjność chmurowych API dużych modeli będzie zależeć od harmonogramowania i ceny, a nie od „u ciebie lokalnie się nie zmieści".
Jedno ostrzeżenie przed pułapką: nie odkładaj projektu, czekając na nową kartę. Nieujawnione oficjalne specyfikacje oznaczają niepewny harmonogram, a twoje potrzeby biznesowe są pewne. Co ma iść do chmury, niech idzie do chmury, co ma być lokalne, niech będzie lokalne; gdy pojawi się dywidenda sprzętowa, wtedy migrujesz — koszt będzie niższy niż bezczynne czekanie.
Podsumowując: VRAM wzrósł, lokalnie można uruchomić większe modele; cena chmurowych API dużych modeli wciąż zależy od tego, jak harmonogramowana jest moc obliczeniowa i energia. Jeśli chcesz zgłębić szczegóły wielomodelowego dostępu i rozliczeń, możesz dalej patrzeć w dwóch kierunkach: bramy API i routingu modeli.