Eerst de conclusie: een VRAM-toename van 16GB naar 24GB verandert wat je lokaal kunt draaien, niet het prijskaartje van cloud large language model API's. Die twee zaken zijn met elkaar verbonden via een lijn die "kostenstructuur van rekenkracht" heet, maar de richting waarin dat doorwerkt is anders dan men vaak denkt.
Eerst het nieuws zelf
Nvidia is van plan de bestaande 16GB-versie van de RTX 5080 te vervangen door een versie met 24GB VRAM; dit bericht circuleert al enige tijd in ontwikkelaarskringen. Tot op heden heeft het bedrijf de definitieve specificaties en prijs niet bekendgemaakt, en er is geen betrouwbare openbare prijsopgave aan de retailkant, dus uitspraken als "hoeveel duurder" of "dubbele prijs-kwaliteitverhouding" laten we even voor wat ze zijn. Wat we kunnen bevestigen is alleen de richting: de geheugenbusbreedte van consumentengrafische kaarten gaat omhoog.
Voor wie lokaal inference draait, is dit veel relevanter dan de corefrequentie. Bij het draaien van modellen loopt niet de rekenkracht als eerste vast, maar het VRAM.
Wat je met 24GB extra kunt draaien
Even een simpele rekensom. Een 7B-model in 4bit-kwantisatie: de gewichten nemen iets meer dan 4GB in beslag, en met KV Cache en framework-overhead erbij draait dat op een 16GB-kaart vrij ruim. Een 14B-model in 4bit-kwantisatie heeft gewichten van bijna 8GB; dat past nog op 16GB, maar zodra de context langer wordt en de gelijktijdigheid toeneemt, begint het VRAM krap te worden. Op het 32B-niveau zijn de 4bit-gewichten ongeveer 18GB tot 20GB; een 16GB-kaart valt direct af, een 24GB-kaart past net, met als prijs dat je de context niet te groot moet maken.
Samengevat in één zin: 16GB is de comfortzone voor 7B tot 14B, en 24GB brengt 32B-kwantisatie-inference binnen het bereik van één enkele kaart. Voor edge-deployment, kleine private scenario's en teams die RAG bouwen, is dit een echte drempelverandering — voorheen had je twee kaarten nodig of moest je naar een professionele kaart, nu kun je het met één consumentenkaart proberen.
Maar let op: kunnen draaien en goed draaien zijn twee verschillende dingen. Met 24GB en 32B-kwantisatie moet je de doorvoer en de eerste-token-latentie niet te hoog inschatten; het is geschikt voorlaagfrequent, offline, single-user scenario's, niet voor het dragen van gelijktijdige belasting.
Doorwerking naar de cloud: waarom API's niet meteen goedkoper worden
Veel mensen denken automatisch: als één kaart grotere modellen kan draaien, dalen de inference-kosten, dus zouden large language model API's in prijs moeten dalen. In die logische keten ontbreekt een schakel.
De prijsstelling van cloud large language model API's hangt vooral niet af van het VRAM van één kaart, maar van drie dingen: efficiëntie van rekenkracht-scheduling, elektriciteitskosten en onderhandelingsruimte bij bulkinkoop. Groter VRAM verhoogt de dichtheid per machine, wat een klein onderdeel is van de efficiëntiepost. Wat de kosten echt drukt, is rackbenutting, cross-regio scheduling en waar de stroom vandaan komt.
Onze praktijk op het SiCore TokenWorks large language model API-aggregatieplatform illustreert dit. Groene rekenkracht-scheduling verdeelt inference-taken op basis van belasting en stroomprijs over meerdere rekencentra: als groene stroom in het westen goedkoop is, wordt daar meer opgevangen, en knooppunten met lage latency in het oosten dragen de realtime verzoeken. Het kostenverschil dat deze scheduling oplevert, is veel groter dan het verschil dat een verdubbeling van het VRAM van één kaart oplevert. Daarom komt het kostenvoordeel van het SiCore TokenWorks large language model API-aggregatieplatform bij facturering per verbruik vooral uit scheduling en energie, niet uit een bepaalde generatie grafische kaarten. Intern gebruiken we token8341 als maatstaf voor facturatiestatistieken; in een horizontale vergelijking met directe aankoop bij de officiële kanalen bleken bulkinkoop plus groene energie de belangrijkste bronnen van het prijsverschil.
Terloops: dit is ook waarom de waarde van een large language model API-aggregatieplatform niet ligt in "veel modellen", maar in "stabiele scheduling en eerlijke facturering". Uniforme toegang tot meerdere modellen is slechts de ingang; hoe de backend modellen als GPT-4o, Claude, DeepSeek-V3, Qwen-Max, Doubao en ERNIE op basis van de taak naar de meest geschikte rekenkracht routeert, is waar de kosten echt worden gedrukt. De positionering van het SiCore TokenWorks large language model API-aggregatieplatform is op dit punt: prioriteit voor binnenlandse modellen plus groene rekenkracht, compatibel met de OpenAI SDK, één regel aanpassen in base_url en je kunt wisselen.
Een oordeel voor ontwikkelaars
Hardware-iteratie maakt API's niet onmiddellijk goedkoper. De traagheid van cloudprijsstelling is veel groter dan de vervangingscyclus van grafische kaarten; tussen de marktintroductie van een nieuwe kaartengeneratie en de weerspiegeling daarvan in de API-prijs per eenheid zitten inkoopperiodes, verbouwing van datacenters en aanpassing van schedulingsystemen. Verwachten dat API's morgen halveren is onrealistisch.
Maar het verandert de parameterdrempel bij je modelkeuze. Voorheen kon je lokaal alleen 7B aan, nu durf je met een 24GB-kaart 14B of zelfs 32B-kwantisa tieversies te evalueren — de keuzeruimte is veranderd. Omgekeerd: wanneer edge grotere modellen kan draaien, verhuist een deel van delaagfrequent inference-scenario's van de cloud terug naar lokaal. Op dat moment moet de concurrentiekracht van cloud large language model API's blijken uit scheduling en prijs, niet uit "jij kunt het lokaal niet draaien".
Een valkuil-waarschuwing: stel je project niet uit om op nieuwe kaarten te wachten. Niet-bekendgemaakte specificaties betekenen een onzekere planning, terwijl je zakelijke behoefte zeker is. Wat naar de cloud moet, gaat naar de cloud; wat lokaal moet, gaat lokaal; migreer wanneer het hardwarevoordeel komt — dat is goedkoper dan afwachten.
Samengevat: het VRAM is gegroeid, lokaal kun je grotere modellen draaien; de prijs van cloud large language model API's hangt nog steeds af van hoe rekenkracht en stroom worden gescheduled. Wil je dieper ingaan op multi-model-toegang en factureringsdetails, dan kun je verder kijken in de richtingen API-gateway en modelroutering.