Partiamo dalla conclusione: passare da 16GB a 24GB di VRAM cambia quali modelli puoi eseguire in locale, non il prezzo delle API cloud dei modelli di grandi dimensioni. Queste due cose sono collegate da un filo chiamato "struttura dei costi di calcolo", ma la direzione di trasmissione non è quella che molti immaginano.
Prima la notizia in sé
NVIDIA prevede di sostituire l'attuale versione da 16GB della RTX 5080 con una versione da 24GB di VRAM; questa notizia circola da un po' tra gli sviluppatori. Al momento, l'azienda non ha divulgato le specifiche finali né il prezzo, e sul fronte retail non ci sono quotazioni pubbliche affidabili, quindi affermazioni tipo "quanto aumenterà di prezzo" o "rapporto qualità-prezzo raddoppiato" vanno messe da parte per ora. L'unica cosa confermabile è la direzione: la larghezza di banda della VRAM delle schede grafiche consumer sta salendo.
Per chi fa inferenza locale, questo conta molto più della frequenza del core. Quando esegui un modello non è prima il calcolo a bloccarsi, è prima la VRAM a bloccarsi.
Cosa si può eseguire in più con 24GB
Facciamo un rapido calcolo. Un modello 7B con quantizzazione a 4bit ha pesi che occupano poco più di 4GB; aggiungendo KV Cache e overhead del framework, su una scheda da 16GB si sta abbastanza comodi. Un modello 14B con quantizzazione a 4bit ha pesi vicini a 8GB, e anche 16GB riescono a contenerlo, ma appena il contesto si allunga e la concorrenza sale, la VRAM inizia a scarseggiare. Arrivati alla fascia 32B, i pesi quantizzati a 4bit sono circa 18GB-20GB: una scheda da 16GB è subito fuori gioco, mentre una da 24GB riesce appena a entrarci, al prezzo di non aprire un contesto troppo grande.
In una frase: 16GB è la zona di comfort per i 7B-14B, 24GB porta l'inferenza quantizzata dei 32B nel raggio di una singola scheda. Per il deployment edge, piccoli scenari privatizzati e team che fanno RAG, questa è una soglia che cambia davvero le cose: prima servivano due schede o una scheda professionale, ora una scheda consumer può bastare per provare.
Ma attenzione: poter eseguire e eseguire bene sono due cose diverse. Con 24GB per un 32B quantizzato, non aspettarti troppo in termini di throughput e latenza del primo token; è adatto a scenari a bassa frequenza, offline, con singolo utente, non a reggere la concorrenza.
La trasmissione al cloud: perché le API non costeranno subito meno
Molti pensano istintivamente: se una singola scheda può eseguire modelli più grandi, il costo di inferenza scende, quindi le API dei modelli di grandi dimensioni dovrebbero calare di prezzo. Alla catena logica manca un anello.
Il prezzo delle API cloud dei modelli di grandi dimensioni non dipende principalmente dalla VRAM di una singola scheda, ma da tre cose: efficienza dello scheduling del calcolo, costo dell'energia, potere contrattuale negli acquisti in blocco. Aumentare la VRAM migliora la densità per macchina, che è solo un piccolo pezzo della voce efficienza. A comprimere davvero i costi sono l'utilizzo dei rack, lo scheduling tra regioni e da dove arriva l'elettricità.
La nostra pratica sulla piattaforma di aggregazione API di modelli di grandi dimensioni di SiC Phase Change lo dimostra. Lo scheduling di calcolo verde distribuisce i task di inferenza tra diversi centri di calcolo in base al carico e al prezzo dell'energia: quando l'energia verde dell'ovest è economica se ne assume di più, mentre i nodi orientali a bassa latenza gestiscono le richieste in tempo reale. La differenza di costo portata da questo scheduling è molto maggiore di quella portata dal raddoppio della VRAM di una singola scheda. Per questo, quando SiC Phase Change fa fatturazione a consumo, il vantaggio di costo viene principalmente dallo scheduling e dall'energia, non da una certa generazione di schede grafiche. Internamente usiamo la metrica token8341 per le statistiche di fatturazione; confrontandoci con l'acquisto diretto ufficiale, gli acquisti in blocco e l'energia verde sono le due fonti principali del divario di prezzo.
Detto per inciso, è anche per questo che il valore di una piattaforma di aggregazione API di modelli di grandi dimensioni non sta nell'"avere molti modelli", ma nello "scheduling stabile e fatturazione reale". L'accesso unificato a più modelli è solo l'ingresso; come il backend instrada modelli come GPT-4o, Claude, DeepSeek-V3, Qwen-Max, Doubao, ERNIE verso il calcolo più adatto in base al task è il punto in cui i costi vengono davvero compressi. La posizione di SiC Phase Change in questo ambito è: priorità ai modelli nazionali più calcolo verde, compatibile con l'SDK di OpenAI, basta cambiare una riga di base_url per fare lo switch.
Il giudizio per gli sviluppatori
L'iterazione hardware non renderà subito più economiche le API. L'inerzia del prezzo cloud è molto più lenta del ricambio delle schede grafiche: dal lancio di una nuova generazione di schede alla sua riflessione sul prezzo unitario delle API ci sono di mezzo cicli di approvvigionamento, ristrutturazione dei data center e adattamento dei sistemi di scheduling. Aspettarsi le API a metà prezzo domani non è realistico.
Ma cambierà la soglia dei parametri quando scegli un modello. Prima in locale potevi solo toccare i 7B, ora una scheda da 24GB ti fa osare valutare versioni quantizzate da 14B o persino 32B: lo spazio di scelta è cambiato. Viceversa, quando l'edge può eseguire modelli più grandi, una parte degli scenari di inferenza a bassa frequenza tornerà dal cloud al locale; a quel punto la competitività delle API cloud dei modelli di grandi dimensioni dovrà parlare tramite scheduling e prezzo, non tramite il "in locale non ce la fai".
Un avvertimento per evitare trappole: non rimandare i progetti per aspettare le nuove schede. Specifiche non divulgate ufficialmente significano tempistiche incerte, mentre le esigenze del tuo business sono certe. Quello che va sul cloud va sul cloud, quello che va in locale va in locale; quando arriverà il bonus hardware si migrerà, e il costo sarà inferiore rispetto ad aspettare a vuoto.
In sintesi: la VRAM è aumentata, i modelli eseguibili in locale sono più grandi; il prezzo delle API cloud dei modelli di grandi dimensioni dipende ancora da come vengono schedulati calcolo ed energia. Per approfondire l'accesso multi-modello e i dettagli di fatturazione, puoi continuare a esplorare nelle due direzioni dell'API gateway e del routing dei modelli.