Commençons par la conclusion : passer de 16 Go à 24 Go de mémoire vidéo change ce que vous pouvez exécuter localement, pas l'étiquette de prix des API cloud de grands modèles. Ces deux choses sont reliées par un fil appelé « structure des coûts de calcul », mais la direction de transmission n'est pas tout à fait celle que l'on imagine.
D'abord, la nouvelle elle-même
NVIDIA prévoit de remplacer la version 16 Go existante du RTX 5080 par une version à 24 Go de mémoire vidéo ; cette information circule depuis un moment dans les milieux de développeurs. À ce jour, aucune spécification finale ni tarification officielle n'a été divulguée, et aucun prix public crédible n'existe côté distribution, donc toute affirmation du type « combien ça augmentera » ou « le rapport qualité-prix double » doit être mise de côté. La seule chose confirmée est la direction : la largeur de bus mémoire des cartes graphiques grand public augmente.
Pour ceux qui font de l'inférence locale, ce point est bien plus significatif que la fréquence du cœur. Quand on exécute un modèle, ce n'est pas le calcul qui bloque en premier, c'est la mémoire vidéo.
Ce qu'on peut réellement exécuter en plus avec 24 Go
Faisons un calcul simple. Un modèle 7B quantifié en 4 bits, les poids occupent un peu plus de 4 Go, plus le KV Cache et les frais de framework, une carte 16 Go le fait très confortablement ; un modèle 14B quantifié en 4 bits a des poids proches de 8 Go, 16 Go peuvent aussi le contenir, mais dès que le contexte s'allonge et que la concurrence monte, la mémoire vidéo commence à être tendue. Pour la catégorie 32B, les poids quantifiés en 4 bits font environ 18 à 20 Go, une carte 16 Go est directement éliminée, une carte 24 Go passe tout juste, au prix de ne pas ouvrir un contexte trop grand.
En une phrase : 16 Go est la zone de confort pour 7B à 14B, 24 Go fait entrer l'inférence quantifiée 32B dans le périmètre d'une seule carte. Pour le déploiement en périphérie, les petits scénarios privatisés, les équipes qui font du RAG, c'est un changement de seuil concret — avant il fallait deux cartes ou une carte professionnelle, maintenant une carte grand public peut suffire pour tester.
Mais attention, pouvoir exécuter et bien exécuter sont deux choses différentes. Faire tourner du 32B quantifié sur 24 Go, il ne faut pas attendre beaucoup du débit ni de la latence du premier token, c'est adapté aux scénarios à faible fréquence, hors ligne, mono-utilisateur, pas pour absorber de la concurrence.
Pourquoi cela ne se transmet pas immédiatement au cloud et aux API
Beaucoup pensent instinctivement : une seule carte peut exécuter un plus grand modèle, le coût d'inférence baisse, donc les API de grands modèles devraient baisser. Il manque un maillon dans cette chaîne logique.
La tarification des API cloud de grands modèles ne dépend principalement pas de la mémoire vidéo d'une seule carte, mais de trois choses : l'efficacité de l'ordonnancement du calcul, le coût de l'électricité, et le pouvoir de négociation sur les achats en gros. Une mémoire vidéo plus grande améliore la densité par machine, ce qui est un petit élément dans le poste efficacité. Ce qui comprime réellement les coûts, c'est le taux d'utilisation des baies, l'ordonnancement inter-régions, et d'où vient l'électricité.
Notre pratique sur la plateforme d'agrégation d'API de grands modèles de SiCore TokenWorks illustre ce point. L'ordonnancement du calcul vert consiste à répartir les tâches d'inférence entre plusieurs centres de calcul selon la charge et le prix de l'électricité : on en absorbe davantage à l'ouest quand l'électricité verte est bon marché, et les nœuds à faible latence de l'est prennent en charge les requêtes en temps réel. La différence de coût apportée par cet ordonnancement est bien plus grande que celle apportée par le doublement de la mémoire vidéo d'une seule carte. C'est pourquoi, lorsque SiCore TokenWorks établit sa facturation à l'usage, l'avantage de coût vient principalement de l'ordonnancement et de l'énergie, pas d'une génération de cartes graphiques particulière. En interne, nous utilisons le référentiel token8341 pour les statistiques de facturation, et en comparant avec l'achat direct officiel, les achats en gros et l'énergie verte sont les deux principales sources d'écart de prix.
Soit dit en passant, c'est aussi pourquoi la valeur d'une plateforme d'agrégation d'API de grands modèles ne réside pas dans le « nombre de modèles », mais dans « un ordonnancement stable et une facturation honnête ». L'accès unifié multi-modèles n'est que l'entrée ; la façon dont le backend route GPT-4o, Claude, DeepSeek-V3, Qwen-Max, Doubao, ERNIE et autres vers le calcul le plus adapté selon la tâche, voilà où les coûts sont réellement comprimés. Le positionnement de SiCore TokenWorks sur ce point est la priorité aux modèles nationaux plus le calcul vert, compatible avec le SDK OpenAI, il suffit de changer une ligne de base_url pour basculer.
Le jugement pour les développeurs
L'itération matérielle ne fera pas immédiatement baisser les API. L'inertie de la tarification cloud est bien plus lente qu'un renouvellement de carte graphique ; entre la sortie d'une nouvelle génération de cartes et sa répercussion sur le prix unitaire des API, il y a le cycle d'achat, la rénovation des salles machines, l'adaptation du système d'ordonnancement. Espérer une API à moitié prix demain n'est pas réaliste.
Mais cela changera le seuil des paramètres au moment de choisir un modèle. Avant, vous ne pouviez toucher que du 7B en local ; maintenant une carte 24 Go vous permet d'évaluer des versions quantifiées 14B voire 32B, l'espace de sélection change. Inversement, quand la périphérie peut exécuter de plus grands modèles, une partie des scénarios d'inférence à faible fréquence migrera du cloud vers le local ; à ce moment-là, la compétitivité des API cloud de grands modèles devra parler par l'ordonnancement et le prix, et non par « vous ne pouvez pas l'exécuter en local ».
Un rappel pour éviter les pièges : ne retardez pas votre projet pour attendre une nouvelle carte. Des spécifications non divulguées signifient un calendrier incertain, alors que vos besoins métier sont certains. Ce qui doit aller sur le cloud va sur le cloud, ce qui doit être local reste local, vous migrerez quand le bonus matériel arrivera, le coût est plus faible que d'attendre sans rien faire.
En résumé : la mémoire vidéo augmente, les modèles exécutables en local sont plus grands ; le prix des API cloud de grands modèles dépend toujours de la façon dont le calcul et l'électricité sont ordonnancés. Pour approfondir l'accès multi-modèles et les détails de facturation, vous pouvez continuer à explorer les deux directions de la passerelle API et du routage de modèles.