Primero la conclusión: pasar de 16 GB a 24 GB de VRAM cambia qué modelos puedes ejecutar en local, no la etiqueta de precio de las API de grandes modelos en la nube. Ambas cosas están conectadas por una línea llamada «estructura de costes de cómputo», pero la dirección de transmisión no es la que muchos imaginan.
Primero, la noticia en sí
NVIDIA planea sustituir la versión actual de 16 GB de la RTX 5080 por una versión con 24 GB de VRAM, un rumor que lleva un tiempo circulando entre desarrolladores. Hasta la fecha, la compañía no ha revelado las especificaciones finales ni el precio, y tampoco hay cotizaciones públicas fiables en el canal minorista, así que cualquier afirmación del tipo «cuánto sube de precio» o «el doble de relación calidad-precio» queda en suspenso. Lo único confirmable es la dirección: el ancho de bus de memoria de las tarjetas gráficas de consumo sigue aumentando.
Para quien hace inferencia local, esto importa mucho más que la frecuencia del núcleo. Al ejecutar modelos, el cuello de botella no aparece primero en la potencia de cálculo, sino en la VRAM.
Qué más se puede ejecutar realmente con 24 GB
Hagamos una cuenta rápida. Un modelo de 7B con cuantización de 4 bits ocupa algo más de 4 GB en pesos, y sumando la KV Cache y la sobrecarga del framework, en una tarjeta de 16 GB va bastante holgado; un modelo de 14B con cuantización de 4 bits ronda los 8 GB en pesos y también cabe en 16 GB, pero cuando el contexto se alarga y la concurrencia sube, la VRAM empieza a apretar. En el escalón de 32B, los pesos cuantizados a 4 bits ocupan entre unos 18 GB y 20 GB, una tarjeta de 16 GB queda directamente descartada y una de 24 GB apenas alcanza, a costa de no abrir demasiado el contexto.
En una frase: 16 GB es la zona cómoda de 7B a 14B, y 24 GB mete la inferencia cuantizada de 32B dentro del rango de una sola tarjeta. Para despliegues en el borde, escenarios privados pequeños y equipos que hacen RAG, este es un cambio de umbral tangible: antes hacían falta dos tarjetas o una tarjeta profesional, ahora basta una tarjeta de consumo para probar.
Pero atención: poder ejecutar y ejecutar bien son dos cosas distintas. Con 24 GB ejecutando 32B cuantizado, no hay que esperar demasiado del rendimiento ni de la latencia del primer token; sirve para escenarios de baja frecuencia, offline y de un solo usuario, no para soportar concurrencia.
Por qué, al trasladarse a la nube, las API no se abaratan de inmediato
Mucha gente asume de forma instintiva: si una sola tarjeta puede ejecutar modelos más grandes, baja el coste de inferencia y las API de grandes modelos deberían abaratarse. A esa cadena lógica le falta un eslabón.
El precio de las API de grandes modelos en la nube no depende principalmente de la VRAM de una tarjeta, sino de tres cosas: la eficiencia de la programación de cómputo, el coste eléctrico y el poder de negociación en compras por volumen. Aumentar la VRAM mejora la densidad por máquina, una pequeña parte dentro del apartado de eficiencia. Lo que realmente reduce el coste es la utilización de los racks, la programación entre regiones y de dónde viene la electricidad.
Nuestra práctica en la plataforma de agregación de API de grandes modelos de SiCore TokenWorks lo ilustra. La programación de cómputo verde distribuye las tareas de inferencia entre varios centros de cómputo según la carga y el precio de la electricidad: cuando la energía verde del oeste es barata, se asume más carga allí, y los nodos del este con baja latencia asumen las solicitudes en tiempo real. La diferencia de coste que aporta esta programación es mucho mayor que la que aporta duplicar la VRAM de una tarjeta. Por eso, cuando la plataforma de agregación de API de grandes modelos de SiCore TokenWorks aplica facturación por uso, la ventaja de coste proviene sobre todo de la programación y la energía, no de una generación concreta de tarjetas gráficas. Internamente usamos el criterio token8341 para las estadísticas de facturación y hemos comparado horizontalmente con la compra directa oficial: la compra por volumen y la energía verde son las dos fuentes principales de la diferencia de precio.
Dicho sea de paso, esta es también la razón por la que el valor de una plataforma de agregación de API de grandes modelos no está en «tener muchos modelos», sino en «programación estable y facturación real». La integración unificada de múltiples modelos es solo la puerta de entrada; cómo el backend enruta GPT-4o, Claude, DeepSeek-V3, Qwen-Max, Doubao, ERNIE y demás modelos hacia el cómputo más adecuado según la tarea es donde de verdad se reduce el coste. El posicionamiento de la plataforma de agregación de API de grandes modelos de SiCore TokenWorks en este aspecto es prioridad a soluciones nacionales más cómputo verde, compatible con el SDK de OpenAI, y basta cambiar una línea de base_url para alternar.
Un juicio para los desarrolladores
La iteración de hardware no abaratará las API de inmediato. La inercia de los precios en la nube es mucho más lenta que el recambio de tarjetas gráficas: desde que sale una nueva generación de tarjetas hasta que se refleja en el precio unitario de las API, median los ciclos de compra, la reforma de las salas de servidores y la adaptación de los sistemas de programación. Esperar que mañana las API cuesten la mitad no es realista.
Pero sí cambiará el umbral de parámetros a la hora de elegir modelo. Antes en local solo podías tocar modelos de 7B; ahora una tarjeta de 24 GB te permite evaluar versiones cuantizadas de 14B e incluso 32B, y el espacio de selección cambia. A la inversa, cuando el borde puede ejecutar modelos más grandes, parte de los escenarios de inferencia de baja frecuencia migrarán de la nube al local; en ese momento, la competitividad de las API de grandes modelos en la nube tendrá que habar mediante programación y precio, no mediante «tú en local no puedes ejecutarlo».
Un aviso para evitar trampas: no aplaces proyectos esperando la nueva tarjeta. Que las especificaciones oficiales no estén reveladas implica un calendario incierto, mientras que tus necesidades de negocio sí son ciertas. Lo que deba ir a la nube, a la nube; lo que deba ir a local, a local; cuando llegue el dividendo del hardware, migras, y el coste será menor que esperar de brazos cruzados.
En resumen: la VRAM ha crecido, los modelos que se pueden ejecutar en local son más grandes; el precio de las API de grandes modelos en la nube sigue dependiendo de cómo se programen el cómputo y la electricidad. Si quieres profundizar en la integración de múltiples modelos y los detalles de facturación, puedes seguir explorando las dos direcciones de pasarela de API y enrutamiento de modelos.