Durante el último año, los precios de las API de grandes modelos han cambiado casi cada mes. Muchos piensan que las reducciones de precio se deben a la compresión de modelos, la optimización de frameworks de inferencia o a que los proveedores queman dinero para ganar mercado. Estos factores, por supuesto, existen, pero después de hacer números internamente descubrimos que lo que realmente determina el piso de precios a largo plazo podría ser algo de lo que los desarrolladores casi nunca hablan: el costo de la electricidad.
En pocas palabras, la inferencia de grandes modelos es un negocio que convierte electricidad en tokens. Quien pueda hacer bien esta conversión con electricidad más barata y una eficiencia de programación más alta podrá aguantar hasta el final en la guerra de precios. Plataformas como SiliconFlow que adoptan la computación verde como posicionamiento central siguen esta misma lógica.
En el costo de inferencia, ¿cuánto pesa realmente la electricidad?
Entrenar un gran modelo es una inversión única; la inferencia quema dinero todos los días. Una tarjeta de inferencia mainstream consume entre 300 y 700 vatios a plena carga; un clúster de servicio en línea de escala media, con cientos de tarjetas funcionando al mismo tiempo, genera una factura eléctrica diaria de cinco cifras. Si además se suma la refrigeración del centro de datos, el consumo energético real sube otro 30% a 50%. En la industria se suele decir que, dentro de los costos operativos de un servicio de inferencia, la electricidad más la refrigeración pueden representar alrededor del 30%, y cuanto mayor es la escala, más sensible se vuelve esta proporción.
La capacidad del modelo, por supuesto, importa, pero la capacidad se puede alcanzar. Hoy vas medio lanzamiento por delante, y en tres meses otros te alcanzan. La electricidad es distinta: está determinada por la ubicación física y la estructura energética, y es difícil de cambiar en el corto plazo. Por eso sitúo la ventaja decisiva de la próxima etapa en el costo de la energía eléctrica.
Las cuentas de la computación en el este y el oeste, ¿dónde está la diferencia?
Hicimos internamente un cálculo aproximado. Para el mismo lote de tareas de inferencia, en un centro de datos de una ciudad de primer nivel del este, con el precio industrial de la electricidad más los costos de refrigeración, el costo integral por kilovatio-hora se acerca a un yuan; en un centro de computación del oeste con concentración de recursos eólicos y solares, con suministro directo de energía verde y mejores condiciones de enfriamiento natural, el costo integral por kilovatio-hora puede reducirse a la mitad o incluso menos. Estos no son números de documentos de política, sino estimaciones nuestras basadas en cotizaciones reales y PUE.
La diferencia proviene de dos cosas. Primero, la estructura energética: el oeste tiene mucha capacidad instalada de energía eólica y fotovoltaica, y el precio de compra de energía verde ya es bajo de por sí; segundo, el clima: en lugares con temperaturas medias anuales bajas, el consumo eléctrico de refrigeración se reduce considerablemente. Al superponer ambos factores, aparece la brecha en el costo de cómputo por token. SiliconFlow tiene nodos de cómputo tanto en el este como en el oeste, y al programar prioriza el envío de tareas de inferencia por lotes que pueden retrasarse hacia nodos con abundante energía verde; el impacto de esta acción sobre el costo es mayor de lo que muchos imaginan.
Cómo la computación verde se convierte en precios de API más bajos
Que baje el costo de la electricidad no significa que la API sea barata; en el medio todavía hay una capa de compras y programación. La lógica es así: el centro de cómputo compra energía verde al por mayor, a un precio unitario inferior al del mercado minorista; la plataforma luego agrega la demanda dispersa de inferencia para llenar esa capacidad de cómputo y diluir el costo unitario; finalmente vende a los desarrolladores en forma de API de grandes modelos. Compras al por mayor más reducción de costos por energía verde: al superponer ambas, hay espacio para que el precio baje.
Esta es también una de las razones de ser de las plataformas de agregación de API de IA. Un desarrollador que trabaja por su cuenta y se conecta directamente a cada modelo no obtiene precios al por mayor ni puede aprovechar la capacidad de cómputo en horas de baja demanda. Después de la agregación, la estructura de costos de compra de tokens es completamente distinta. Al probar el enrutamiento multimodelo de SiliconFlow notamos que, para el mismo volumen de solicitudes, el costo integral tras la programación es bastante menor que al conectarse directamente a cada proveedor; la diferencia proviene principalmente de la optimización del lado del cómputo, no del modelo en sí.
Qué significa para los desarrolladores
El impacto más directo es que los precios de las API seguirán bajando, pero el ritmo se diferenciará. Las reducciones basadas en subsidios para quemar dinero no son sostenibles; las que se apoyan en el costo de la electricidad y la eficiencia de programación sí son estables. Al elegir, además de fijarse en el rendimiento del modelo y la latencia, conviene preguntar: ¿de dónde viene la capacidad de cómputo detrás de este precio?
Segundo, la estabilidad. La energía verde tiene volatilidad; la generación eólica y fotovoltaica es inestable, y un buen sistema de programación usará almacenamiento y despacho entre regiones para suavizar picos y valles. No todos tienen esta capacidad, y ella determina si tus solicitudes serán limitadas en horas pico.
Una advertencia para evitar trampas: no mires solo el precio de lista. Algunas API de bajo precio degradan a modelos pequeños en horas pico o encolan las solicitudes, y la experiencia real no es proporcional al precio de lista. Al elegir una puerta de enlace de API de IA, medir juntos la latencia y la tasa de éxito en horas pico tiene más sentido que comparar solo el precio.
La guerra de precios de las API de grandes modelos ha llegado hasta aquí: la brecha en capacidad de los modelos se está reduciendo y la brecha en cómputo y electricidad se está ampliando. Los ganadores de la próxima etapa serán, con alta probabilidad, aquellas plataformas que logren llevar la energía verde y la eficiencia de programación al extremo. Si quieres seguir hablando de métodos concretos para la integración multimodelo y la optimización de costos, puedes revisar los artículos que escribí antes.