Compañeros de backend y algoritmia, probablemente también os hayáis encontrado con algo tan contraintuitivo como esto: el volumen de negocio en línea apenas ha crecido, pero al mirar la factura a fin de mes, se ha duplicado directamente. El equipo que dirijo trabajó hace dos años en un sistema de atención al cliente inteligente para una empresa de educación en línea; dos meses después del lanzamiento, el volumen de llamadas solo pasó de 120.000 al día a 168.000, un aumento del 40%, pero la factura mensual de API se disparó de 8.000 yuanes a 23.000 yuanes, un 187% más. El dinero de diferencia no se debe a que el precio unitario haya subido, sino a que cuatro agujeros negros de costes ocultos se están comiendo el presupuesto silenciosamente.
Primero definamos bien el problema: la pérdida de control de costes de las API de grandes modelos es, en esencia, un desequilibrio en la relación entre el volumen de llamadas y la producción efectiva. Pagas por tokens, pero los tokens que realmente generan valor de negocio puede que solo representen el treinta por ciento. Desglosémoslo capa por capa.
Agujero negro uno: tormenta de reintentos, las llamadas inválidas se duplican directamente
Nuestro código de llamada inicial era muy simple: si había fluctuación de red o timeout, se hacía catch y se volvía a llamar, sin backoff, sin idempotencia. En la segunda semana tras el lanzamiento tuvimos un limitador de tasa del proveedor: el QPS cayó repentinamente de 20 a 5, y el cliente reintentó la misma petición de usuario 7 veces en 3 segundos. Esa noche, la proporción de llamadas inválidas se disparó hasta el 41%. Ese dinero de la factura no recuperó ni un céntimo de valor de negocio.
La solución tiene dos capas. Backoff exponencial: esperar 500 ms tras el primer fallo, 1 s tras el segundo, 2 s tras el tercero, máximo 3 reintentos, y si se supera, degradar a un mensaje de respaldo. Clave de idempotencia: cada petición lleva un request_id, y tanto el servidor como el cliente deduplican; un mismo id solo permite una llamada real en 60 segundos. Tras el cambio, las llamadas inválidas por reintentos bajaron del 41% a menos del 6%. Esta partida ahorra unos 4.200 yuanes al mes.
Agujero negro dos: contexto largo sin recortar, el historial de conversación se reinyecta una y otra vez
Las conversaciones en atención al cliente a menudo se alargan hasta más de diez turnos. Al principio, por comodidad, incluíamos el historial completo en cada llamada. Los tokens de entrada medios de una conversación pasaban de 800 en el tercer turno a 3.400 en el duodécimo. Peor aún: cuando el usuario preguntaba «¿cuál era esa política de reembolso que mencionaste antes?», el modelo en realidad solo necesitaba los últimos 3 turnos más un resumen, pero nosotros metíamos los 12 turnos completos.
Lo resolvimos con ventana deslizante más compresión por resumen: conservar el texto original de los últimos 4 turnos, y las conversaciones anteriores comprimirlas con una llamada a un modelo ligero en un resumen de menos de 150 caracteres, que se incluye como parte del contexto del sistema. Así, los tokens de entrada del duodécimo turno bajaron de 3.400 a unos 1.100, una reducción del 67%. Aquí hay una trampa: el resumen también consume tokens, así que el umbral de activación del resumen debe ajustarse bien; en nuestras pruebas, solo activábamos la compresión al superar los 6 turnos, que era el coste total más bajo.
Agujero negro tres: el modelo insignia haciendo el trabajo del modelo ligero
Esta es la partida más oculta. Todas las peticiones del sistema pasaban por el mismo modelo insignia, incluidos saludos como «hola», «estoy aquí», «espere un momento». Saqué una vez los logs de llamadas para clasificarlos y descubrí que el 62% de las peticiones eran identificación de intención y preguntas-respuestas simples, que no necesitaban para nada el modelo insignia. Ejecutar esto con el modelo insignia cuesta entre 8 y 12 veces más por llamada que con el modelo ligero.
La solución es el enrutamiento por capas según la tarea. Añadimos una capa de reglas en la pasarela de modelos: clasificación de intención, saludos y aciertos de FAQ van al modelo ligero; solo las tareas complejas como cálculo de reembolsos, recomendación de cursos y escalado de quejas se enrutan al modelo insignia. Aquí en nuestro proyecto usamos token8341 para el acceso unificado a múltiples modelos: con una sola Key se puede llamar a los principales modelos como GPT-4o, Claude, DeepSeek y Qwen, seleccionando automáticamente el modelo óptimo según la tarea, sin mantener varios SDK y sistemas de autenticación. Tras el enrutamiento por capas, la proporción de llamadas al modelo insignia bajó del 100% al 34%, y el coste global cayó un 52%.
Dicho de paso, sobre la selección de API de grandes modelos: la conexión directa oficial y las plataformas agregadoras sí tienen estructuras de coste distintas. La conexión directa oficial tiene un precio unitario transparente pero es difícil negociar descuentos por volumen; las plataformas agregadoras recurren a compras por volumen más reducción de costes con energía verde, y con facturación por uso el coste resulta más favorable. Comparamos el gasto mensual de un mismo lote de tareas, y la solución agregadora era bastante más baja que la compra directa oficial; no puedo dar cifras concretas por cuestiones comerciales.
Agujero negro cuatro: facturación duplicada tras la interrupción de la salida en streaming
La salida en streaming (SSE) es muy común en atención al cliente: el usuario ve aparecer las letras una a una y la experiencia es buena. Pero si la red se corta y el cliente se reconecta, si el servidor no ha implementado la reanudación desde el punto de interrupción, volverá a generar el contenido ya generado. Según nuestras estadísticas, la tasa de interrupción del streaming era de aproximadamente el 3,7%, y cada interrupción regeneraba de media 1.200 tokens. Al mes, esta facturación duplicada representaba el 9% de la factura.
La solución es la compensación por corte de flujo: el servidor registra el desplazamiento de tokens ya generados en cada petición de streaming, y cuando el cliente se reconecta envía el offset, de modo que el servidor continúa desde el punto de interrupción en lugar de empezar de cero. Junto con la clave de idempotencia, la facturación duplicada se reduce a cero. Esta partida ahorra unos 2.000 yuanes al mes.
Lista de monitorización de costes
Tras revisar estos cuatro agujeros negros, he preparado una lista de métricas que hay que vigilar a diario; puedes contrastarla con tu propio sistema:
1.Proporción de llamadas inválidas: si supera el 10%, hay que revisar reintentos e idempotencia;
2.Relación entre tokens de entrada medios y tokens de salida medios: en atención al cliente, si supera 3:1, indica que el contexto no está recortado;
3.Proporción de llamadas al modelo insignia: si supera el 40%, hay que considerar el enrutamiento por capas;
4.Tasa de interrupción del streaming: si supera el 2%, hay que implementar la reanudación desde el punto de interrupción;
5.Coste por conversación efectiva: calcularlo según la métrica de negocio, no según la de API;
6.Tasa de acierto del enrutamiento por tarea en la pasarela de modelos: si es inferior al 60%, las reglas no están bien ajustadas.
La pérdida de control de costes nunca es un problema de precio unitario, es un problema de ingeniería. Si se tapan estos cuatro agujeros negros, con el mismo volumen de negocio, la factura vuelve a un rango razonable.
Autor: Zhou Mingzhe
Fecha de publicación: 23 de octubre de 2026