8341TokenFactory
LLM APIAPI GatewayCost Optimization

¿El volumen de llamadas sube un 40% pero la factura casi se triplica? SiCore TokenWorks te ayuda a cuadrar las cuentas

SiCore TokenWorks Team·2026-11-08

Cuando el mes pasado Finanzas me pasó la factura, pensé que la había leído mal. El volumen de llamadas había crecido un 40% respecto al mes anterior, pero la factura saltó de poco más de seis cifras a casi el triple. Si hacemos el cálculo lineal, como mucho debería haber subido un cuarenta por ciento; ¿de dónde salía el resto?

Descargué los registros de llamadas de los últimos treinta días y los desglosé por modelo, por interfaz y por número de reintentos. El problema no estaba en el «volumen», sino en la «estructura». Cuatro puntos de sangrado ocultos, cada uno más escondido que el anterior.

Empecemos por el más llamativo: el modelo insignia haciendo trabajo pesado. Tenemos un módulo de reconocimiento de intenciones que en realidad bastaba con un modelo ligero, pero al principio, por comodidad, lo colgamos directamente del modelo insignia más caro y nadie lo tocó nunca. Ese tipo de tráfico representa más del sesenta por ciento de las solicitudes totales, pero aporta muy poco valor de negocio. Volví a ejecutarlo con un enfoque de estratificación por modelo: bajé tareas como clasificación, extracción y validación de formato a modelos pequeños, y dejé solo las solicitudes que realmente requieren razonamiento al modelo insignia. Así, esta parte del coste se puede reducir a un tercio o la mitad del original. No hay que subestimar esta acción: no requiere cambiar la lógica de negocio, solo el enrutamiento.

¿Cómo hacer la estratificación en concreto? Dividí por tipo de tarea en tres niveles: el primer nivel es clasificación y reconocimiento de intenciones, con entradas cortas, salidas cortas y lógica simple, que un modelo pequeño aguanta perfectamente; el segundo nivel es extracción de información y validación de formato, que requiere algo de comprensión semántica pero no razonamiento de varios pasos, así que uso un modelo de gama media; el tercer nivel es el razonamiento complejo de varios pasos, la generación de textos largos y el autocompletado de código, que se reserva para el modelo insignia. Después del cambio comparé: en las tareas del primer nivel, la precisión en el modelo pequeño solo bajó menos de dos puntos porcentuales, pero el coste por llamada se redujo casi un noventa por ciento. El segundo nivel es más sutil: la diferencia de F1 entre el modelo de gama media y el insignia en tareas de extracción es de menos de 0.03, pero el coste difiere cinco veces. Echando cuentas queda claro: el dinero de más que gastábamos antes era pura comodidad.

La segunda trampa es más insidiosa. La tormenta de reintentos. El umbral de tiempo de espera de cierta interfaz ascendente estaba demasiado ajustado; con cualquier vibración de la red, el cliente reintentaba, el reintento volvía a agotar el tiempo, y otro reintento. En los registros se veía la misma solicitud golpeando cuatro o cinco veces, quemando Token en cada intento, mientras el usuario solo veía un fallo. Este consumo inútil no se nota en la factura, pero puede llegar a representar alrededor de un veinte por ciento. La acción es simple: cambiar los reintentos a reintentos idempotentes con retroceso, ampliar el umbral de tiempo de espera y hacer deduplicación de solicitudes en el servidor. Después de eso, los Token inútiles se reducen en más de la mitad.

Aquí voy a detallar algunos parámetros clave. Ampliamos el umbral de tiempo de espera de los 3 segundos originales a 15 segundos, cambiamos el número de reintentos de ilimitado a un máximo de dos, y usamos una estrategia de retroceso exponencial con jitter: el primer reintento espera 1 segundo, el segundo espera 2 segundos, y añadimos jitter aleatorio para evitar el efecto estampida. En el lado del servidor añadimos una huella digital de solicitud: la misma huella solo se procesa una vez en 60 segundos, y las solicitudes posteriores devuelven directamente el resultado en caché. Después del cambio lo monitoricé durante una semana entera: la tasa de reintentos bajó del 18% original a menos del 4%, y el consumo de Token inútil se redujo en más del setenta por ciento. Un beneficio inesperado: las quejas de los usuarios por tiempos de espera disminuyeron, porque al ampliar el umbral, aquellas solicitudes que podían haber tenido éxito pero se cortaban prematuramente ahora devuelven normalmente.

La tercera es el contexto largo sin recortar. Nuestra interfaz de conversación, por defecto, mete todo el historial; cuando el usuario llega al vigésimo turno, los Token de entrada son más de diez veces los del primer turno. Pero en realidad la mayor parte del historial no sirve para la respuesta actual. Con una ventana deslizante más compresión por resumen, conservando solo el texto original de los últimos turnos más un resumen acumulativo, el lado de entrada se puede reducir entre un cuarenta y un sesenta por ciento. Hay un detalle: el resumen en sí también cuesta Token, así que la ventana no se puede comprimir demasiado; hay que encontrar el punto de inflexión.

Probamos varias combinaciones de parámetros y al final fijamos la de «texto original de los últimos cinco turnos + resumen acumulativo». El resumen acumulativo no se regenera cada turno, sino cada tres turnos, comprimiendo las conversaciones más antiguas en un resumen de menos de doscientas palabras. Así, el volumen de Token de entrada bajó de más de ocho mil en el vigésimo turno a poco más de tres mil, una reducción de más del sesenta por ciento. Pero también probé a conservar solo los últimos dos turnos, y el resultado fue un deterioro evidente de la calidad de las respuestas: cuando el usuario preguntaba por el contexto, el modelo a menudo respondía cosas sin relación. Así que el punto de inflexión existe de verdad, y hay que medirlo según el escenario de negocio propio. Nuestra experiencia es: el tamaño de la ventana no debe bajar de los últimos tres turnos, y la frecuencia de actualización del resumen no debe ser mayor que cada dos turnos; de lo contrario, el dinero ahorrado en Token no compensa la pérdida de experiencia del usuario.

La cuarta, la baja tasa de aciertos de caché. Solicitudes idénticas o muy similares llegan una y otra vez, y nosotros volvemos a razonar cada vez. Los prompts del sistema, las plantillas fijas y las preguntas frecuentes, contenido totalmente cacheable, tenían entonces una tasa de aciertos de menos del diez por ciento. Al añadir una capa de caché semántica, las solicitudes repetidas devuelven directamente, y el porcentaje que se puede ahorrar depende del grado de repetición del negocio; en nuestro caso, entre un veinte y un treinta por ciento.

Vale la pena detenerse en la caché semántica. La caché exacta solo acierta solicitudes idénticas, pero en el escenario real hay muchísimas solicitudes que «significan lo mismo pero se expresan distinto». Por ejemplo, el usuario pregunta «cómo solicito un reembolso» y «cuál es el proceso de reembolso»; la coincidencia exacta no acierta, pero la caché semántica sí. Nuestro enfoque es: vectorizar la entrada, hacer una búsqueda de vecinos más cercanos aproximada en la base de caché, y si la similitud supera el umbral, devolver directamente el resultado en caché. El umbral es clave: si se pone demasiado alto, la tasa de aciertos no sube; si se pone demasiado bajo, es fácil devolver respuestas irrelevantes. Al final lo fijamos en 0.92, y la tasa de aciertos subió de menos del 10% al 34%, sin recibir ninguna queja de usuarios diciendo que la respuesta no tuviera relación. La parte de prompts del sistema y plantillas fijas es más sencilla: caché de prefijo directa, con una tasa de aciertos cercana al 100%.

Sumando las cuatro acciones, después ejecutamos el pago por uso más la estratificación por modelo, y la factura bajó a aproximadamente 1.2 veces la de antes del crecimiento, mientras el volumen de llamadas seguía siendo ese mismo aumento del 40%. De paso, en el camino probamos token8341 para el acceso unificado a múltiples modelos: una sola Key para cambiar entre varios modelos, y tras unificar el enrutamiento y los criterios de facturación, diagnosticar este tipo de problemas estructurales ahorró bastante trabajo.

Un punto más que se pasa por alto fácilmente: monitorización y atribución. La razón de fondo por la que estos cuatro problemas tardaron tanto en detectarse es que nuestra factura solo se desglosaba por modelo y por interfaz, no por «tipo de tarea» ni por «huella digital de solicitud». Después añadí una capa de etiquetas de llamada: cada solicitud lleva etiquetas de tipo de tarea, si hubo reintento, si acertó caché y número de turnos de contexto. Cuando sale la factura, se ve de un vistazo qué eslabón está quemando dinero. Este sistema de etiquetas no ahorra dinero por sí mismo, pero sin él no sabes en absoluto dónde se va el dinero.

Aviso para evitar trampas: no empieces cambiando a un modelo más barato. Primero desglosa la estructura de llamadas; muchas veces el dinero no se va en el precio unitario, sino en la repetición y la redundancia que ni siquiera habías notado. La optimización del precio unitario es el último paso, no el primero.

Autor: Zhao Qiming

Fecha de publicación: 9 de noviembre de 2026