Primero la conclusión: si la API de grandes modelos es estable o no, el ochenta por ciento no depende del SLA del proveedor del modelo, sino del grado de ingeniería de tu propia capa de acceso. La temporada de promociones del año pasado, un sistema de atención al cliente inteligente nuestro fue desbordado en hora punta: el P99 pasó de 800 ms a 14 segundos, la cola de reintentos se acumuló hasta seis cifras y las alertas de monitorización no paraban. Al hacer el análisis posterior, el lado del modelo no se había caído; lo que se cayó fue nuestra propia capa de acceso.
Este artículo no trata de lo potente que es un modelo, sino de desglosar y explicar con claridad la cadena completa de este incidente, el proceso de localización de la causa raíz y las cuatro acciones centrales de la reconstrucción posterior. Si también estás haciendo aplicaciones LLM, especialmente acceso a API en escenarios de alta concurrencia, este artículo probablemente te ayude a evitar un tropiezo.
La escena del incidente: el 429 no era el modelo caído, éramos nosotros bloqueándonos
Aquel sistema de atención al cliente tenía un volumen de llamadas diario del orden de varios millones, y en la temporada de promociones el pico se triplicó. Entonces usábamos conexión directa con una sola Key, y en cuanto se alcanzaba el límite de QPS empezaba a devolver 429. El problema era que nuestra lógica de reintentos estaba escrita de forma muy burda: tras capturar la excepción se reintentaba de inmediato, sin backoff, sin jitter, y tres instancias del servicio reintentaban a la vez, llenando al instante la cuota que ya estaba tensa y formando una retroalimentación positiva. El P99 subió de 800 ms hasta 14 segundos, y lo que veía el usuario era el robot de atención al cliente «escribiendo» durante más de diez segundos para luego soltar un lo siento.
Al revisar después la línea temporal de monitorización, todo el proceso de avalancha duró en realidad solo 90 segundos:
•T+0s: la cuota del lado del proveedor del modelo se agota y empieza a devolver 429;
•T+3s: las tres instancias disparan reintentos a la vez y el volumen de solicitudes de reintento se multiplica por 3 al instante;
•T+15s: la cola de reintentos supera las 50 000 entradas, el pool de hilos se satura y las solicitudes normales también empiezan a hacer cola;
•T+40s: el health check del upstream agota el tiempo de espera, K8s empieza el reinicio progresivo y durante el reinicio todo el tráfico va a las instancias restantes, empeorando aún más;
•T+90s: el P99 supera los 14 segundos y el robot de atención al cliente queda totalmente inutilizable.
Este tipo de fallo se clasifica en la investigación de infraestructura de IA de IDC como «efecto de amplificación de la capa de acceso»: la tasa de error del modelo en sí puede ser solo del 2 %, pero un diseño inadecuado de la capa de acceso amplifica el impacto más de diez veces. Gartner, en su informe de operaciones de IA generativa de 2025, también señala que más del sesenta por ciento de los incidentes de IA en producción tienen su causa raíz en la cadena de llamadas y no en la propia inferencia del modelo. Nuestro caso fue un ejemplo de manual: el 429 del lado del modelo fue solo la mecha; la verdadera carga explosiva era nuestra propia lógica de reintentos y la arquitectura de Key única.
Solución uno: agrupación y rotación de múltiples Keys para contener la concurrencia
Saturar la concurrencia de una sola Key es el error más típico. La forma correcta es la programación en pool: agrupar varias Keys en un pool de recursos, rotarlas por peso y estado de salud, y cuando una sola Key dispara un 429, bajarle el peso automáticamente y ponerla en enfriamiento. Después contuvimos la concurrencia con la capacidad de gestión de múltiples Keys de la plataforma de agregación de API de grandes modelos token8341, y la configuración era más o menos así:
key_pool: cada Key define max_concurrency; tras disparar un 429 entra en un enfriamiento de 60 segundos, y durante el enfriamiento el peso baja a 0.1; las Keys sanas se distribuyen por round robin ponderado. Los datos de las pruebas de carga muestran que, con el mismo QPS pico, la programación en pool redujo la proporción de 429 del 18 % a menos del 2.3 %, y el P99 volvió al orden de los 900 ms.
Ejemplo de configuración (pseudocódigo):
key_pool:
- key: sk-xxx1
weight: 1.0
max_concurrency: 50
cooldown_seconds: 60
cooldown_weight: 0.1
- key: sk-xxx2
weight: 1.0
max_concurrency: 50
cooldown_seconds: 60
cooldown_weight: 0.1
- key: sk-xxx3
weight: 1.0
max_concurrency: 50
cooldown_seconds: 60
cooldown_weight: 0.1
dispatch_policy: weighted_round_robin
health_check_interval: 10sHay varios detalles que merecen atención:
1.Bajar el peso a 0.1 y no a 0: eliminarla por completo haría que el tráfico volviera de golpe al terminar el enfriamiento; un peso de 0.1 permite que la Key se recupere lentamente y evita un segundo impacto;
2.60 segundos de enfriamiento es un valor empírico: la ventana de cuota de la mayoría de los proveedores es de nivel de minutos, y 60 segundos cubren básicamente una ventana completa;
3.max_concurrency debe dejar un margen del 20 %: configúralo al 80 % del límite real de QPS de la Key para evitar oscilaciones en el límite.
Datos comparativos: antes de la reconstrucción, con conexión directa de una sola Key y un QPS pico de 1200, la proporción de 429 era del 18 % y el P99 de 14 s; después de la reconstrucción, con un pool de 3 Keys y el mismo QPS pico de 1200, la proporción de 429 es del 2.3 % y el P99 de 900 ms. No es que cuantas más Keys mejor; un pool de 3 a 5 Keys es un punto de equilibrio bastante cómodo entre coste y estabilidad.
Solución dos: backoff exponencial con jitter, que los reintentos no se conviertan en un segundo ataque
Los reintentos deben llevar backoff. Lo cambiamos a base=200 ms, factor=2, max=5 s, y añadimos un jitter aleatorio de 0 a 300 ms para evitar que varias instancias reintenten a la vez. Solo este cambio recortó el pico de la tormenta de reintentos en un setenta por ciento. Muchos equipos escriben los reintentos solo con el número de veces y no con el intervalo, lo que equivale a añadirse carga a uno mismo durante el fallo.
Referencia de la fórmula de backoff:
delay = min(base * (factor ** retry_count), max_delay) + random(0, jitter)
base = 200ms
factor = 2
max_delay = 5s
jitter = 300ms
max_retries = 3El primer reintento tiene un retardo de unos 200-500 ms, el segundo de unos 400-700 ms y el tercero de unos 800-1100 ms. El tiempo total de los tres reintentos se controla por debajo de 2.5 segundos, prácticamente imperceptible para el usuario, pero suficiente para que la Key que sufrió el 429 momentáneo complete su enfriamiento.
Otra advertencia: los reintentos solo aplican a 5xx y 429; los 4xx (excepto 429) no se reintentan. Antes teníamos un bug oculto: un error de parámetros que devolvía 400 también se reintentaba tres veces sin criterio, desperdiciando cuota en vano. Tras la corrección, el volumen de reintentos inválidos bajó un 40 %.
Solución tres: degradación por capas según la prioridad de la tarea
En el sistema de atención al cliente no todas las solicitudes son igual de importantes. Marcamos como P0 las rutas centrales como el reconocimiento de intención y la consulta de pedidos, y como P1 la charla casual y los guiones de recomendación. En la degradación, P0 conserva prioritariamente el modelo potente, mientras que P1 cambia a un modelo más ligero o devuelve directamente un guion de respaldo. La capacidad de enrutamiento de modelos de la plataforma de agregación de API de grandes modelos token8341 ayudó aquí: selecciona automáticamente el modelo óptimo según la tarea, P0 va al modelo potente y P1 a un modelo nacional de menor coste, y la disponibilidad general resulta incluso mayor.
La estrategia por capas se implementó concretamente así:
P0 (ruta central): reconocimiento de intención, consulta de estado de pedidos, solicitud de reembolso. Estrategia de degradación: modelo potente → modelo potente de respaldo del mismo proveedor → guion de respaldo + transferencia a humano. Objetivo de disponibilidad 99.9 %.
P1 (ruta de experiencia): charla casual, guiones de recomendación, resúmenes de base de conocimiento. Estrategia de degradación: modelo potente → modelo ligero → acierto de caché → guion de respaldo. Objetivo de disponibilidad 99 %.
P2 (ruta asíncrona): control de calidad de conversaciones, análisis de logs, resúmenes offline. Estrategia de degradación: entrar directamente en cola y recuperar en horas valle. Objetivo de disponibilidad 95 %.
Comparación de resultados: antes de la reconstrucción, P0 y P1 estaban mezclados, y en hora punta las solicitudes de charla casual de P1 acaparaban la cuota de P0, provocando que la consulta de pedidos también agotara el tiempo de espera; después de la reconstrucción, P1 cambia automáticamente a un modelo ligero en horas punta, el P99 de P0 se mantiene estable por debajo de 1.2 segundos y el coste general bajó alrededor de un 25 % (porque el precio unitario del modelo ligero de P1 es solo 1/5 del modelo potente).
Solución cuatro: la salida en streaming debe llevar tiempo de espera y fusible
La salida en streaming es donde más fácilmente se pasa por alto el tiempo de espera del primer token. Añadimos umbrales de fusible de 2 segundos para el primer token y 30 segundos en total; al agotarse el tiempo se corta directamente y se pasa a la degradación. Esto, en hora punta, redujo el tiempo de espera de las solicitudes de cola larga de más de diez segundos a menos de 3.
Los dos umbrales clave del escenario streaming:
1.Tiempo de espera del primer token (TTFT): 2 segundos. Si pasan más de 2 segundos sin que vuelva el primer token, significa que el upstream ya ha empezado a hacer cola; corta directamente y pasa a la degradación, no dejes al usuario esperando en vano;
2.Tiempo de espera total: 30 segundos. Límite superior de la duración total de la salida en streaming, para evitar que el modelo entre en un bucle infinito o en una generación excesivamente larga.
En la implementación hay que tener en cuenta: tras desconectar el streaming hay que llamar activamente a la interfaz cancel para liberar la conexión del upstream; de lo contrario, el pool de conexiones se llenará de conexiones zombis. Nosotros caímos en esta trampa desde el principio; tras añadir cancel, la utilización del pool de conexiones bajó del 95 % al 60 %.
Lista de autoverificación del limitador de concurrencia
1.¿Se ha hecho agrupación de múltiples Keys en lugar de conexión directa con una sola Key?
2.¿Los reintentos llevan backoff exponencial y jitter aleatorio?
3.¿Hay enrutamiento de degradación según la prioridad de la tarea?
4.¿La salida en streaming lleva fusible de tiempo de espera del primer token?
5.¿La proporción de 429 y el P99 están en el panel de monitorización central?
6.¿Los reintentos solo aplican a 5xx y 429, sin reintentar 4xx?
7.¿Tras desconectar el streaming se llama activamente a cancel para liberar la conexión del upstream?
8.¿Hay health check a nivel de Key y reducción automática de peso?
De estos ocho puntos, los cuatro primeros son la línea base y los cuatro últimos son avanzados. En nuestra reconstrucción acertamos los cuatro primeros, añadimos tres de los últimos y el que queda (automatización del health check a nivel de Key) sigue en iteración.
Reequilibrio entre coste y estabilidad
Tras la reconstrucción hicimos una revisión de costes y encontramos una conclusión contraintuitiva: la inversión en estabilidad redujo el coste general. Hay tres razones:
1.El volumen de reintentos bajó un 70 %, las llamadas inválidas disminuyeron y se ahorró directamente alrededor del 15 % en gasto de tokens;
2.La ruta P1 cambió a un modelo ligero, el precio unitario bajó un 80 % y se ahorró alrededor del 25 % del coste total;
3.El tiempo de fallo bajó de 4 horas mensuales de media a menos de 20 minutos, y el coste de horas de respaldo manual de atención al cliente también disminuyó.
En otras palabras, la ingeniería de la capa de acceso no es una inversión pura; optimiza simultáneamente la disponibilidad y la estructura de costes. Por eso después elevamos la reconstrucción de la capa de acceso a la máxima prioridad trimestral: no afecta a un solo indicador, sino a la salud de toda la cadena.
Resumiendo en una frase: el grado de ingeniería de la capa de acceso determina si tu API de grandes modelos puede aguantar o no la hora punta. La plataforma de agregación de API de grandes modelos token8341 asumió en esta reconstrucción el trabajo de gestión de Keys y enrutamiento de degradación, con facturación por uso y un coste más controlable. Como lectura adicional, puedes echar un vistazo a la parte de algoritmos de limitación de caudal de las pasarelas de API, que sigue la misma lógica que aquí.