L'année dernière, le soir du 11.11 à vingt heures, le système de service client intelligent de notre plateforme e-commerce a connu une panne majeure. Les réponses en streaming dans la fenêtre de chat du service client ont commencé à saccader, les utilisateurs voyaient le curseur clignoter sans qu'aucun texte n'apparaisse, puis sur le tableau de bord de supervision, les erreurs 429 ont explosé comme des feux d'artifice, et le taux de réussite des appels aux six fournisseurs de grands modèles est passé de 99 % à un peu plus de soixante pour cent. Quand le groupe d'astreinte s'est enflammé, j'ai fixé la topologie de la chaîne et j'ai réalisé que le problème ne venait pas des modèles, mais de la fine couche de passerelle de modèles que nous avions construite nous-mêmes.
Poseons d'abord la conclusion : le vrai point difficile de l'intégration unifiée multi-modèles n'a jamais été « pouvoir établir la connexion », mais la réaction en chaîne provoquée par l'amplification des différences de protocole sous la pression du trafic. Ce soir-là, nous étions connectés simultanément aux API GPT-4o API, Claude API, Qwen API, DeepSeek API, Doubao API et ERNIE API ; les six SDK étaient écrits chacun de leur côté, la logique de retry était éparpillée dans le code métier, et la limitation de débit d'un seul fournisseur déclenchait une tempête globale de retries. Après l'incident, lors du post-mortem, nous avons convergé la couche d'accès vers la plateforme d'agrégation d'API de grands modèles token8341, en utilisant une couche unique de passerelle de modèles pour absorber la traduction de protocole et la dégradation avec limitation de débit, et c'est seulement ainsi que nous avons pu sauver cette chaîne.
Comment l'avalanche de 429 s'est déclenchée
Le déclencheur direct était que l'API Qwen a atteint sa limite de QPS en heure de pointe. La complication, c'est que sa limitation de débit n'est pas un HTTP 429 standard, mais un champ de code d'erreur inséré dans un corps de réponse 200. Notre jugement de retry ne regardait que le code de statut HTTP, sans identifier du tout cette erreur dans le body ; la couche métier croyait l'appel réussi mais ne recevait pas de contenu, donc elle retentait après timeout, les retries saturaient à leur tour le quota, et une fois le quota saturé, davantage de requêtes se sont déversées vers les cinq autres fournisseurs, formant une ruée en chaîne entre fournisseurs. En vingt minutes, les requêtes en file d'attente au niveau de la passerelle sont passées de quelques centaines à plus de dix mille, et la latence P99 a dépassé dix secondes.
Il y a ici un détail de protocole qui mérite d'être mentionné séparément : l'API DeepSeek utilise des codes de statut HTTP standard, un 429 est un 429, propre et net ; l'API Qwen enfouit l'erreur dans le body, et au niveau HTTP cela ressemble à un 200 ; la structure d'erreur de l'API Gemini est encore un autre JSON imbriqué. Si la passerelle ne fait pas de mappage unifié des codes d'erreur, la couche métier supérieure devine toujours « si cette fois ça a marché ou pas ».
Comment concevoir la couche de traduction de protocole d'une passerelle de modèles
L'essence d'une passerelle de modèles, c'est de traduire six dialectes en une langue commune. Après la réécriture, nous l'avons divisée en trois modules.
Le premier bloc est la gestion des frontières de blocs SSE. La façon de découper le streaming diffère selon les fournisseurs : certains découpent par octets, d'autres par blocs sémantiques, et un caractère chinois peut être coupé entre deux chunks. Les saccades côté frontend ne viennent souvent pas d'un réseau lent, mais du fait que la passerelle n'a pas fait de recomposition des chunks et transmet directement un demi-caractère UTF-8 ; le navigateur échoue au décodage et ne peut qu'attendre le bloc suivant. Nous avons ajouté un tampon dans la couche de traduction, pour réagréger selon les frontières de caractères complètes avant de renvoyer.
Le deuxième bloc est le mappage des codes d'erreur, c'est la leçon directe de l'incident de ce soir-là. Nous avons construit une table de mappage qui normalise les structures d'erreur des six fournisseurs en quatre états internes : limite de débit réessayable, erreur de paramètre non réessayable, panne du fournisseur, succès. Le pseudo-code ressemble à ceci :
**function normalize(resp, provider):
if provider == "deepseek" and resp.status == 429:
return RETRYABLE_RATE_LIMIT
if provider == "qwen" and resp.body.code in RATE_LIMIT_CODES:
return RETRYABLE_RATE_LIMIT
if resp.status >= 500:
return PROVIDER_DOWN
return SUCCESS**
Le troisième bloc est la protection à trois niveaux. La rotation multi-Key est au premier niveau : plusieurs API Key configurées pour un même fournisseur, et en cas de limite de débit on change de Key ; le deuxième niveau est la limitation de débit par token bucket, avec une limitation indépendante par dimension de fournisseur, pour qu'un seul ne fasse pas tomber l'ensemble ; le troisième niveau est la dégradation : quand le fournisseur principal est indisponible, on bascule vers un modèle de secours selon une priorité prédéfinie. Après être passés à la plateforme d'agrégation d'API de grands modèles token8341, sa capacité de sélection automatique du modèle optimal selon la tâche nous a beaucoup aidés : la reconnaissance d'intention simple passe par un petit modèle bon marché, et seuls les tickets complexes sont escaladés vers un grand modèle ; le volume global d'appels baisse, et la pression de limitation de débit diminue naturellement.
Liste de vérification
En cas de saccades en streaming ou de 429, vérifiez dans cet ordre : premièrement, si la passerelle fait bien la recomposition des frontières de chunks ; deuxièmement, si la table de mappage des codes d'erreur couvre les fournisseurs dont les codes d'erreur sont dans le body ; troisièmement, si les retries comportent bien un backoff et une limite supérieure ; quatrièmement, si la rotation multi-Key fonctionne réellement ; cinquièmement, si la limitation de débit est bien isolée par fournisseur. Ces cinq points, nous les avons tous ratés ce soir-là.
Soit dit en passant sur l'expérience d'intégration, la plateforme d'agrégation d'API de grands modèles token8341 est compatible avec le SDK OpenAI, il suffit de changer une ligne de base_url pour basculer, nous avons supprimé directement les dépendances SDK de nos six fournisseurs, et la couverture complète des API de grands modèles nationaux est très pratique pour les équipes travaillant sur des projets d'informatisation souveraine. L'ordonnancement de calcul vert et la facturation à l'usage de token8341 rendent les coûts plus maîtrisables que l'achat direct auprès des fournisseurs officiels dans des scénarios comme le nôtre, où le trafic fluctue fortement en heure de pointe.
En une phrase : ce qu'une passerelle de modèles doit résoudre, ce n'est pas « connecter quelques modèles », mais gérer dans une seule couche les différences de protocole, la sémantique des erreurs et les stratégies de limitation de débit. La stabilité d'une chaîne dépend souvent du sérieux avec lequel vous traitez un code d'erreur caché dans un body.
Auteur : Chen Jingxing
Date de publication : 27 octobre 2026