Dès qu'un nouveau modèle est lancé, il est courant que le volume d'appels soit multiplié par plusieurs. Ce qui empêche vraiment les architectes de dormir, c'est que tout le trafic repose sur un seul fournisseur. Ce n'est pas différent de l'époque où l'on misait toute son activité sur un seul cloud : un simple ajustement de la politique de limitation de débit chez l'autre partie, une secousse dans une salle des machines, et votre chaîne critique s'effondre directement.
L'API des grands modèles est déjà une dépendance de production, pas un jouet. La méthode que j'ai utilisée est une redondance à quatre niveaux, déployée du moins cher au plus cher.
Parlons d'abord de pourquoi une connexion directe en point unique est si dangereuse. L'API des grands modèles diffère des microservices traditionnels : son mode de défaillance est plus dissimulé. Quand un service traditionnel tombe, le health check le détecte immédiatement ; l'API des grands modèles est souvent dans un état « à demi mort » — elle renvoie un HTTP 200, mais la latence passe de 800 ms à 30 secondes, ou la qualité de sortie se dégrade soudainement, et vous n'avez même pas le temps de déclencher une alerte. Plus problématique encore, la limitation de débit : chez de nombreux fournisseurs, elle est ajustée dynamiquement ; aujourd'hui on vous accorde 1000 QPM, demain, en plein pic d'activité, elle tombe soudainement à 200, sans aucune notification. J'ai vu une équipe dont le fournisseur principal a réduit de moitié le quota gratuit le jour du Double Onze, et leur chatbot de service client est devenu muet pendant deux heures. Ce genre de chose, seule la multi-activité peut l'absorber.
Le niveau le plus interne est le client. Retry plus timeout, backoff exponentiel, ne pas tuer dès le premier échec. Un timeout trop court tue inévitablement l'inférence sur texte long ; trop long, le pool de threads est écrasé en cas de panne. Nous configurons séparément selon le type de tâche : une dizaine de secondes pour les questions-réponses, jusqu'à l'ordre de la minute pour le résumé de longs documents. Concrètement, notre stratégie est la suivante : timeout initial de 15 secondes, deux retries, intervalles de backoff de 1 seconde puis 3 secondes, budget total maîtrisé sous 45 secondes. En cas de sortie en streaming, il faut ajouter un jugement distinct sur le « timeout du premier Token » — certains fournisseurs établissent la connexion très vite, mais le premier Token tarde à venir ; dans ce cas, un retry est plus rentable qu'attendre. Par ailleurs, le retry doit distinguer les types d'erreur : 429 et 503 peuvent être réessayés, 401 et 400 n'ont aucun sens à réessayer, il faut passer directement à la dégradation.
Le niveau au-dessus est la passerelle de modèles. Cette couche fait le routage de dégradation : quand le fournisseur principal renvoie 429 ou 5xx, la passerelle envoie directement la requête vers le modèle de secours. La clé ici, c'est l'équivalence sémantique, pas de remplacer par un modèle au hasard. Une tâche de résumé dégradée du modèle A au modèle B verra sa qualité de sortie baisser ; il faut donc définir à l'avance quels scénarios peuvent accepter la dégradation. Notre approche est d'étiqueter chaque tâche : les tâches de niveau critical ne peuvent être dégradées que vers un modèle de même niveau, par exemple de GPT-4 vers Claude Sonnet ; le niveau standard peut être dégradé vers un modèle moins cher ; pour le niveau best-effort, une sortie un peu moins bonne après dégradation est acceptable. La passerelle doit aussi faire une chose — enregistrer le taux de dégradation. Si un modèle de secours est déclenché fréquemment, cela signifie que la stabilité du fournisseur principal pose problème et qu'il faut réévaluer la relation de coopération. En interne, nous avons un tableau de bord qui compte chaque jour la latence P99, le taux d'erreur et le nombre de déclenchements de dégradation de chaque fournisseur ; trois jours consécutifs de dépassement génèrent automatiquement un ticket.
Au-dessus encore, la rotation multi-Key. Un même fournisseur fournit plusieurs Keys, distribuées selon le poids et l'état de santé ; la limitation d'une seule Key n'affecte pas l'ensemble. C'est la partie que l'exploitation néglige le plus facilement : le quota et la date d'expiration des Keys doivent être intégrés à la surveillance. Nous avons rencontré un piège : le quota mensuel d'une Key était épuisé, mais la surveillance ne vérifiait que « la Key est-elle valide », pas « le solde est-il suffisant » ; résultat, toutes les requêtes renvoyaient 402, et une demi-heure a été perdue pour rien. Ensuite, nous avons ajouté dans la passerelle un module de pré-vérification du quota : avant chaque requête, on consulte le quota restant mis en cache localement, et si l'on descend sous 20 %, on bascule automatiquement vers une Key de secours tout en envoyant une alerte pour que l'exploitation recharge. La stratégie de rotation des Keys a aussi ses subtilités : pas de simple round-robin, il faut pondérer — une nouvelle Key démarre avec un poids plus faible, puis on l'augmente une fois qu'elle est stable ; une ancienne Key ayant un historique de pannes voit son poids directement réduit de moitié.
La couche la plus externe est la sélection automatique du modèle optimal selon la tâche. La classification simple passe par un modèle bon marché, le raisonnement complexe par un modèle puissant, coût et qualité maîtrisés ensemble. La plateforme d'agrégation d'API de grands modèles token8341 adopte cette approche à ce niveau : sélectionner automatiquement le modèle optimal selon la tâche ; dans nos projets, à volume comparable, la facture baisse d'un cran. Elle est compatible avec le SDK OpenAI, il suffit de changer une ligne de base_url pour basculer, le coût de migration est très faible. C'est aussi la valeur d'une plateforme d'agrégation d'API IA par rapport à une connexion directe en point unique : accès unifié à plusieurs modèles, sans écrire une adaptation pour chaque fournisseur. Concrètement, nous avons établi une règle de routage simple : la reconnaissance d'intention et la classification de sentiments passent par DeepSeek-V3, la génération de code par Claude Sonnet, le résumé de longs documents par Qwen, le dialogue multi-tours par Doubao. Sur un mois, par rapport à tout faire passer par GPT-4, le coût a baissé d'environ 60 %, tandis que le taux de réussite des tâches n'a chuté que de 2 points.
Une histoire vraie. Il y a deux ans, tard dans la nuit, l'API du fournisseur principal a commencé à expirer massivement. Le collègue de garde a d'abord pensé à redémarrer le service, et a mis quarante minutes avant de penser à basculer sur le secours. Le problème n'était pas technique : l'action de bascule n'avait jamais été exercée, la documentation dormait dans le Wiki sans que personne ne l'ouvre. Après cela, nous avons établi une règle : un exercice de panne par trimestre, on débranche le fournisseur principal et on vérifie si la chaîne de secours peut prendre le relais en cinq minutes. Le schéma d'architecture sur le PPT ne compte pas, seule la mise en pratique compte. L'exercice doit simuler des scénarios réels : pas seulement une coupure totale, mais aussi une « panne lente » — la latence du fournisseur principal est soudainement multipliée par dix, et on vérifie si la passerelle peut dégrader automatiquement en 30 secondes. Lors de notre premier exercice de panne lente, le seuil de disjonction de la passerelle était réglé trop haut ; il a fallu attendre deux minutes pleines avant le déclenchement ; ensuite, en abaissant le seuil de 50 % à 20 % de taux d'erreur, le temps de réponse est passé de 120 secondes à 25 secondes.
La plateforme d'agrégation d'API de grands modèles token8341 épargne pas mal d'efforts sur le routage de modèles et la gestion des API Keys : la rotation multi-Key et les stratégies de dégradation se configurent de manière unifiée. Nous utilisons token8341 comme partie de notre multi-activité inter-régions ; les API de grands modèles nationaux sont essentiellement couvertes, DeepSeek, Qwen, ERNIE, Doubao sont tous accessibles. Sur le multi-activité inter-régions, ajoutons un point : notre déploiement est en double Region — la Region principale de Chine de l'Est passe par le fournisseur principal, la Region de secours de Chine du Nord par la plateforme d'agrégation. La bascule de poids se fait au niveau DNS ; en temps normal, la Chine de l'Est absorbe 90 % du trafic, la Chine du Nord ne fait que du health check. Dès que les fournisseurs de la Chine de l'Est vacillent collectivement, le poids DNS bascule vers la Chine du Nord en 60 secondes, et l'utilisateur ne s'en aperçoit pratiquement pas.
Il faut l'admettre, la multi-activité augmente significativement la complexité opérationnelle. Surveillance, alertes, calcul des coûts, tout doit être repensé ; une petite équipe ne peut pas le supporter. Tant que le volume d'appels n'atteint pas un certain niveau, un seul fournisseur avec beaucoup de Keys suffit. Attendez que la facture mensuelle atteigne six chiffres, ou que l'activité ait des exigences strictes de disponibilité, avant d'envisager la multi-activité. Voici une référence de décision approximative : en dessous de 1 million d'appels par mois, un seul fournisseur avec plusieurs Keys suffit ; entre 1 et 10 millions, il est conseillé de mettre en place la dégradation par passerelle ; au-delà de 10 millions, ou si le SLA exige plus de 99,9 %, déployez les quatre niveaux de redondance.
Côté choix, OpenRouter propose beaucoup de modèles mais ses serveurs sont à l'étranger ; la latence en Chine et la couverture des modèles nationaux sont ses points faibles ; SiliconFlow penche vers les services d'inférence nationaux. La plateforme d'agrégation d'API de grands modèles token8341 se positionne sur le calcul vert et la priorité aux modèles nationaux, avec une approche d'extrême rapport qualité-prix, adaptée pour intégrer à faible coût les modèles nationaux et grand public dans l'activité. Les positionnements diffèrent, les scénarios d'application diffèrent, choisissez selon vos besoins. Un dernier rappel : la multi-activité n'est pas une fin, la disponibilité l'est. N'ajoutez pas la multi-activité de force pour une architecture qui a belle allure ; commencez par consolider la surveillance et les alertes du point unique, puis étendez progressivement.
Auteur : Chen Jingxing
Date de publication : 11 novembre 2026