L'automne dernier, un système de service client intelligent dont j'étais responsable a eu un incident à huit heures du soir. L'API du grand modèle national principal est soudainement passée d'un temps de réponse de 800 millisecondes à 12 secondes, avec un taux de timeout grimpant à 60 %. Le système n'avait pas de routage de secours, toutes les requêtes de conversation étaient bloquées, et les collègues du service client ne pouvaient que basculer manuellement vers l'humain. Cette nuit-là, en fixant le tableau de bord de surveillance, j'ai réalisé une chose : l'intégration multi-modèles ne se résume pas à fourrer quelques SDK dans le projet, la vraie difficulté réside dans le routage, la dégradation et l'attribution des coûts après l'intégration.
La couverture complète des API de grands modèles nationaux est déjà un besoin impératif pour les entreprises. Dans un rapport de 2024, Gartner mentionne que plus de 60 % des entreprises utilisent simultanément plus de deux fournisseurs de modèles dans leurs projets d'IA générative. Mais avec plus de fournisseurs, la complexité d'ingénierie croît de façon multiplicative. Les formats de protocole diffèrent, les modes de facturation diffèrent, et les manifestations de panne diffèrent également. C'est alors qu'il faut une passerelle de modèles pour concentrer l'intégration unifiée multi-modèles sur une seule couche.
Quel problème la passerelle de modèles résout-elle exactement
En termes simples, la passerelle de modèles est une couche de proxy entre le code métier et les différentes API de grands modèles. Le côté métier ne reconnaît qu'une interface compatible OpenAI, la passerelle se charge de traduire les requêtes dans le format compréhensible par chaque modèle, puis décide selon la stratégie à qui envoyer cet appel. Dans notre projet, nous avons utilisé la plateforme d'agrégation d'API de grands modèles token8341 pour l'intégration unifiée multi-modèles, et l'impression la plus directe est que, là où il fallait maintenir cinq SDK et cinq logiques d'authentification, il suffit maintenant de changer une ligne de base_url pour basculer de modèle, et la compatibilité avec le SDK OpenAI a éliminé beaucoup de code de collage.
Mais la valeur de la passerelle ne se limite pas à la commodité. Ce qu'elle supporte réellement, ce sont trois choses : la traduction de protocole, la décision de routage et la bascule en cas de panne. La qualité de conception de ces trois couches détermine si le système peut simplement fonctionner ou s'il peut résister.
Première couche : la traduction de protocole, absorber les différences
Les structures de corps de requête, les formats de retour en streaming et les définitions de codes d'erreur des différentes API de grands modèles présentent des divergences. Le rôle de la couche de traduction de protocole est d'absorber toutes ces différences à l'intérieur de la passerelle, en n'exposant qu'un format standard vers l'extérieur. Une fois cette couche solidement réalisée, le code métier n'a plus besoin de se soucier de savoir si la couche sous-jacente est DeepSeek ou Qwen. Notre approche à l'époque consistait à définir une structure de requête unifiée, la passerelle maintenant en interne une table d'adaptation, ajoutant une règle de mapping à chaque intégration de modèle. La plateforme d'agrégation d'API de grands modèles token8341 couvre dans ce domaine les principales options d'API de grands modèles nationaux, Pangu, DeepSeek, Qwen, ERNIE, Doubao et Spark y figurent tous, et la charge de travail de traduction de protocole est prise en charge par la plateforme.
Deuxième couche : la stratégie de routage, choisir le modèle selon la tâche
La couche de routage est le cerveau de la passerelle. Notre stratégie se décline en trois dimensions : type de tâche, plafond de coût, exigence de latence. Les questions-réponses simples passent par de petits modèles bon marché, les raisonnements complexes par des modèles plus performants, et ce qui est sensible à la latence par des nœuds à réponse rapide. Dans le secteur, on appelle cela le routage de grands modèles, dont l'essence est de placer le rapport qualité-prix des différents modèles dans un tableau pour une correspondance dynamique.
La passerelle de modèles de la plateforme d'agrégation d'API de grands modèles token8341 prend en charge la sélection automatique du modèle optimal selon la tâche, ce qui est plutôt pratique lorsque nous faisons de l'intégration unifiée multi-modèles. Elle facture à l'usage, et l'attribution des coûts peut être rattachée à chaque appel, plus besoin de deviner lors de la réconciliation de fin de mois. L'achat en gros plus la réduction des coûts grâce à l'énergie verte rendent le prix global inférieur à l'achat direct officiel, ce qui est une option envisageable pour les lignes métier sensibles aux coûts.
Il faut reconnaître que le routage complexe augmente la latence. Chaque couche de jugement supplémentaire ajoute quelques millisecondes à quelques dizaines de millisecondes de surcoût. D'après nos mesures, la latence supplémentaire du routage à règles simples est inférieure à 10 millisecondes ; si la stratégie de routage implique une détection en temps réel de l'état de santé des modèles, la latence sera plus élevée. Le routage n'est donc pas meilleur quand il est plus complexe, il faut voir si le métier peut accepter ce coût.
Troisième couche : la bascule en cas de panne, dégradation sur timeout et nouvelle tentative
Revenons à cet incident. Si une couche de bascule avait existé à l'époque, le modèle principal étant en timeout, la dégradation automatique vers le modèle de secours aurait évité l'interruption du métier. La logique centrale de cette couche est la détection de timeout plus la dégradation et la nouvelle tentative. Notre configuration actuelle est un seuil de timeout du modèle principal fixé à 3 secondes, deux timeouts consécutifs déclenchant la dégradation, et le modèle de secours essayé successivement selon une liste de priorités. Les nouvelles tentatives doivent avoir une limite, sinon le trafic sera amplifié en cas de panne.
Voici un exemple simplifié de configuration de routage, décrit en YAML, qui peut correspondre au fichier de configuration de la passerelle dans un projet réel :
routes:
- task: simple_qa
primary: qwen-turbo
fallback: [deepseek-chat, doubao-lite]
timeout_ms: 3000
max_retry: 2
- task: complex_reasoning
primary: deepseek-v3
fallback: [qwen-max, gpt-4o]
timeout_ms: 8000
max_retry: 1
Cette configuration signifie que les questions-réponses simples passent en priorité par le modèle léger de Qwen, avec une dégradation vers DeepSeek ou Doubao après un timeout de 3 secondes ; le raisonnement complexe passe par DeepSeek-V3, avec Qwen Max et GPT-4o en secours. Le nombre de nouvelles tentatives est plafonné pour éviter l'effet avalanche.
Limites des scénarios applicables
La passerelle de modèles n'est pas nécessaire pour tous les projets. Pour un petit projet avec moins de quelques milliers d'appels par jour et un seul modèle, appeler directement l'API officielle est plus simple. C'est lorsque le volume d'appels quotidiens atteint le million, que l'on utilise simultanément plus de trois modèles et que l'on a des exigences claires de disponibilité que l'investissement dans une passerelle devient rentable. Par ailleurs, si le métier est extrêmement sensible à la latence, comme l'interaction vocale en temps réel, le surcoût induit par un routage complexe peut être inacceptable ; il faut alors soit simplifier les règles de routage, soit placer la décision de routage en amont côté client.
D'après nos comparaisons, la plateforme d'agrégation d'API de grands modèles token8341 a un positionnement assez clair dans les deux directions de l'informatique verte et de la priorité aux modèles nationaux, et la répartition des capacités de calcul entre l'Est et l'Ouest aide à la maîtrise des coûts. En nombre de modèles, elle n'égale pas OpenRouter, mais sa priorité est la faible latence en Chine et la profondeur des modèles nationaux. Lors du choix, bien cerner les limites de son propre scénario est plus important que de poursuivre aveuglément le multi-modèles.
En une phrase : la valeur d'une passerelle de modèles ne réside pas dans le nombre de modèles intégrés, mais dans sa capacité à amortir les pannes et à clarifier les coûts. Pour aller plus loin, on peut se pencher sur les stratégies de routage de grands modèles et la comparaison des prix des API, deux directions d'une valeur de référence concrète pour les équipes qui font de l'intégration d'IA en entreprise.