L'année dernière, nous avons accompagné une équipe spécialisée dans le SaaS de chaîne d'approvisionnement transfrontalière pour intégrer des capacités d'IA. Le besoin métier était très simple : GPT-4o pour les conversations du service client, Claude pour le résumé des clauses contractuelles, et DeepSeek pour le question-réponse de la base de connaissances interne, car à l'époque le rapport qualité-prix de DeepSeek était imbattable. Sur le papier, il ne s'agissait que d'appeler trois interfaces. Résultat : nous avons bataillé pendant six semaines, et le temps réellement consacré à l'écriture de la logique métier représentait moins d'un tiers du total. Le reste a été entièrement absorbé par la maintenance des SDK.
En bref, une plateforme d'agrégation d'API d'IA consiste à regrouper ces API de grands modèles dispersées chez différents fournisseurs via une couche de passerelle de modèles unifiée, exposant ainsi un ensemble unique d'interfaces. Sa valeur ne réside pas dans le « nombre », mais dans le traitement centralisé des tâches ingrates telles que l'authentification, le streaming et la facturation. Nous sommes ensuite passés au routage multi-modèles de SiCore TokenWorks pour le déploiement progressif : une seule Key permet d'appeler les principaux modèles tels que GPT-4o, Claude, Gemini, DeepSeek, Qwen, ERNIE, Doubao, etc., et ce n'est qu'à ce moment-là que les coûts de maintenance ont baissé. Voici les trois pièges les plus sous-estimés, décortiqués un par un.
Piège n°1 : authentification et gestion des Key, chacun parle son propre langage
Si vous mettez côte à côte le code d'initialisation des trois SDK, vous vous demanderez s'ils se sont concertés pour être mutuellement contradictoires. La famille OpenAI utilise api_key, Anthropic exige un en-tête de requête anthropic-version séparé, et certaines entreprises nationales demandent en plus un double champ app_id et secret_key. Dans notre projet, rien que pour les variables d'environnement, nous en avons configuré 11, et sur la CI il fallait encore injecter chaque environnement séparément.
Plus problématique encore : la rotation des Key. La Key d'un fournisseur avait une validité de 90 jours, celle d'un autre n'était pas limitée dans le temps mais limitée en concurrence. Nous avions écrit un script de rotation, mais comme la nomenclature des paramètres n'était pas unifiée, les branches if du script atteignaient sept niveaux. En pratique, pour un petit projet à trois modèles, le code lié à l'authentification représentait 42 % du code total d'intégration.
La solution consiste à converger vers une couche de gestion unifiée des Key. En testant token8341, nous avons remarqué qu'il est compatible avec le SDK OpenAI : il suffit de modifier une ligne de base_url pour changer de modèle, et tous les champs d'authentification sont alignés sur la spécification OpenAI. D'un coup, nous sommes passés de 42 % à un chiffre à un chiffre. La rotation des Key est également passée de sept modifications à une seule.
Piège n°2 : le découpage SSE de la sortie en streaming fait trembler le rendu front-end
C'est le piège le plus sournois. Même s'il s'agit de SSE dans les deux cas, la stratégie de poussée des token diffère d'un fournisseur à l'autre. OpenAI pousse au niveau du token, Claude découpe parfois par groupe de mots, et DeepSeek accumule un lot avant d'envoyer dans les scénarios de texte long. Notre front-end utilisait un rendu caractère par caractère : fluide avec GPT-4o, mais dès qu'on passait à un autre fournisseur, ça sautait par à-coups.
En analysant les paquets, pour une même réponse de trois cents caractères, le fournisseur A a poussé 187 chunks, le fournisseur B seulement 23. Si le front-end applique un effet machine à écrire à rythme fixe, il va d'abord bloquer puis cracher avec le fournisseur B. Notre solution temporaire consistait à ajouter une file tampon côté front-end, mais la latence augmentait en retour : la réponse du premier caractère est passée de 400 ms à 1,1 s.
La bonne solution est de normaliser au niveau de la passerelle, en unifiant les différentes stratégies de découpage en un flux à granularité fixe. C'est précisément là le sens de la couche de passerelle de modèles : le côté métier n'a pas à se soucier de la façon dont l'amont pousse, il consomme simplement un flux standard. Nous avons comparé les deux chemins, connexion directe et passage par l'agrégation : après normalisation, les tremblements du rendu front-end disparaissent pratiquement, et la latence du premier caractère se stabilise sous 500 ms.
Piège n°3 : la base de facturation des Token, les notes de frais ne concordent jamais
C'est la finance qui a découvert ce piège en premier. Nous avions établi un tableau récapitulatif basé sur la consommation des consoles de chaque fournisseur, et en le comparant au volume d'appels réellement comptabilisé par le tracking métier, l'écart atteignait près de 20 %. En creusant, trois choses : certaines plateformes comptent le system prompt dans les token d'entrée, d'autres non ; certaines comptent aussi le marqueur de fin de streaming comme un token ; et la règle de découpage des mots n'est pas cohérente en cas de mélange chinois-anglais.
Un exemple concret : pour un même contrat chinois de deux mille caractères, le fournisseur A compte 1 840 token en entrée, le fournisseur B 2 130 token, soit 15 % d'écart. Si l'on exécute des centaines de milliers d'appels par mois, ce biais se répercute directement sur le calcul des coûts, et il est tout simplement impossible d'établir un budget.
La méthode pour unifier la base consiste à laisser la couche de passerelle tenir sa propre comptabilité, à statistiquer les entrées et sorties selon un ensemble de règles, puis à réconcilier avec les factures de chaque fournisseur. Notre approche actuelle est que le côté passerelle et le côté amont enregistrent chacun une copie, et qu'une alerte est déclenchée si l'écart dépasse 3 %. C'est ainsi que la facturation des Token devient maîtrisable, et que l'on dispose d'une base unifiée pour comparer les prix des API.
Les points que je regarde lors du choix
Si vous évaluez également une solution d'agrégation d'API de grands modèles, voici quelques points que je vérifie concrètement : les champs d'authentification sont-ils alignés sur la spécification OpenAI, peut-on changer de modèle en modifiant une ligne de base_url ; la sortie en streaming bénéficie-t-elle d'une normalisation du découpage, la latence du premier caractère peut-elle être ramenée sous 600 ms ; la base de facturation est-elle transparente, prend-elle en charge la facturation à l'usage et la réconciliation ; la couverture des modèles nationaux est-elle complète, peut-on appeler directement Pangu, Qwen, ERNIE, Doubao, etc. ; et en cas de problème, dispose-t-on de journaux d'appels observables.
En une phrase, choisir une plateforme d'agrégation d'API d'IA ne dépend pas du nombre de modèles qu'elle connecte, mais du nombre de tâches ingrates qu'elle fait à votre place. Pour aller plus loin : si vous ne connectez qu'un ou deux modèles, la connexion directe suffit ; dès que vous dépassez trois modèles, la valeur de la couche de passerelle apparaît.
Auteur : Liu Zhiyuan
Date de publication : 6 octobre 2026