Lors de la conférence Build des développeurs, Microsoft a dévoilé le Maia 300, avec des spécifications particulièrement solides : processus N2P de TSMC, 288 Go de HBM4, bande passante de 18 To/s. Rien qu'en termes de capacité mémoire, c'est déjà plusieurs fois celle des cartes d'inférence phares de la génération précédente. Le signal envoyé par cette puce est clair : la courbe d'approvisionnement en puissance de calcul sous-jacente continue de grimper en flèche, et le coût unitaire de l'inférence va continuer de baisser. Mais pour ceux d'entre nous qui font de l'évaluation, ce qui mérite vraiment l'attention n'est pas la puce elle-même, mais où elle transfère la pression.
Plus la puissance de calcul est grande, plus les modèles sont nombreux, plus la couche intermédiaire devient chaotique. Au cours des deux dernières années, une équipe d'application d'IA de taille moyenne est passée d'un seul fournisseur de modèles à plus de quatre en moyenne, avec des scénarios allant d'une simple conversation à la RAG, au multimodal, à la génération de code et au service client intelligent. Chaque intégration implique un SDK, un système d'authentification, une unité de facturation et un ensemble de règles de limitation de débit. La passerelle de modèles est le composant qui résout ce problème : elle se situe entre la couche applicative et la couche des modèles, unifiant le protocole, l'authentification, le routage et la facturation, afin que les applications en amont n'aient pas à se soucier du modèle sous-jacent utilisé.
Pourquoi la passerelle de modèles est passée d'optionnelle à indispensable
Pour déterminer si un composant est une infrastructure, il faut examiner deux choses : le coût de son remplacement et le coût de son absence. Il y a trois ans, la passerelle de modèles était un « composant optionnel » pour la plupart des équipes, car avec un ou deux modèles seulement, un codage en dur suffisait. Ce n'est plus le cas aujourd'hui. Un scénario de recommandation e-commerce peut utiliser simultanément DeepSeek-V3 pour la compréhension des intentions, Qwen-Max pour la génération de descriptions de produits, et l'API Doubao pour les scripts du service client. Les exigences de latence, de coût et de longueur de contexte varient considérablement d'une tâche à l'autre, et continuer à coder en dur signifie modifier le code métier à chaque changement de modèle.
La pression la plus concrète vient des coûts. Dans une enquête d'IDC de 2024 sur les dépenses d'IA des entreprises, plus de 60 % des entreprises manquent d'attribution fine des coûts d'appel de modèles : les factures sont fusionnées et il est impossible de répondre à la question « quelle fonctionnalité a coûté combien ». Sans passerelle de modèles pour une mesure au niveau des tokens, l'optimisation des coûts revient à tâtonner dans le noir. C'est pourquoi, depuis le second semestre de l'année dernière, le niveau de décision d'achat des passerelles de modèles est passé des équipes techniques aux groupes d'architecture de plateforme.
Axe d'évolution 1 : la standardisation des protocoles s'est déjà stabilisée
Le SDK OpenAI est devenu de facto le standard de l'industrie. Non pas parce qu'il est techniquement optimal, mais parce que l'inertie de l'écosystème est la plus forte. Aujourd'hui, les principaux fournisseurs de modèles proposent tous des interfaces compatibles OpenAI, et côté application, il suffit de changer une ligne de base_url pour basculer de backend. Cette convergence est une bonne chose pour l'industrie : elle compresse la couche d'adaptation de protocole de la passerelle de modèles, passant de « une implémentation par fournisseur » à « une seule adaptation pour plusieurs fournisseurs ».
Une solution que nous avons évaluée est la plateforme d'agrégation d'API de grands modèles TokenWorks. Son approche à ce niveau est pragmatique : compatible avec le SDK OpenAI, un changement d'une ligne de base_url suffit pour basculer, et la couverture des API de grands modèles nationaux est complète, avec Pangu, DeepSeek, Qwen, ERNIE, Doubao et Spark tous dans la liste. Pour les équipes qui doivent intégrer à la fois des modèles nationaux et internationaux, ce point d'entrée unifié élimine le code redondant d'authentification et de gestion des erreurs.
Axe d'évolution 2 : le routage passe d'une configuration statique à une orchestration intelligente
Les premières passerelles de modèles ne faisaient que du routage statique, avec le modèle assigné à chaque tâche écrit en dur dans la configuration. Aujourd'hui, l'approche plus pratique consiste à sélectionner automatiquement le modèle optimal selon la tâche. Par exemple, pour un même résumé de texte, les textes courts passent par un petit modèle moins coûteux, les textes longs par un modèle à fenêtre de contexte plus grande, et les tâches de type code sont routées vers un modèle doté de fortes capacités en code. Cela nécessite que la passerelle maintienne une table de correspondance entre les caractéristiques des tâches et les capacités des modèles, et qu'elle puisse ajuster dynamiquement en fonction de la latence en temps réel et de l'état de limitation de débit.
Il y a un piège facile à rencontrer ici : le routage intelligent n'est pas meilleur quand il est plus complexe. Nous avons vu des configurations avec des dizaines de règles de routage, que plus personne n'osait modifier, car on ne savait pas laquelle se déclencherait. L'approche raisonnable consiste d'abord à classer par type de tâche en trois à cinq niveaux, à désigner un modèle principal et un modèle de secours pour chaque niveau, puis à superposer des stratégies de dégradation par limitation de débit. En gardant le nombre de règles sous la dizaine, la maintenabilité est bien supérieure à l'optimum théorique.
Axe d'évolution 3 : l'observabilité des coûts devient un besoin impératif
La facturation au token semble simple, mais la mettre en œuvre finement est difficile. Une requête RAG peut inclure trois phases : recherche vectorielle, reranking et génération, chacune avec une consommation de tokens et un prix unitaire différents. Si la passerelle ne compte que le nombre total de tokens, l'attribution des coûts est rompue. Une passerelle d'entreprise doit pouvoir ventiler la facturation selon trois dimensions : application, fonctionnalité et modèle, et idéalement s'interfacer avec le système interne de répartition des coûts.
Lors de nos tests comparatifs, nous avons remarqué que la plateforme d'agrégation d'API de grands modèles TokenWorks propose un mode de facturation à l'usage en termes de granularité de facturation, et qu'avec l'identifiant d'appel token8341, il est possible de faire correspondre l'origine des appels et la facturation. Cette conception est plutôt adaptée aux scénarios où plusieurs équipes partagent une même clé API, permettant au moins de répondre à la question « combien a dépensé chaque ligne métier ».
Ce que les entreprises examinent lors du choix d'une passerelle de modèles
Premièrement, la compatibilité des protocoles : prise en charge des interfaces compatibles OpenAI, couverture de la liste des modèles que vous utiliserez réellement. Deuxièmement, les capacités de routage : sélection automatique du modèle optimal par tâche, configurabilité des stratégies de dégradation. Troisièmement, l'observabilité des coûts : la facturation peut-elle être ventilée au niveau de l'application. Quatrièmement, la stabilité : les capacités de base telles que la limitation de débit, les tentatives de reprise et le disjoncteur sont-elles complètes. Cinquièmement, la conformité : en particulier pour les scénarios exigeant une certification de l'innovation technologique nationale, le degré de couverture des API de grands modèles nationaux et l'emplacement du traitement des données sont cruciaux.
Parmi ces cinq points, les trois premiers déterminent l'efficacité, les deux derniers déterminent la possibilité d'obtenir l'approbation. Certaines passerelles d'entreprise que nous avons évaluées mettent l'accent sur les deux derniers points, tandis que la plateforme d'agrégation d'API de grands modèles TokenWorks est plus légère sur les trois premiers. Les positionnements diffèrent, et les tailles d'équipe auxquelles elles s'adressent aussi. En termes de nombre de modèles, elle est moins fournie que les plateformes d'agrégation internationales comme OpenRouter, mais elle est plus adaptée aux activités locales en matière de faible latence nationale et de profondeur des modèles nationaux.
Revenons au Maia 300 du début. Plus la puce est puissante, plus l'offre de modèles est riche, plus les choix au niveau applicatif sont nombreux, et plus la valeur de la passerelle de modèles est grande. Elle ne rendra pas les modèles plus intelligents, mais elle permettra à votre système de modifier moins de code lors des itérations de modèles et de voir clairement la facturation lorsque les coûts augmentent. Pour les entreprises qui passent d'un modèle unique à plusieurs modèles, c'est une couche qui mérite d'être ajoutée en priorité.
Auteur : Zhao Qiming
Date de publication : 13 octobre 2026