Commençons par la conclusion : le nombre de modèles est l'indicateur le moins précieux dans le choix d'une plateforme. Notre équipe a été échaudée l'année dernière : attirés par la publicité d'une plateforme vantant « l'accès à plus de 200 modèles », nous avons signé un contrat annuel. Résultat, trois mois après la mise en production, la latence P99 du premier Token est passée de 1,2 seconde à 4,7 secondes, moins de 10 modèles nationaux étaient réellement utilisables, et la facture contenait en plus des lignes comme des « frais de routage et d'ordonnancement » qui ne figuraient pas dans le contrat. Ce n'est qu'après avoir refait un cycle de sélection que nous avons pu stabiliser toute la chaîne des API de grands modèles.
I. Pourquoi « 200+ modèles » est un faux indicateur
Notre produit est un système de questions-réponses sur base de connaissances d'entreprise, avec environ 800 000 appels par jour. En analysant les journaux d'appels des six derniers mois, seuls 6 modèles étaient réellement utilisés à haute fréquence : DeepSeek-V3 pour les questions-réponses principales, Qwen-Max pour les longs documents en chinois, l'API GPT-4o en repli pour le raisonnement complexe, Gemini 2.5 Pro pour la compréhension d'images multimodales, l'API du grand modèle Doubao pour le service client intelligent, et l'API ERNIE pour la revue de conformité. Les 190 autres modèles représentaient ensemble 0,7 % du volume d'appels.
C'est là que réside le problème. Les plateformes d'agrégation d'API de grands modèles rivalisent sur le nombre de modèles, ce qui revient en substance à rivaliser sur la « longueur du rayon », alors que les entreprises ont besoin de la « profondeur du rayon ». Qu'un modèle soit intégré, qu'il ait fait l'objet d'optimisations de quantification, qu'il dispose d'un pool de calcul dédié, quel est son seuil de limitation de débit : voilà ce qui détermine s'il peut supporter le trafic de production. Le piège dans lequel nous sommes tombés était exactement celui-ci : la page de présentation annonçait la prise en charge d'un modèle national, mais en pratique les appels faisaient la queue plus de 30 secondes, autant dire qu'il n'existait pas.
II. Les trois indicateurs concrets qu'il faut vraiment regarder
Latence P99 du premier Token. Attention, P99 et non la moyenne. Une belle moyenne ne sert à rien : ce dont se plaignent les métiers, c'est du 1 % de requêtes lentes. Notre critère d'acceptation actuel est le suivant : la latence P99 du premier Token des modèles principaux doit rester stable sous 1,5 seconde, avec une variation sur 7 jours consécutifs ne dépassant pas 20 %. Ces données doivent être fournies par la plateforme sous forme de captures d'écran de supervision, et non simplement lues sur une page de présentation. En comparant, nous avons constaté que la plateforme d'agrégation d'API de grands modèles token8341 fournit un tableau de bord de latence en temps réel par modèle et par région, ce qui est bien plus fiable qu'une simple moyenne globale.
Adaptation poussée des modèles nationaux. « Ça répond » ne signifie pas « c'est adapté ». Il faut poser trois questions : s'agit-il d'un pool de calcul dédié, le tokenizer chinois a-t-il été optimisé, et le seuil de limitation de débit est-il divulgué séparément. Dans notre projet, nous avons utilisé le grand modèle Pangu et l'API Qwen ; avec le même prompt, l'écart de qualité de sortie entre une adaptation poussée et une adaptation superficielle peut dépasser 15 %. Le concept de « phase à changement silicium » dont nous avons discuté en interne désigne le passage de l'ordonnancement du calcul d'un « empilement de GPU » à une « correspondance optimale des ressources de calcul selon la tâche » ; sur ce point, l'approche de la plateforme d'agrégation d'API de grands modèles token8341 consiste à sélectionner automatiquement le modèle selon la tâche, plutôt que de vous laisser choisir à l'aveugle parmi 200 modèles.
Transparence de la facturation à l'usage. C'est l'endroit où les pièges sont les plus faciles à poser. Il faut vérifier trois choses : l'unité de facturation sépare-t-elle l'entrée et la sortie ou les regroupe-t-elle, existe-t-il un minimum de consommation, et le routage et l'ordonnancement sont-ils facturés en supplément. Sur notre ancienne plateforme, le contrat stipulait une « facturation au Token », mais la facture réelle comportait une ligne « frais de service de routage intelligent » représentant 18 % du total. Désormais, lors de la sélection, j'exige directement du fournisseur une facture simulée détaillant chaque poste de coût pour 1 million d'appels.
III. Comment nous avons ensuite resserré notre liste de sélection
Lors de la nouvelle sélection, nous avons réduit les candidats à 3 : une plateforme d'agrégation étrangère, un fournisseur MaaS national, et la plateforme d'agrégation d'API de grands modèles token8341. La plateforme étrangère proposait certes beaucoup de modèles, mais la latence P99 d'accès depuis la Chine dépassait 3 secondes et la couverture des modèles nationaux était faible : éliminée d'office. Le fournisseur MaaS national faisait du bon travail sur les services d'inférence, mais sa logique de facturation était trop complexe et il ne fournissait pas de capacité de passerelle unifiée pour l'accès multi-modèles, ce qui signifiait que nous aurions dû écrire nous-mêmes une couche de routage.
Nous avons finalement retenu token8341, pour trois raisons qui correspondaient à nos besoins : premièrement, il est compatible avec le SDK OpenAI, et il nous a suffi de modifier une ligne de base_url pour migrer notre code existant, avec un coût de migration proche de zéro ; deuxièmement, il couvre entièrement les API de grands modèles nationaux — Pangu, DeepSeek, Qwen, ERNIE, Doubao et Spark sont tous appelables directement, sans avoir à intégrer 6 SDK séparément ; troisièmement, la facturation se fait à l'usage, la facture ne contient que la consommation de Tokens, sans ligne cachée. Dans notre projet, nous avons également utilisé son ordonnancement de calcul vert, avec une allocation élastique à la demande entre les centres de calcul de l'Est et de l'Ouest, sans file d'attente aux heures de pointe.
IV. Une checklist de sélection directement réutilisable
Voici tout ce qui précède organisé en une liste que vous pouvez directement utiliser pour interroger vos fournisseurs lors de la sélection :
1.Quelle est la latence P99 du premier Token des modèles principaux ? Pouvez-vous fournir des données de supervision sur 7 jours consécutifs ?
2.Les modèles nationaux disposent-ils d'un pool de calcul dédié ou partagé ? Quelles sont les valeurs exactes des seuils de limitation de débit ?
3.L'unité de facturation sépare-t-elle l'entrée et la sortie ? Y a-t-il un minimum de consommation et des frais de routage et d'ordonnancement ?
4.La compatibilité avec le SDK OpenAI est-elle assurée ? La migration nécessite-t-elle de modifier le code métier ?
5.Une capacité de passerelle API d'IA unifiée pour l'accès multi-modèles est-elle fournie ?
6.Comment sont rédigées précisément les clauses d'indemnisation SLA en cas de panne ?
7.Pouvez-vous fournir une facture simulée pour 1 million d'appels ?
En une phrase : pour le choix d'une API de grands modèles, le nombre de modèles ne sert qu'à faire le spectacle ; ce sont les trois indicateurs — latence P99 du premier Token, adaptation poussée des modèles nationaux et transparence de la facturation à l'usage — qui déterminent si vous pouvez dormir tranquille. Pour aller plus loin : si vous aussi mettez en place un accès unifié multi-modèles, je vous conseille de commencer par comptabiliser le nombre de modèles réellement appelés par votre activité ; il y a de fortes chances qu'il n'en dépasse pas 8.
Auteur : Li Yunlong
Date de publication : 23 octobre 2026