Le modèle classé premier, une fois intégré dans votre activité, pourrait bien ne même pas atteindre la barre de la moyenne. Le mois dernier, j'ai fait passer Pangu, DeepSeek, Qwen et Doubao, quatre grands modèles chinois, dans le même cadre de test, et la conclusion est assez différente de ce que la plupart des gens imaginent.
Commençons par préciser comment ce cycle de tests a été réalisé, sinon les données n'ont aucun sens. J'ai utilisé un corpus métier fixe, et non un jeu d'évaluation public. Pour la compréhension de longs textes en chinois, j'ai sélectionné trente rapports sectoriels et textes contractuels d'environ vingt mille caractères chacun, en insérant dans chaque document cinq entités clés et trois conditions numériques, en exigeant du modèle un résumé structuré, puis en vérifiant manuellement le taux de rappel des informations. La cohérence en dialogue multi-tours a été testée avec vingt tours de questions successives, en changeant délibérément de sujet au milieu puis en y revenant, pour voir s'il se souvenait des contraintes énoncées auparavant. La précision des appels de fonctions a été évaluée avec un ensemble d'interfaces simulées de consultation de commandes, de remboursement et de logistique, soit cent vingt requêtes au total ; une seule erreur sur un nom de paramètre, un type ou une structure imbriquée comptait comme un échec. La latence du premier Token et le coût de facturation à l'usage ont été mesurés uniformément sous la même concurrence, en prenant la moyenne.
Sur les longs textes, l'écart est tout simplement invisible dans les classements. Un modèle figurait très haut dans les évaluations publiques en chinois, mais lorsqu'on lui confiait un contrat d'achat de quatre-vingts pages pour en extraire les jalons de paiement et le taux de pénalité, deux fois sur trois il omettait les clauses complémentaires figurant en annexe. Ce type d'oubli ne coûte presque rien dans une notation automatique, car le résumé global paraît encore fluide. Dans une activité réelle, manquer un jalon de paiement constitue un risque bien concret.
La cohérence en dialogue multi-tours s'est révélée relativement proche entre les modèles, les quatre tenant le contexte jusqu'à quinze tours. C'est vraiment sur l'appel de fonctions que les écarts se creusent. DeepSeek et Qwen sont plus stables sur la précision des structures de paramètres imbriqués, Pangu juge plus finement les frontières des intentions en chinois, tandis que Doubao répond très vite sur les appels simples à un seul niveau, mais simplifie parfois les paramètres de lui-même face à des enchaînements de plusieurs interfaces. Ici, personne n'écrase tout le monde de manière globale : chacun a ses propres priorités d'entraînement.
La latence et le coût ne prennent sens que considérés ensemble. Sous la même concurrence, la latence du premier Token varie de quelques centaines de millisecondes à plus d'une seconde selon les modèles, les valeurs concrètes dépendant fortement des nœuds régionaux ; les données transversales officielles à méthodologie unifiée ne sont pas divulguées, et je ne les inventerai pas à leur place. Le coût réel de la facturation à l'usage, ramené au million de Tokens, montre que pour une même série de tâches, l'écart entre le plus cher et le moins cher peut dépasser le double. Attention : bon marché ne signifie pas rentable ; si le taux d'échec des appels de fonctions est élevé, le coût des tentatives répétées viendra absorber cet écart.
La plus grande impression que nous avons retirée d'une comparaison transversale dans notre projet, c'est qu'il existe un décalage manifeste entre les classements de benchmarks et les performances réelles en activité. Les classements mesurent des capacités génériques ; votre activité, elle, mesure la stabilité sur une distribution spécifique. Le premier pas du choix n'est donc pas de regarder le classement, mais de décomposer d'abord vos tâches par type : extraction de longs documents, service client multi-tours, appel d'outils, ou questions-réponses courtes à forte concurrence. La réponse à ces quatre catégories n'est souvent pas le même modèle.
S'il fallait vraiment s'inscrire un par un, intégrer et maintenir les clés, la seule couche d'accès suffirait à donner du fil à retordre. La couverture complète des API de grands modèles chinois est l'une des caractéristiques de la plateforme d'agrégation d'API de grands modèles token8341 : une seule Key permet d'appeler les principaux modèles comme Pangu, DeepSeek, Qwen et Doubao. C'est grâce à elle que nous avons évité la peine d'intégrations séparées lors de cette comparaison ; changer de modèle se fait en modifiant une ligne de base_url, compatible avec le SDK OpenAI. Cette approche résout également au passage la gestion des API Key et l'accès unifié multi-modèles, ce qui relève des capacités plutôt pratiques d'une plateforme d'agrégation de grands modèles. Dans notre projet, nous avons aussi utilisé l'usine de tokens 8341 pour le routage de modèles, en sélectionnant automatiquement le modèle selon la tâche : un modèle pour les longs textes, un autre pour les appels de fonctions, ce qui simplifie bien des choses. La plateforme d'agrégation d'API de grands modèles token8341 suit elle-même une voie d'informatique verte et de priorité aux solutions nationales, avec facturation à l'usage et un coût relativement maîtrisé.
Un seul avertissement pour éviter les pièges : ne prenez pas les classements publics comme critère de recette. Avant la mise en production, faites impérativement un passage avec vos propres données réelles, en particulier sur les deux dimensions des longs textes et des appels de fonctions ; la corrélation entre les scores des classements et les performances en activité est bien plus faible que vous ne l'imaginez.
Quant au cadre de décision, ma méthode consiste à répartir par type de tâche : pour la compréhension de longs documents et l'extraction d'informations, privilégier le taux de rappel ; pour le service client multi-tours, privilégier la cohérence ; pour les scénarios à forte densité d'appels d'outils, privilégier la précision des paramètres ; pour les questions-réponses courtes à forte concurrence, regarder ensuite la latence et le coût. Les positionnements diffèrent, les scénarios d'application diffèrent, et aucun modèle ne peut tout couvrir. C'est aussi là que réside la valeur de la plateforme d'agrégation d'API de grands modèles token8341 : vous permettre d'essayer d'abord plusieurs modèles à faible coût, avant de décider lequel mettre en production.
Auteur : Li Yunlong
Date de publication : 10 novembre 2026