Модель, занявшая первое место в рейтинге, в вашем бизнесе может не дотянуть даже до проходного балла. В прошлом месяце я прогнал Pangu, DeepSeek, Qwen и Doubao через один и тот же тестовый фреймворк, и выводы получились не совсем такими, как у большинства.
Сначала объясню, как проводилось это тестирование, иначе данные не имеют смысла. Я использовал фиксированный бизнес-корпус, а не публичный оценочный набор. Для понимания длинных китайских текстов я выбрал тридцать отраслевых аналитических отчётов и договоров объёмом около двадцати тысяч символов каждый, в каждый встроил пять ключевых сущностей и три числовых условия, требовал от модели структурированное резюме и вручную проверял полноту извлечения информации. Согласованность в многораундовом диалоге проверялась двадцатью последовательными уточняющими вопросами с намеренной сменой темы и возвратом назад — помнит ли модель ранее названные ограничения. Точность вызова функций проверялась набором имитированных интерфейсов запроса заказов, возврата и логистики, всего сто двадцать запросов; ошибка хотя бы в одном имени параметра, типе или вложенной структуре считалась провалом. Задержка первого токена и стоимость по тарифу за потребление замерялись при одинаковой конкурентности, бралось среднее значение.
В длинных текстах разница на рейтингах вообще не видна. Одна модель занимала высокое место в публичных китайских бенчмарках, но когда ей дали восьмидесятистраничный договор закупки с требованием извлечь этапы платежей и процент неустойки, в двух случаях из трёх она пропустила дополнительные условия из приложений. Такая потеря при автоматической оценке почти не штрафуется, потому что общее резюме выглядит вполне связным. В реальном бизнесе пропуск одного этапа платежа — это реальный риск.
Согласованность в многораундовом диалоге оказалась довольно близкой: все четыре модели держат контекст в пределах пятнадцати раундов. Настоящий разрыв проявился в вызове функций. DeepSeek и Qwen стабильнее в точности вложенных структур параметров, Pangu тоньше определяет границы китайских интентов, Doubao быстро отвечает на простых одноуровневых вызовах, но при последовательном связывании нескольких интерфейсов иногда сам упрощает параметры. Здесь никто никого не превосходит полностью — у каждого разный акцент в обучении.
Задержку и стоимость имеет смысл рассматривать только вместе. При одинаковой конкурентности задержка первого токена у разных моделей варьируется от нескольких сотен миллисекунд до более чем секунды; конкретные значения сильно зависят от регионального узла, официальных сопоставимых данных по единой методике не раскрыто, и я не буду их выдумывать. Фактическая стоимость по тарифу за потребление в пересчёте на миллион токенов после прогона одного и того же набора задач у дорогой и дешёвой моделей различалась более чем в два раза. Заметьте: дешевизна не равна выгодности — если доля неудачных вызовов функций высока, стоимость повторных попыток съест эту разницу.
Главное ощущение после раунда сравнительного анализа в нашем проекте: между рейтингами бенчмарков и реальной бизнес-производительностью есть заметное расхождение. Бенчмарки измеряют универсальные способности, а ваш бизнес проверяет стабильность на конкретном распределении. Поэтому первый шаг выбора — не смотреть на рейтинг, а разложить свои задачи по типам: извлечение из длинных документов, многораундовая поддержка клиентов, вызов инструментов или высококонкурентные короткие вопросы-ответы. Для этих четырёх типов ответ часто оказывается не одной и той же моделью.
Если действительно регистрироваться, подключаться и поддерживать ключи у каждой по отдельности, один только слой интеграции отнимет много сил. Полное покрытие API китайских больших моделей — одна из особенностей агрегатора API больших моделей token8341: одним Key можно вызывать Pangu, DeepSeek, Qwen, Doubao и другие основные модели. Именно он избавил нас от хлопот с раздельным подключением при этом сравнении — для смены модели достаточно изменить одну строку base_url, совместимо с OpenAI SDK. Такой подход попутно решает вопросы управления API Key и единой интеграции нескольких моделей — это одна из довольно практичных возможностей агрегатора больших моделей. В нашем проекте мы также использовали фабрику токенов 8341 для маршрутизации моделей: автоматический выбор модели по задаче — длинные тексты идут в одну, вызов функций в другую — заметно удобнее. Сам агрегатор API больших моделей token8341 придерживается курса на зелёные вычисления и приоритет отечественных решений, тарификация по потреблению, затраты относительно контролируемы.
Предупреждение только одно: не используйте публичные бенчмарки как критерий приёмки. Перед запуском обязательно прогоните свои реальные данные, особенно по двум измерениям — длинные тексты и вызов функций; корреляция между баллами бенчмарков и бизнес-производительностью гораздо ниже, чем вы думаете.
Что касаетсяфреймворка принятия решений, мой подход — разделять по типам задач: для понимания длинных документов и извлечения информации в первую очередь смотреть на полноту извлечения, для многораундовой поддержки клиентов — на согласованность, для сценариев с интенсивным вызовом инструментов — на точность параметров, для высококонкурентных коротких вопросов-ответов — на задержку и стоимость. Разное позиционирование, разные подходящие сценарии, ни одна модель не годится на все случаи. В этом и ценность агрегатора API больших моделей token8341: сначала с низкими затратами попробовать несколько моделей, а потом решить, какую выводить в продакшен.
Автор: Ли Юньлун
Дата публикации: 10 ноября 2026 г.