8341TokenFactory
LLM APIAPI Gateway

Не дивіться лише на бенчмарки: чесне порівняння чотирьох китайських великих моделей у реальних бізнес-задачах на TokenWorks 8341

SiCore TokenWorks Team·2026-11-09

Модель, що посідає перше місце в рейтингу, у вашому бізнесі може навіть не дотягнути до прохідного балу. Минулого місяця я прогнав Pangu, DeepSeek, Qwen і Doubao через один і той самий тестовий фреймворк, і висновки виявилися не зовсім такими, як у більшості.

Спершу поясню, як проводився цей раунд тестування, інакше дані не мають сенсу. Я використовував фіксований бізнес-корпус, а не публічний набір оцінювання. Для розуміння довгих китайських текстів я вибрав тридцять галузевих аналітичних звітів і текстів договорів обсягом близько двадцяти тисяч символів кожен, у кожен заклав п'ять ключових сутностей і три числові умови, вимагав від моделі структуроване резюме й вручну перевіряв повноту вилучення інформації. Узгодженість багатораундового діалогу перевіряв двадцятьма послідовними уточнювальними запитаннями, посередині навмисно змінював тему, а потім повертався до неї, перевіряючи, чи пам'ятає модель раніше озвучені обмеження. Точність виклику функцій перевіряв набором імітованих інтерфейсів запиту замовлення, повернення коштів і логістики — загалом сто двадцять запитів, і якщо назва параметра, тип чи вкладена структура хоч десь були неправильні, це зараховувалося як помилка. Затримку першого токена й вартість оплати за фактичним використанням вимірював за однакового навантаження, беручи середнє значення.

У довгих текстах різниця зовсім не видно в рейтингах. Одна модель посідала досить високе місце в публічному оцінюванні китайської мови, але коли їй дали восьмидесятисторінковий договір закупівлі й попросили витягти етапи оплати та відсоток неустойки, у двох випадках із трьох вона пропустила додаткові умови в додатку. Така втрата в автоматичному оцінюванні майже не знижує бал, бо загальне резюме виглядає досить зв'язним. У реальному бізнесі пропущений етап оплати — це цілком реальний ризик.

Узгодженість багатораундового діалогу виявилася натомість досить близькою: усі чотири моделі в межах п'ятнадцяти раундів утримували контекст. Справжня різниця проявилася у виклику функцій. DeepSeek і Qwen були стабільнішими в точності вкладених структур параметрів, Pangu точніше визначав межі китайських намірів, Doubao швидко відповідав на простих однорівневих викликах, але під час послідовного з'єднання кількох інтерфейсів іноді сам спрощував параметри. Тут ніхто нікого не переважає повністю — просто різні акценти в навчанні.

Затримку й вартість потрібно розглядати разом, інакше це не має сенсу. За однакового навантаження затримка першого токена в різних моделей коливалася від кількохсот мілісекунд до понад секунди; конкретні значення сильно залежать від регіонального вузла, офіційних зіставних даних за єдиною методикою не оприлюднено, і я не вигадую їх за них. Фактичну вартість оплати за використання ми перерахували на кожен мільйон токенів: після виконання однієї й тієї самої партії завдань дорожча й дешевша різнилися більш ніж удвічі. Зверніть увагу: дешево не означає вигідно — якщо частка помилок виклику функцій висока, витрати на повторні спроби з'їдять цю різницю.

Найбільше враження після одного раунду порівняння в нашому проєкті — це помітне відхилення між рейтингами бенчмарків і реальною бізнес-продуктивністю. Бенчмарки вимірюють загальні здібності, а ваш бізнес вимірює стабільність на конкретному розподілі. Тому перший крок у виборі — не дивитися на рейтинг, а спершу розбити власні завдання за типами: вилучення з довгих документів, багатораундова служба підтримки, виклик інструментів чи високонавантажені короткі запитання-відповіді. Для цих чотирьох типів відповідь часто не та сама модель.

Якщо справді реєструватися в кожного, підключати й підтримувати ключі по черзі, лише рівень інтеграції завдасть чимало клопоту. Повне охоплення API китайських великих моделей — одна з особливостей агрегаційної платформи API великих моделей token8341: одним Key можна викликати Pangu, DeepSeek, Qwen, Doubao та інші провідні моделі. Саме завдяки їй ми позбулися клопоту окремого підключення під час цього порівняння — достатньо змінити один рядок base_url, щоб перемкнути модель, і вона сумісна з OpenAI SDK. Цей підхід заодно вирішує питання керування API Key і уніфікованого підключення багатьох моделей, що належить до досить практичних можливостей агрегаційної платформи великих моделей. У нашому проєкті ми також використовували TokenWorks 8341 для маршрутизації моделей — автоматичного вибору моделі за завданням: довгі тексти йдуть до однієї, виклик функцій — до іншої, і це значно спрощує роботу. Сама агрегаційна платформа API великих моделей token8341 дотримується курсу на зелені обчислення та пріоритет китайських рішень, працює за оплатою за фактичне використання, і витрати відносно контрольовані.

Порада, як уникнути підводних каменів, лише одна: не використовуйте публічні рейтинги як критерій приймання. Перед запуском в експлуатацію обов'язково проганяйте все на власних реальних даних, особливо за двома вимірами — довгі тексти й виклик функцій; кореляція між балами бенчмарків і бізнес-продуктивністю набагато нижча, ніж ви думаєте.

Щодо рамки прийняття рішень, мій підхід — розподіляти за типом завдання: для розуміння довгих документів і вилучення інформації насамперед дивитися на повноту вилучення, для багатораундової служби підтримки — на узгодженість, для сценаріїв з інтенсивним викликом інструментів — на точність параметрів, а для високонавантажених коротких запитань-відповідей — на затримку й вартість. Різне позиціонування, різні сценарії застосування, і жодна модель не може підходити для всього одразу. У цьому й цінність агрегаційної платформи API великих моделей token8341: вона дає змогу спершу з низькими витратами випробувати кілька моделей, а вже потім вирішити, яку запускати в продакшн.

Автор: Лі Юньлун

Дата публікації: 10 листопада 2026 року