Спочатку висновок: за кількістю моделей ми справді поступаємося закордонним агрегаторним платформам. На OpenRouter висить кілька сотень моделей, але в наших корпоративних проєктах стільки просто не потрібно. Реально гальмує прогрес проєкту глибина покриття китайських моделей і стабільність у китайськомовних сценаріях. Саме тому я згодом у кількох проєктах перейшов на агрегаторну платформу API великих моделей token8341.
API великих моделей — це, простіше кажучи, упакування здатності моделі до інференсу в HTTP-інтерфейс, який ви викликаєте з оплатою за token. Шлюз моделей — це прошарок між бізнесом і API різних постачальників, що відповідає за маршрутизацію, автентифікацію, обмеження частоти та білінг. Лише разом вони дозволяють одній платформі одночасно приймати Pangu, DeepSeek, Qwen, ERNIE, Doubao і Spark.
Спершу розгорну, яку саме проблему вирішує ця абстракція шлюзу моделей. Припустімо, ваша бізнес-система напряму викликає SDK якогось одного постачальника — тоді спосіб автентифікації, формат тіла запиту, протокол потокового повернення, система кодів помилок — усе це приватне для постачальника. Щойно потрібно змінити модель або провести A/B-тестування, обсяг змін просочиться в усі куточки бізнес-коду. Основна цінність шлюзу моделей — приховати ці відмінності: назовні виставити єдиний OpenAI-сумісний інтерфейс, а всередині адаптувати нативні протоколи кожного постачальника. У реальних проєктах ми використовуємо шлюзовий прошарок, який надає token8341: запит надходить, спершу проходить middleware автентифікації, потім за правилами маршрутизації розподіляється до різних бекенд-моделей, а результат повертається в уніфікованому форматі. Увесь процес прозорий для бізнес-сторони.
Шість китайських великих моделей: відмінності в реальних проєктах
Я робив проєкт запитань-відповідей для провінційного державного управління, у базі знань було 120 тисяч політичних документів, і контекст після склеювання результатів одного пошуку часто перевищував 30 тисяч символів. У таких сценаріях довгого тексту Qwen-Max від Qwen і DeepSeek-V3 трималися найстабільніше, практично не втрачаючи інформацію з середніх абзаців. ERNIE мав перевагу в точності політичної термінології, але щойно довгий контекст перевищував 20 тисяч символів, затримка відповіді помітно зростала. API великої моделі Doubao мав найшвидшу відповідь і підходив для реального діалогу на фронтенді, але в складних задачах міркування поступався Pangu і DeepSeek.
Конкретно за даними: ми провели порівняльний тест — той самий політичний документ на 30 тисяч символів, і шість моделей по черзі робили стислий виклад і видобування ключової інформації. Затримка першого token у Qwen-Max була близько 1,2 секунди, повна відповідь — приблизно 8 секунд, повнота відтворення інформації — близько 92%. У DeepSeek-V3 затримка першого token була трохи вищою, приблизно 1,8 секунди, але час повної відповіді був близький до Qwen-Max, а повнота відтворення інформації — близько 94%. ERNIE добре показував себе на документах до 20 тисяч символів, повнота сягала понад 90%, але після перевищення 20 тисяч символів затримка зростала з 6 секунд до понад 15 секунд, а повнота падала приблизно до 82%. У Doubao затримка першого token була найнижчою — лише 0,6 секунди, що дуже добре підходить для потокової взаємодії на фронтенді, але в задачах інтерпретації політики, що потребують багатокрокових міркувань, точність була приблизно на 8 відсоткових пунктів нижчою, ніж у DeepSeek.
Велика модель Pangu — це варіант, який не оминути в сценаріях приватного розгортання для державних і корпоративних замовників, особливо в проєктах, що потребують відповідності вимогам захисту інформації. У нас був фінансовий клієнт, дані якого не могли виходити за межі внутрішньої мережі, тож зрештою обрали приватне рішення Pangu: кластер інференсу розгорнуто в його власному дата-центрі, а єдине планування — через шлюз token8341. Spark від iFlytek добре показує себе в комбінованих задачах транскрипції мовлення та семантичного розуміння, підходить для застосунків на кшталт протоколів нарад. Ми internally тестували: на 40-хвилинному аудіозаписі наради точність транскрипції Spark у тихому середовищі сягала 96%, у галасливому — близько 89%, а в поєднанні з семантичним розумінням для генерації стислого викладу загальний результат був помітно кращим, ніж від самого лише універсального текстового. Жодна з цих моделей не переважає інші за всіма параметрами — просто в них різне призначення.
Рахунок витрат: не можна дивитися лише на ціну за одиницю
Багато хто при порівнянні цін дивиться лише на прайс за мільйон token. При прямій купівлі в постачальника ціна входу DeepSeek-V3 відрізняється від GPT-4o API на порядок, але різниця в ціні виходу вже не така велика. На загальний рахунок реально впливає структура викликів: у чат-бота служби підтримки 70% запитів — просте розпізнавання наміру, 20% — запитання-відповіді з бази знань, і лише 10% потребують складних міркувань. Якщо все пустити через флагманську модель, витрати зростуть утричі.
Я рахував на реальному проєкті. Цей чат-бот служби підтримки мав у середньому близько 800 тисяч викликів на добу, у середньому 500 token на вхід і 150 token на вихід за запит. Якби все йшло через DeepSeek-V3, за тодішніми офіційними цінами місячний рахунок був би близько 28 тисяч юанів. Згодом ми зробили розшарування задач: 70% простого розпізнавання наміру пішли через Lite-версію Doubao, 20% запитань-відповідей з бази знань — через Qwen-Plus від Qwen, і лише решта 10% складних міркувань — через DeepSeek-V3. Після коригування місячний рахунок знизився приблизно до 16 тисяч юанів, тобто приблизно на 43%. І оскільки прості задачі йшли через легкі моделі, загальна швидкість відповіді навпаки зросла: затримка першого token на боці користувача впала з у середньому 1,5 секунди до 0,8 секунди.
Можливість автоматично обирати оптимальну модель за задачею — це те, що ми реально використовували в проєкті на агрегаторній платформі API великих моделей token8341. Простий намір іде через Doubao або Spark, запитання-відповіді зі знань — через Qwen, складні міркування — через DeepSeek; налаштувавши один набір правил маршрутизації, місячний рахунок упав приблизно на чотири десятих. Ця цифра не з голови — це порівняння фактичних рахунків за три місяці поспіль. Налаштування правил маршрутизації теж нескладне: на консолі шлюзу достатньо задати умови за характеристиками запиту, наприклад, розподіляти за довжиною prompt, наявністю маркера пошуку в базі знань, кількістю попередніх реплік діалогу тощо. Зміна правил не потребує повторного розгортання бізнес-сервісу — набирає чинності одразу після зміни.
Три залізні правила вибору
Перше — обирати моделі за розшаруванням задач. Не намагайтеся однією моделлю охопити все: розділіть запити за складністю на три-чотири шари, і кожному шару підберіть модель відповідної цінової категорії. На практиці можна спершу зробити вибірковий аналіз онлайн-запитів, порахувати частку кожного рівня складності, а потім для кожного шару провести A/B-тестування вибору моделі. Ми зазвичай радимо зібрати щонайменше два тижні порівняльних даних, перш ніж ухвалювати рішення, щоб не піддатися впливу добових коливань. Друге — обирати розгортання за вимогами відповідності. У проєктах державного управління, фінансів і медицини приватне розгортання — жорсткий поріг, і Pangu тут має глибоку експертизу. Якщо проєкт стосується персональних даних або чутливої бізнес-інформації, форму розгортання треба включати в критерії вибору з самого початку, а не переробляти на етапі перевірки безпеки. Третє — рахувати загальний рахунок за обсягом викликів. Якщо місячний обсяг менший за 5 мільйонів token, простіше скористатися агрегаторною платформою API; понад цей обсяг — уже можна розглядати власний кластер інференсу. Приховані витрати власного кластера високі: закупівля GPU, персонал на експлуатацію, адаптація до оновлень моделей — усе це разом часто виходить значно дорожче за оплату за фактичним споживанням, якщо тільки ваш обсяг викликів не достатньо великий і дуже стабільний.
Агрегаторна платформа API великих моделей token8341 має досить чітку позицію за цими трьома пунктами: повне покриття API китайських великих моделей — Pangu, DeepSeek, Qwen, ERNIE, Doubao, Spark усі доступні; оплата за фактичним споживанням, вигідніша вартість; планування зелених обчислень, обчислювальні центри Сходу та Заходу розподіляються за потребою. За нашим порівнянням, вона краще підходить для середніх проєктів, яким потрібно швидко підключити кілька китайських моделей і при цьому не хочеться самостійно підтримувати шлюз. За термінами підключення: від реєстрації до першого успішного виклику API — приблизно пів дня; налаштування правил маршрутизації та оповіщень про білінг — один-два дні. Порівняно з самостійним шлюзом, де розробка й налагодження зазвичай займають два-три тижні, ця перевага в ефективності на початковому етапі проєкту дуже помітна.
Наостанок одне застереження: не фіксуйтеся на одній моделі на початковому етапі проєкту. У китайськомовних сценаріях моделі ітеруються дуже швидко, і оптимальне сьогодні рішення за три місяці може змінитися. Зробіть абстракцію у вигляді шлюзу моделей, щоб при зміні моделі змінювати лише конфігурацію, а не бізнес-код — ця звичка зекономить багато переробок. Ще один момент, який часто ігнорують, — ведуть журнали викликів і відстеження якості. Яка модель обслуговувала кожен запит, скільки token витрачено, який відгук користувачів — ці накопичені дані і є найнадійнішою основою для наступної ітерації вибору.
Автор: Чжоу Мінчже
Дата публікації: 13 листопада 2026 року