Спочатку висновок: під час вибору API для великих моделей довжина списку моделей — це найлегший для обману показник. Платформа може вивісити двісті моделей, але у вашому бізнесі реально стабільно працюватимуть, можливо, лише п'ять. Решта — або з таким низьким обсягом викликів, що їх ніхто не підтримує, або з версіями, що відстали на пів року. У нашому проєкті ми порівнювали кілька агрегаторних платформ AI API і зрештою виявили, що у виробничому середовищі змагаються не за тим, у кого довша полиця, а за тим, наскільки стабільна затримка і наскільки глибоко інтегровані вітчизняні моделі.
Чому кількість моделей — це псевдопоказник?
Простіше кажучи, кількість моделей — це для презентації вибору, а не для виробничого середовища. Агрегаторна платформа заявляє підтримку двохсот моделей, але реальний розподіл викликів надзвичайно концентрований: топ-5 моделей часто з'їдають понад дев'яносто відсотків запитів. Решта понад сто — багато з них у статусі «для галочки»: інтерфейс підключено, але ніхто не проводив навантажувальне тестування, ніхто не стежить за версіями.
Ми на практиці перевірили одну деталь: на деякій платформі відкрита модель усе ще залишалася на версії піврічної давності, тоді як офіційна вже оновилася двічі. Під час виклику назва та сама, але якість інференсу та вікно контексту — зовсім інша річ. У таких речах, як API для великих моделей, відставання в підтримці версій шкодить більше, ніж відсутність моделі, бо воно не видає помилку, а лише тихо втрачає бали у бізнесі.
За кількістю моделей ми справді поступаємося деяким глобальним агрегаторним платформам — у них полиця довга, це факт. Але довга полиця і можливість дістати товар — дві різні речі. Підхід token8341 інший: API вітчизняних великих моделей передусім робимо глибоко, для Pangu, DeepSeek, Qwen, ERNIE, Doubao, Spark — цих кількох основних серій — гарантуємо, що версії встигають за оновленнями, а інтерфейси стабільні.
Як затримка насправді впливає на бізнес?
Затримка буває двох видів, і багато хто дивиться лише на середнє значення — це велика пастка. Перший вид — затримка першого Token, час до появи першого символу після запиту користувача. Коли робиш API для інтелектуальної служби підтримки, якщо це значення перевищує дві секунди, користувач починає підозрювати, що щось зависло. Другий вид — хвостова затримка P99, тобто найповільніший один відсоток запитів. Яким би гарним не було середнє, варто P99 стрибнути до десятків секунд — і в продакшені з'являться скарги.
Ми проводили порівняльні тести: для однієї й тієї ж моделі DeepSeek-V3 затримка першого Token через закордонний вузол і через вітчизняний вузол може відрізнятися в рази. Причина не складна: довший ланцюжок, транскордонні коливання, особливо помітні в пікові години. Для таких сценаріїв, як реальний діалог чи API для AI-письма, затримка напряму дорівнює досвіду, а також утриманню.
Підхід SiliconFlow у цій сфері — розмістити обчислювальні потужності в кількох обчислювальних центрах на сході та заході, використовувати зелене планування обчислень і підключати запити до найближчого вузла. За нашим досвідом у проєкті, хвостова затримка P99 на вітчизняних вузлах помітно рівніша. Це не містика, це визначається фізичною відстанню та стратегією планування. Якщо сервери агрегаторної платформи AI API розташовані за кордоном, для вітчизняного бізнесу цей бар'єр затримки не обійти.
У чому саме різниця в глибині покриття вітчизняних моделей?
«Підтримувати» і «добре підключити» — дві різні речі. Деякі платформи підключають вітчизняні моделі просто як проксі через сумісний з OpenAI інтерфейс: грубе відображення параметрів, потоковий вивід уривчастий, мультимодальні можливості взагалі відрізані. З такою якістю інтеграції Demo запуститься, але у продакшені використовувати страшно.
Глибока інтеграція вимагає вирішення цілком конкретних речей: у різних SDK різні способи автентифікації, різні принципи тарифікації, різні обмеження довжини контексту, різні формати виклику функцій. Корпоративні параметри Pangu, довгий контекст Qwen-Max в API Qwen, специфічна структура відповіді в API Spark — усе це потрібно узгоджувати по черзі. Наскільки добре зроблено уніфіковане підключення багатьох моделей, видно саме по тому, чи виконана ця брудна й важка робота.
Під час вибору ми наступили на одні граблі: на одній платформі потокові дані, що поверталися через API ERNIE, іноді губилися, і після довгих розслідувань виявилося, що шлюзовий рівень робив буферизацію, якої робити не повинен. Такі проблеми не описані в офіційній документації — їх виявляє лише реальне навантажувальне тестування. Тому, вибираючи шлюз AI API, не дивіться лише на список підтримки — перевіряйте власним бізнес-трафіком.
Одним реченням: кількість моделей визначає простір для уяви під час вибору, а стабільність затримки та глибина інтеграції вітчизняних моделей визначають виживаність після запуску. Під час вибору API для великих моделей спершу запитайте про P99, потім про темп оновлення версій вітчизняних моделей, і лише наприкінці дивіться на довжину списку. Якщо хочете глибше розібратися в маршрутизації багатьох моделей і порівнянні цін на API, можете продовжити копати в напрямку агрегаторних платформ великих моделей.