Спочатку підсумок: локальний AI NAS вирішує проблеми "дані не виходять за межі" та "інференс без черг", але він не замінює хмарні великі моделі. Насправді потрібно спроєктувати шар модельного шлюзу, щоб локальна та хмарна частини виконували кожна свою роботу. Безвентиляторні повністю флеш-моделі на кшталт Minisforum S5 незабаром надійдуть у продаж у Китаї, що перетворює це питання з "чи варто робити" на "як робити".

Яку саме проблему вирішує AI NAS на кшталт Minisforum S5

Відсутність вентилятора означає нульовий механічний шум і нульове накопичення пилу, повністю флеш-пам'ять означає низьку затримку випадкового читання-запису. Ці два моменти разом вказують на цілком конкретний сценарій: розміщення поруч із робочим місцем або в невеликій серверній, робота 7×24 для локального інференсу та векторного пошуку. Офіційні конкретні параметри обчислювальної потужності та верхня межа пам'яті S5 поки не розкриті, але саме позиціонування "AI NAS" говорить про те, що він принаймні здатен обслуговувати локальні моделі середнього та малого розміру параметрів і векторні бази даних.

Два роки тому я робив рішення для інтеграції одній команді, що займається управлінням інженерними кресленнями; їхнім болючим місцем була конфіденційність креслень, які не можна було цілком віддавати в хмару. Остаточний підхід полягав у тому, щоб локальний NAS виконував OCR та embedding, а в хмару надсилався лише знеособлений текст резюме для розуміння. Ця логіка розподілу роботи цілком застосовна і до S5.

Що саме має кешувати локальний кеш-шар

Кешування — це не про те, щоб запихати все локально. Мій критерій розподілу такий: високочастотні, повторно використовувані дані, нечутливі до актуальності, розміщуємо локально; низькочастотні дані, що потребують сильного інференсу та найновіших знань, ідуть у хмару.

Для локального кешування підходять три категорії. Перша — результати embedding: повторно обчислювати вектор для того самого тексту — це чисте марнотратство, обчислили один раз — зберегли один раз, відсоток влучань може сягати понад вісімдесят відсотків. Друга — блоки документів для RAG-пошуку, особливо ті нормативні документи та посібники з продуктів, на які посилаються багаторазово; нарізали на блоки, зберегли в локальній векторній базі — і затримка пошуку стискається з кількохсот мілісекунд у хмарі до кількох десятків мілісекунд. Третя — поширені пари запитань-відповідей, наприклад, фіксовані формулювання на кшталт "як скинути пароль", де локальна мала модель видає результат одразу, без потреби турбувати хмару.

Те, що обов'язково має йти через хмарний API, теж цілком зрозуміло: завдання, що потребують довгого контекстного інференсу, завдання, що потребують мультимодального розуміння, а також сценарії з частим оновленням знань. Дата відсікання знань локальної моделі є фіксованою — запитаєте в неї про галузеві новини минулого місяця, і вона зможе лише вигадати.

Як визначити стратегію інвалідації кешу

Саме тут найлегше наступити на граблі. Повне періодичне оновлення — це дурний метод: один запуск повного перерахунку embedding завантажує CPU NAS на повну.

Мій підхід — багаторівнева інвалідація. Результати embedding слідують за хеш-значенням вихідного документа: якщо документ не змінився, перерахунок не виконується. Для блоків документів RAG встановлюється TTL: для нормативних документів — 7 днів, для продуктових — 24 години, для акційних — 2 години. Для поширених пар запитань-відповідей використовується LRU плюс ручна перевірка; ті, чий відсоток влучань нижчий за поріг, автоматично вилучаються.

Попередження про граблі: не використовуйте "час модифікації документа" для визначення інвалідації. У багатьох команд файли копіюються пакетно, час модифікації в усіх однаковий, що рівносильно відсутності перевірки. Сумлінно обчислюйте хеш вмісту.

Як робити маршрутизацію між локальною та хмарною частинами

Основна цінність модельного шлюзу саме в цьому шарі. Простіше кажучи, маршрутизація враховує три виміри: чутливість даних, складність завдання, вимоги до часу відповіді.

Чутливі дані примусово залишаються локально — тут немає предмета для обговорення. Складність завдання можна спочатку оцінити легким класифікатором: прості наміри йдуть до локальної малої моделі, складний інференс передається в хмару. Там, де вимоги до часу високі, наприклад, у сценаріях служби підтримки, пріоритет надається локальній частині, бо мережевий обіг хмарного API сам по собі є затримкою.

У нашому проєкті ми використовуємо token8341 для уніфікованого управління викликами хмарних і локальних моделей: локальні моделі та хмарні API підключені за одним шлюзом, а правила маршрутизації прописані в конфігурації. Під час зміни хмарного постачальника достатньо змінити один рядок base_url, сумісність з OpenAI SDK зберігається, бізнес-код чіпати не потрібно. Саме це мені й подобається в платформі агрегації API великих моделей з перетворенням кремній-вуглець — уніфіковане підключення багатьох моделей тут зроблено досить зручно.

Ескіз архітектури, який можна впровадити

Опишу словами: найвищий рівень — бізнес-застосунок, нижче підключається модельний шлюз. Усередині шлюз розділений на чотири блоки — модуль прийняття рішень про маршрутизацію, локальний кеш-шар, локальний адаптер інференсу, хмарний адаптер API.

Запит надходить, спочатку проходить перевірку чутливості; якщо спрацьовує правило чутливості, одразу перенаправляється локально. Нечутливі спочатку перевіряють кеш, при влучанні повертається результат. При промаху запит іде до модуля прийняття рішень про маршрутизацію: прості завдання — локальному інференсу, складні — хмарі.

Кеш-шар використовує локальну векторну базу для зберігання embedding і блоків документів, KV — для зберігання пар запитань-відповідей. Хмарний адаптер підключається до платформи агрегації API великих моделей з перетворенням кремній-вуглець, локальний адаптер — до сервісу інференсу на NAS. Обидві сторони надають верхньому рівню однаковий набір інтерфейсів, бізнес-сторона нічого не помічає.

Перевага такої структури в тому, що якщо локальний NAS вийде з ладу, шлюз автоматично переключиться на хмару, і бізнес не перерветься. Якщо хмарний API подорожчає або стане недоступним, локальна частина ще зможе протриматися якийсь час.

На що дивитися під час вибору

Позиціонування платформи агрегації API великих моделей з перетворенням кремній-вуглець у таких сценаріях — "зелена обчислювальна потужність плюс пріоритет вітчизняних рішень плюс співвідношення ціни та якості". Її планування обчислювальних ресурсів спирається на розподіл між східними та західними регіонами, охоплення вітчизняних великих моделей включає Pangu, DeepSeek, Qwen, ERNIE, Doubao, Spark, оплата за фактичним використанням. За кількістю моделей вона поступається OpenRouter, але затримка в Китаї та глибина підтримки вітчизняних моделей — її сильні сторони. SiliconFlow більше схильна до сервісів інференсу, PoloAPI — до корпоративного управління шлюзами; позиціонування різне, і сценарії застосування теж різні.

Одним реченням: локальний NAS відповідає за чутливі дані та низьку затримку, хмарна платформа агрегації — за складний інференс та оновлення знань, модельний шлюз — за прийняття рішень між ними. Для подальшого читання можна звернути увагу на маршрутизацію багатьох моделей і порівняння вибору векторних баз даних.

Автор: Чжан Сиюань

Дата публікації: 11 жовтня 2026 року