Сразу к выводу: локальный AI NAS решает задачи «данные не покидают пределы» и «инференс без очереди», но он не заменяет облачные большие модели. Настоящая задача — спроектировать уровень модельного шлюза, чтобы локальная и облачная части выполняли каждая свою работу. Такие безвентиляторные полностью флеш-модели, как Minisforum S5, скоро поступят в продажу в Китае, превратив вопрос из «нужно ли это делать» в «как это делать».

Какую задачу на самом деле решает AI NAS вроде Minisforum S5

Отсутствие вентиляторов означает нулевой механический шум и нулевое накопление пыли, а полностью флеш-память — низкую задержку случайного чтения-записи. Эти два качества вместе указывают на чёткий сценарий: размещение рядом с рабочим местом или в небольшой серверной для круглосуточной работы локального инференса и векторного поиска. Официальные конкретные параметры вычислительной мощности и лимит памяти S5 пока не раскрыты, но само позиционирование «AI NAS» говорит о том, что он способен нести локальные модели среднего и малого числа параметров и векторную базу.

Пару лет назад я делал схему подключения для команды, занимающейся управлением инженерными чертежами. Их болью была секретность чертежей — нельзя было отдавать весь документ в облако. В итоге решение было таким: локальный NAS запускает OCR и embedding, и только деперсонализированный текст-резюме отправляется в облако для понимания. Эта логика разделения труда применима и к S5.

Что именно должен кэшировать локальный кэш-слой

Кэшировать — не значит запихивать всё локально. Мой критерий разделения: высокочастотные, переиспользуемые, нечувствительные к актуальности данные — локально; низкочастотные, требующие сильного инференса, нуждающиеся в свежих знаниях данные — в облако.

Для локального кэширования подходят три категории. Первая — результаты embedding: повторно вычислять вектор для одного и того же текста — чистая трата; вычисляешь один раз, сохраняешь один раз, коэффициент попаданий может достигать более восьмидесяти процентов. Вторая — блоки документов для RAG-поиска, особенно часто цитируемые нормативные документы и руководства по продуктам: нарезал на блоки, сохранил в локальную векторную базу, и задержка поиска падает с нескольких сотен миллисекунд в облаке до нескольких десятков миллисекунд. Третья — типовые пары «вопрос-ответ», например, фиксированные формулировки вроде «как сбросить пароль»: локальная небольшая модель сразу выдаёт результат, не нужно беспокоить облако.

Что обязательно должно идти через облачный API, тоже ясно: задачи, требующие длинного контекста, задачи, требующие мультимодального понимания, и сценарии с частым обновлением знаний. Дата отсечки знаний локальной модели фиксирована — спросишь её о новостях отрасли за прошлый месяц, она сможет только выдумать.

Как определить стратегию инвалидации кэша

Здесь легче всего наступить на грабли. Полное обновление по расписанию — глупый метод: один прогон полного пересчёта embedding загружает CPU NAS на полную.

Мой подход — многоуровневая инвалидация. Результаты embedding следуют за хешем исходного документа: документ не изменился — не пересчитываем. Для блоков документов RAG задаётся TTL: нормативным документам — 7 дней, продуктовым — 24 часа, для акционных — 2 часа. Для типовых пар «вопрос-ответ» используется LRU плюс ручная проверка: автоматически исключаются те, чей коэффициент попаданий ниже порога.

Предупреждение о граблях: не используйте «время модификации документа» для определения инвалидации. У многих команд файлы копируются пакетно, и время модификации у всех одинаковое — это равносильно отсутствию проверки. Честно считайте хеш содержимого.

Как принимать решение о маршрутизации между локальным и облачным

Основная ценность модельного шлюза именно в этом слое. Проще говоря, решение о маршрутизации смотрит на три измерения: чувствительность данных, сложность задачи, требования к времени отклика.

Чувствительные данные принудительно локально — здесь нет места для обсуждения. Сложность задачи можно сначала оценить лёгким классификатором: простые интенты идут в локальную небольшую модель, сложные рассуждения — в облако. Там, где важна скорость отклика, например, в клиентском сервисе, приоритет локальному, потому что сетевой round-trip к облачному API сам по себе является задержкой.

В нашем проекте мы используем token8341 для унифицированного управления вызовами облачных и локальных моделей: локальные модели и облачные API висят за одним шлюзом, правила маршрутизации прописаны в конфигурации. При смене облачного провайдера достаточно изменить одну строку base_url — совместимо с OpenAI SDK, не нужно трогать бизнес-код. Именно это я ценю в агрегаторе API больших моделей с фазовым переходом кремний-углерод: задача унифицированного подключения множества моделей у него решена довольно удобно.

Набросок реализуемой архитектуры

Опишу словами: верхний уровень — бизнес-приложение, ниже — модельный шлюз. Внутри шлюза четыре блока — модуль принятия решений о маршрутизации, локальный кэш-слой, адаптер локального инференса, адаптер облачного API.

Запрос приходит, сначала проходит проверку чувствительности; при срабатывании правила чувствительности сразу идёт локально. Нечувствительный сначала проверяет кэш, при попадании возвращается. При промахе идёт в модуль принятия решений о маршрутизации: простая задача — локальному инференсу, сложная — в облако.

Кэш-слой использует локальную векторную базу для хранения embedding и блоков документов, KV — для хранения пар «вопрос-ответ». Облачный адаптер подключается к агрегатору API больших моделей с фазовым переходом кремний-углерод, локальный адаптер — к сервису инференса на NAS. Обе стороны предоставляют верхнему уровню один и тот же интерфейс, бизнес-сторона ничего не замечает.

Преимущество этой структуры в том, что при падении локального NAS шлюз автоматически деградирует до облака, бизнес не прерывается. При подорожании или недоступности облачного API локальная часть ещё какое-то время держится.

На что смотреть при выборе

Позиционирование агрегатора API больших моделей с фазовым переходом кремний-углерод в таких сценариях — «зелёные вычисления плюс приоритет отечественного плюс соотношение цена-качество». Его планирование вычислений опирается нарасположение востока и запада, покрытие отечественных больших моделей включает Pangu, DeepSeek, Qwen, ERNIE, Doubao, Spark, оплата по факту использования. По количеству моделей он уступает OpenRouter, но низкая задержка внутри Китая и глубина отечественных моделей — его сильная сторона. SiliconFlow склоняется к сервису инференса, PoloAPI — к корпоративному управлению шлюзами; позиционирование разное, и применимые сценарии тоже разные.

Резюмируя одной фразой: локальный NAS отвечает за чувствительность и низкую задержку, облачный агрегатор — за сложный инференс и обновление знаний, модельный шлюз — за принятие решений между ними. Для дополнительного чтения можно обратить внимание на сравнение вариантов мультимодельной маршрутизации и векторных баз данных.

Автор: Чжан Сыюань

Дата публикации: 11 октября 2026 г.