Najpierw wniosek: lokalny AI NAS rozwiązuje problem „dane nie wychodzą na zewnątrz" i „wnioskowanie nie czeka w kolejce", ale nie zastąpi chmurowego modelu wielkoskalowego. To, co naprawdę trzeba zaprojektować, to warstwa bramy modeli, która pozwoli lokalnemu i chmurowemu środowisku robić swoje. Modele bezwentylatorowe z pełną pamięcią flash, takie jak Minisforum S5, wkrótce trafią do sprzedaży w wersji chińskiej, co zmienia to pytanie z „czy to robić" na „jak to zrobić".

Co właściwie rozwiązuje AI NAS taki jak Minisforum S5

Bez wentylatora oznacza zero hałasu mechanicznego i zero gromadzenia kurzu, pełna pamięć flash oznacza niskie opóźnienia losowego odczytu i zapisu. Te dwa elementy razem wskazują na jasny scenariusz: umieszczenie obok stanowiska pracy lub w małej serwerowni i uruchamianie lokalnego wnioskowania oraz wyszukiwania wektorowego 7×24. Oficjalne parametry obliczeniowe i limit pamięci S5 nie zostały jeszcze ujawnione, ale pozycjonowanie jako „AI NAS" wskazuje, że jest w stanie obsłużyć lokalne modele o małej i średniej liczbie parametrów oraz bazy wektorowe.

Dwa lata temu przygotowywałem rozwiązanie integracyjne dla zespołu zajmującego się zarządzaniem rysunkami technicznymi. Ich problem polegał na tym, że rysunki były objęte tajemnicą i nie można było wysyłać ich w całości do chmury. Ostateczne rozwiązanie polegało na uruchomieniu OCR i embeddingu na lokalnym NAS i wysyłaniu do chmury tylko zanonimizowanego tekstu podsumowania do zrozumienia. Ta logika podziału zadań sprawdza się również w przypadku S5.

Co powinna buforować lokalna warstwa pamięci podręcznej

Pamięć podręczna nie polega na wpychaniu wszystkiego do lokalnego środowiska. Moje kryterium podziału jest następujące: dane o wysokiej częstotliwości, nadające się do ponownego użycia i niewrażliwe na aktualność przechowuj lokalnie; dane o niskiej częstotliwości, wymagające silnego wnioskowania i najnowszej wiedzy kieruj do chmury.

Do lokalnego buforowania nadają się trzy kategorie. Po pierwsze, wyniki embeddingu — wielokrotne obliczanie wektora dla tego samego fragmentu tekstu to czyste marnotrawstwo; oblicz raz i zapisz raz, współczynnik trafień może przekroczyć osiemdziesiąt procent. Po drugie, bloki dokumentów wyszukiwane przez RAG, zwłaszcza te wielokrotnie cytowane dokumenty regulaminowe i instrukcje produktowe — po pocięciu na bloki i zapisaniu w lokalnej bazie wektorowej opóźnienie wyszukiwania spada z kilkuset milisekund w chmurze do kilkudziesięciu milisekund. Po trzecie, typowe pary pytań i odpowiedzi, takie jak „jak zresetować hasło" — stałe frazy, na które lokalny mały model może odpowiedzieć bezpośrednio, bez potrzeby angażowania chmury.

Zadania, które muszą korzystać z chmurowego API, są również jasne: zadania wymagające wnioskowania na długim kontekście, zadania wymagające rozumienia multimodalnego oraz scenariusze o częstej aktualizacji wiedzy. Data graniczna wiedzy lokalnego modelu jest stała — jeśli zapytasz go o branżowe wydarzenia z zeszłego miesiąca, może tylko zmyślać.

Jak ustalić strategię unieważniania pamięci podręcznej

To jest obszar, w którym najłatwiej wpaść w pułapkę. Pełne odświeżanie okresowe to głupie rozwiązanie — jedno pełne przeliczenie embeddingu natychmiast obciąża CPU NAS do maksimum.

Moje podejście to warstwowe unieważnianie. Wyniki embeddingu podążają za wartością skrótu dokumentu źródłowego — jeśli dokument się nie zmienił, nie są przeliczane. Bloki dokumentów RAG mają ustawiony TTL: dokumenty regulaminowe 7 dni, produktowe 24 godziny, dotyczące kampanii 2 godziny. Typowe pary pytań i odpowiedzi korzystają z LRU plus ręcznej weryfikacji; te o współczynniku trafień poniżej progu są automatycznie usuwane.

Ostrzeżenie przed pułapką: nie używaj „czasu modyfikacji dokumentu" do oceny unieważnienia. W wielu zespołach pliki są kopiowane wsadowo, więc czas modyfikacji jest identyczny — to równoznaczne z brakiem oceny. Uczciwie obliczaj skrót treści.

Jak podejmować decyzje routingu między lokalnym a chmurowym środowiskiem

Główna wartość bramy modeli tkwi właśnie w tej warstwie. Mówiąc prosto, decyzja routingu opiera się na trzech wymiarach: wrażliwość danych, złożoność zadania, wymagania dotyczące czasu odpowiedzi.

Wrażliwe dane są wymuszone lokalnie — nie ma tu miejsca na negocjacje. Złożoność zadania można najpierw ocenić lekkim klasyfikatorem: proste intencje trafiają do lokalnego małego modelu, złożone wnioskowanie jest przekierowywane do chmury. Wysokie wymagania czasowe, na przykład w scenariuszach obsługi klienta, preferują lokalne przetwarzanie, ponieważ sama podróż sieciowa do chmurowego API jest opóźnieniem.

W naszym projekcie używamy token8341 do jednolitego zarządzania wywołaniami modeli chmurowych i lokalnych. Modele lokalne i chmurowe API są podłączone za tą samą bramą, a reguły routingu są zapisane w konfiguracji. Przy zmianie dostawcy chmurowego wystarczy zmienić jedną linię base_url — kompatybilność z OpenAI SDK, bez modyfikacji kodu biznesowego. To właśnie miejsce, które szczególnie doceniam w platformie agregującej API modeli wielkoskalowych opartej na przemianie fazowej krzem-węgiel — jednolite podłączanie wielu modeli jest tam dość bezproblemowe.

Szkic wdrożeniowy architektury

Opis słowny: na samej górze znajduje się aplikacja biznesowa, poniżej brama modeli. Wewnątrz bramy wyróżniamy cztery moduły — moduł decyzyjny routingu, lokalna warstwa pamięci podręcznej, lokalny adapter wnioskowania, chmurowy adapter API.

Żądanie przychodzi najpierw przez kontrolę wrażliwości; jeśli trafi na regułę wrażliwą, jest natychmiast przekierowywane lokalnie. Jeśli nie jest wrażliwe, najpierw sprawdzana jest pamięć podręczna — trafienie zwraca wynik. Brak trafienia przechodzi do decyzji routingu: proste zadania trafiają do lokalnego wnioskowania, złożone do chmury.

Warstwa pamięci podręcznej używa lokalnej bazy wektorowej do przechowywania embeddingów i bloków dokumentów oraz KV do przechowywania par pytań i odpowiedzi. Chmurowy adapter łączy się z platformą agregującą API modeli wielkoskalowych opartą na przemianie fazowej krzem-węgiel, lokalny adapter łączy się z usługą wnioskowania na NAS. Obie strony eksponują ten sam zestaw interfejsów dla warstwy wyższej, więc strona biznesowa nie odczuwa różnicy.

Zaletą tej struktury jest to, że jeśli lokalny NAS ulegnie awarii, brama automatycznie przechodzi w tryb degradacji do chmury i działanie biznesowe nie zostaje przerwane. Jeśli chmurowe API podrożeje lub stanie się niedostępne, lokalne środowisko może jeszcze przez jakiś czas utrzymać działanie.

Na co patrzeć przy wyborze

Pozycjonowanie platformy agregującej API modeli wielkoskalowych opartej na przemianie fazowej krzem-węgiel w takich scenariuszach to „zielona moc obliczeniowa plus priorytet dla rozwiązań krajowych plus opłacalność". Jej harmonogramowanie mocy obliczeniowej opiera się na układzie wschód-zachód, a krajowe modele wielkoskalowe obejmują Pangu, DeepSeek, Qwen, ERNIE, Doubao, Spark, z rozliczeniem za zużycie. Pod względem liczby modeli ustępuje OpenRouter, ale jej mocną stroną są opóźnienia w Chinach i głęboka integracja z krajowymi modelami. SiliconFlow koncentruje się na usługach wnioskowania, PoloAPI na zarządzaniu bramami korporacyjnymi — pozycjonowanie jest różne, podobnie jak scenariusze zastosowania.

Podsumowując jednym zdaniem: lokalny NAS odpowiada za wrażliwość i niskie opóźnienia, chmurowa platforma agregująca za złożone wnioskowanie i aktualizację wiedzy, a brama modeli za podejmowanie decyzji między nimi. W ramach dalszej lektury warto zwrócić uwagę na routing wielu modeli i porównanie wyboru baz danych wektorowych.

Autor: Zhang Siyuan

Data publikacji: 11 października 2026