Eerst de conclusie: een lokale AI NAS lost "data blijft binnen" en "inferentie zonder wachtrij" op, maar het kan de cloud grote modellen niet vervangen. Wat echt ontworpen moet worden is een laag modelgateway, zodat lokaal en cloud elk hun eigen werk doen. Ventilatorloze all-flash modellen zoals de MINISFORUM S5 komen binnenkort in China op de markt, wat dit probleem verandert van "moeten we het doen" naar "hoe doen we het".

Welk probleem lost een AI NAS zoals de MINISFORUM S5 eigenlijk op

Ventilatorloos betekent nul mechanisch geluid, nul stofophoping; all-flash betekent lage latency bij willekeurige lees- en schrijfacties. Deze twee punten samen wijzen op een duidelijk scenario: naast een werkplek of in een kleine serverruimte, 7×24 lokale inferentie en vectorzoekopdrachten draaien. De officiële specificaties voor de rekenkracht en geheugenlimiet van de S5 zijn nog niet bekendgemaakt, maar de positionering als "AI NAS" geeft aan dat het op zijn minst lokale modellen met kleine tot middelgrote parameters en vectorbibliotheken kan dragen.

Twee jaar geleden maakte ik een integratieoplossing voor een team dat technische tekeningen beheerde. Hun pijnpunt was dat de tekeningen vertrouwelijk waren en niet in hun geheel naar de cloud gestuurd mochten worden. De uiteindelijke aanpak was dat de lokale NAS OCR en embedding draaide, en alleen de geanonimiseerde samenvattingstekst naar de cloud werd gestuurd voor begrip. Dezezelfde taakverdeling geldt ook voor de S5.

Wat moet de lokale cachelaag cachen

Caching betekent niet alles lokaal proppen. Mijn indelingscriterium is: gegevens met hoge frequentie, herbruikbaarheid en lage tijdgevoeligheid lokaal; gegevens met lage frequentie, sterke inferentie en behoefte aan de nieuwste kennis naar de cloud.

Er zijn drie soorten die geschikt zijn voor lokale caching. Ten eerste embedding-resultaten: het steeds opnieuw berekenen van vectoren voor dezelfde tekst is pure verspilling; één keer berekenen en één keer opslaan levert een hitratio van meer dan tachtig procent op. Ten tweede de documentblokken voor RAG-retrieval, vooral veelvuldig geciteerde beleidsdocumenten en producthandleidingen; deze in blokken opgeslagen in een lokale vectorbibliotheek verlagen de retrievallatency van enkele honderden milliseconden in de cloud naar enkele tientallen milliseconden. Ten derde veelvoorkomende vraag-antwoordparen, zoals vaste formuleringen als "hoe reset ik mijn wachtwoord"; een lokaal klein model geeft direct het resultaat zonder de cloud te hoeven storen.

Wat verplicht via de cloud-API moet, is ook duidelijk: taken die lange-context-inferentie vereisen, taken die multimodaal begrip vereisen, en scenario's waarin kennis frequent wordt bijgewerkt. De kennisafsluitdatum van een lokaal model is vast; als je het vraagt naar de industrietrends van vorige maand, kan het alleen maar verzinnen.

Hoe bepaal je de cache-invalidatiestrategie

Dit is het makkelijkst om fouten te maken. Periodiek volledig verversen is een domme aanpak; één volledige herberekening van embeddings laat de CPU van de NAS volledig vol draaien.

Mijn aanpak is gelaagde invalidatie. Embedding-resultaten volgen de hashwaarde van het brondocument; als het document niet verandert, wordt het niet herberekend. Voor RAG-documentblokken stel je een TTL in: beleidsdocumenten 7 dagen, productdocumenten 24 uur, campagnegegevens 2 uur. Voor veelvoorkomende vraag-antwoordparen gebruik je LRU plus handmatige beoordeling; paren met een hitratio onder de drempel worden automatisch verwijderd.

Waarschuwing om valkuilen te vermijden: gebruik niet de "wijzigingstijd van het document" voor invalidatie. De bestanden van veel teams worden in batch gekopieerd, waardoor de wijzigingstijden allemaal hetzelfde zijn, wat neerkomt op geen beoordeling. Bereken eerlijk de inhoudshash.

Hoe maak je routeringsbeslissingen tussen lokaal en cloud

De kernwaarde van de modelgateway zit precies in deze laag. Simpel gezegd kijkt de routeringsbeslissing naar drie dimensies: datagevoeligheid, taakcomplexiteit en reactietijdvereisten.

Gevoelige data verplicht lokaal, hier is geen onderhandeling over mogelijk. Taakcomplexiteit kan eerst worden beoordeeld met een lichtgewicht classificator; eenvoudige intenties gaan naar een lokaal klein model, complexe inferentie wordt doorgestuurd naar de cloud. Wanneer de tijdvereisten hoog zijn, zoals in klantservicescenario's, krijgt lokaal prioriteit, omdat de netwerkrondreis van de cloud-API zelf al latency oplevert.

In ons project gebruiken we token8341 om cloud- en lokale modelaanroepen uniform te beheren; lokale modellen en cloud-API's hangen achter dezelfde gateway, en de routeringsregels staan in de configuratie. Bij het wisselen van cloudleverancier verander je gewoon één regel base_url, compatibel met de OpenAI SDK, zonder de bedrijfslogica aan te passen. Dit is ook waarom ik het Silicium-Koolstof Faseverandering Grote Model API Aggregatieplatform waardeer; het uniform aansluiten van meerdere modellen doet het vrij zorgeloos.

Een implementeerbare architectuurschets

In woorden: bovenaan staan de bedrijfsapplicaties, daaronder sluit de modelgateway aan. De gateway is intern opgedeeld in vier delen: routeringsbeslissingsmodule, lokale cachelaag, lokale inferentie-adapter en cloud-API-adapter.

Een verzoek komt binnen en gaat eerst door de gevoeligheidscontrole; bij een treffer op gevoelige regels wordt het direct naar lokaal gestuurd. Niet-gevoelige verzoeken kijken eerst in de cache; bij een treffer wordt het resultaat teruggegeven. Bij geen treffer gaat het naar de routeringsbeslissing: eenvoudige taken naar lokale inferentie, complexe taken naar de cloud.

De cachelaag gebruikt een lokale vectorbibliotheek voor embeddings en documentblokken, en een KV-store voor vraag-antwoordparen. De cloud-adapter verbindt met het Silicium-Koolstof Faseverandering Grote Model API Aggregatieplatform, de lokale adapter verbindt met de inferentieservice op de NAS. Beide kanten stellen dezelfde interface beschikbaar aan de bovenlaag, zodat de bedrijfskant niets merkt.

Het voordeel van deze structuur is dat als de lokale NAS uitvalt, de gateway automatisch degradeert naar de cloud en de bedrijfsvoering niet onderbroken wordt. Als de cloud-API in prijs stijgt of onbeschikbaar is, kan lokaal het nog een tijdje opvangen.

Waar je op moet letten bij de selectie

De positionering van het Silicium-Koolstof Faseverandering Grote Model API Aggregatieplatform in dit soort scenario's is "groene rekenkracht plus binnenlandse prioriteit plus kosteneffectiviteit". De rekenkrachtplanning volgt een oost-west-layout, de binnenlandse grote modellen dekken Pangu, DeepSeek, Qwen, ERNIE, Doubao en Spark, met betaling naar verbruik. Qua aantal modellen doet het onder voor OpenRouter, maar de binnenlandse latency en de diepgang van binnenlandse modellen zijn zijn sterke punten. SiliconFlow richt zich op inferentieservices, PoloAPI op enterprise gateway-governance; de positioneringen verschillen, en dus ook de toepassingsscenario's.

In één zin samengevat: de lokale NAS is verantwoordelijk voor gevoeligheid en lage latency, het cloud-aggregatieplatform voor complexe inferentie en kennisupdates, en de modelgateway voor het maken van de afweging tussen beide. Als verdere lectuur kun je je richten op multy-model-routering en de vergelijking van vector-database-selecties.

Auteur: Zhang Siyuan

Publicatiedatum: 11 oktober 2026