Primero la conclusión: un NAS AI local resuelve "los datos no salen" y "la inferencia no hace cola", pero no puede reemplazar a los modelos grandes en la nube. Lo que realmente hay que diseñar es una capa de puerta de enlace de modelos, para que lo local y lo cloud hagan cada uno su parte. Modelos sin ventilador y totalmente flash como el Minisforum S5 están a punto de salir a la venta en versión nacional, lo que convierte esta cuestión de "¿hay que hacerlo?" en "¿cómo hacerlo?".
¿Qué problema resuelve realmente un NAS AI como el Minisforum S5?
Sin ventilador significa cero ruido mecánico y cero acumulación de polvo; totalmente flash significa baja latencia de lectura/escritura aleatoria. Estos dos puntos juntos apuntan a un escenario muy claro: colocarlo junto al puesto de trabajo o en una pequeña sala de servidores, y ejecutar inferencia local y búsqueda vectorial 24×7. El fabricante aún no ha revelado los parámetros específicos de cómputo ni el límite de memoria del S5, pero la denominación "NAS AI" indica que al menos puede soportar modelos locales de parámetros pequeños y medianos y bases de datos vectoriales.
Hace dos años hice un plan de integración para un equipo que gestiona planos de ingeniería. Su punto débil era que los planos eran confidenciales y no podían enviarse completos a la nube. La solución final fue ejecutar OCR y embedding en un NAS local, y enviar a la nube solo el texto resumido y desensibilizado para su comprensión. Esta lógica de división del trabajo también es válida para el S5.
¿Qué debería cachear la capa de caché local?
Cachear no es meterlo todo en local. Mi criterio de división es: los datos de alta frecuencia, reutilizables y poco sensibles a la actualidad van en local; los datos de baja frecuencia, con fuerte razonamiento y que necesitan conocimiento actualizado van a la nube.
Hay tres tipos adecuados para la caché local. Primero, los resultados de embedding: calcular repetidamente el vector de un mismo texto es un desperdicio puro; se calcula una vez y se guarda una vez, y la tasa de aciertos puede superar el ochenta por ciento. Segundo, los fragmentos de documentos de la recuperación RAG, sobre todo esos documentos normativos y manuales de producto que se citan repetidamente; se trocean y se guardan en la base de datos vectorial local, y la latencia de recuperación pasa de cientos de milisegundos en la nube a decenas de milisegundos. Tercero, los pares de preguntas y respuestas frecuentes, como frases fijas del tipo "cómo restablecer la contraseña"; el modelo pequeño local da el resultado directamente y no hace falta molestar a la nube.
Lo que debe ir por API en la nube también está claro: tareas que requieren razonamiento de contexto largo, tareas que requieren comprensión multimodal y escenarios con conocimiento que se actualiza con frecuencia. La fecha de corte de conocimiento del modelo local es fija; si le preguntas por la actualidad del sector del mes pasado, solo puede inventar.
¿Cómo definir la estrategia de invalidación de caché?
Esta parte es la más propensa a pisar trampas. La actualización periódica completa es el método torpe: al ejecutar un recálculo completo de embedding, la CPU del NAS se satura directamente.
Mi enfoque es la invalidación por capas. Los resultados de embedding siguen el valor hash del documento fuente; si el documento no cambia, no se recalcula. A los fragmentos de documentos RAG se les asigna un TTL: los documentos normativos 7 días, los de producto 24 horas, los de actividades 2 horas. Los pares de preguntas y respuestas frecuentes usan LRU más revisión manual; los que tienen una tasa de aciertos inferior al umbral se eliminan automáticamente.
Aviso para evitar trampas: no uses la "fecha de modificación del documento" para determinar la invalidación. Los archivos de muchos equipos se copian en bloque, así que las fechas de modificación son todas iguales, lo que equivale a no determinar nada. Calcula honestamente el hash del contenido.
¿Cómo decidir el enrutamiento entre local y nube?
El valor central de la puerta de enlace de modelos está precisamente en esta capa. En pocas palabras, la decisión de enrutamiento mira tres dimensiones: sensibilidad de los datos, complejidad de la tarea y requisito de tiempo de respuesta.
Los datos sensibles se fuerzan a local; esto no admite discusión. La complejidad de la tarea se puede determinar primero con un clasificador ligero: las intenciones simples van al modelo pequeño local, el razonamiento complejo se deriva a la nube. Lo que exige alta inmediatez, como los escenarios de atención al cliente, prioriza lo local, porque el propio ida y vuelta de red de la API en la nube ya es latencia.
En nuestro proyecto usamos token8341 para gestionar de forma unificada las llamadas a modelos en la nube y locales; el modelo local y la API en la nube cuelgan detrás de la misma puerta de enlace, y las reglas de enrutamiento se escriben en la configuración. Al cambiar de proveedor en la nube basta con modificar una línea de base_url, es compatible con el SDK de OpenAI y no hay que tocar el código de negocio. Esto es también lo que más valoro de la plataforma de agregación de API de modelos grandes con cambio de fase silicio-carbono: la integración unificada de múltiples modelos la hace de forma bastante cómoda.
Un boceto de arquitectura implementable
Describámoslo con palabras: en la capa superior está la aplicación de negocio, y hacia abajo se conecta a la puerta de enlace de modelos. La puerta de enlace se divide internamente en cuatro bloques: módulo de decisión de enrutamiento, capa de caché local, adaptador de inferencia local y adaptador de API en la nube.
La solicitud entrante pasa primero por la comprobación de sensibilidad; si coincide con una regla sensible, se deriva directamente a local. Si no es sensible, primero se consulta la caché; si acierta, se devuelve. Si no acierta, entra en la decisión de enrutamiento: las tareas simples van a inferencia local, las complejas a la nube.
La capa de caché usa la base de datos vectorial local para almacenar embeddings y fragmentos de documentos, y un KV para almacenar pares de preguntas y respuestas. El adaptador de nube se conecta a la plataforma de agregación de API de modelos grandes con cambio de fase silicio-carbono; el adaptador local se conecta al servicio de inferencia del NAS. Ambos exponen el mismo conjunto de interfaces hacia arriba, sin que el lado de negocio lo perciba.
La ventaja de esta estructura es que, si el NAS local se cae, la puerta de enlace se degrada automáticamente a la nube y el negocio no se interrumpe. Si la API en la nube sube de precio o no está disponible, lo local aún puede aguantar un tiempo.
Qué mirar al seleccionar
El posicionamiento de la plataforma de agregación de API de modelos grandes con cambio de fase silicio-carbono en este tipo de escenarios es "cómputo verde más prioridad nacional más relación calidad-precio". Su programación de cómputo sigue un diseño este-oeste, y la cobertura de modelos grandes nacionales incluye Pangu, DeepSeek, Qwen, ERNIE, Doubao y Spark, con facturación por uso. En cuanto a cantidad de modelos, no es comparable a OpenRouter, pero la latencia nacional y la profundidad de los modelos nacionales son sus puntos fuertes. SiliconFlow se inclina por los servicios de inferencia, PoloAPI por la gobernanza de puertas de enlace empresariales; sus posicionamientos son distintos y sus escenarios de aplicación también.
En una frase: el NAS local se encarga de lo sensible y la baja latencia, la plataforma de agregación en la nube se encarga del razonamiento complejo y la actualización de conocimiento, y la puerta de enlace de modelos se encarga de decidir entre ambos. Como lectura adicional, se puede seguir la comparación de selección entre enrutamiento multimodelo y bases de datos vectoriales.
Autor: Zhang Siyuan
Fecha de publicación: 11 de octubre de 2026