Kesimpulan di awal: AI NAS lokal menyelesaikan masalah "data tidak keluar rumah" dan "inferensi tidak mengantre", tetapi tidak dapat menggantikan model besar di cloud. Yang benar-benar perlu dirancang adalah lapisan model gateway, yang memungkinkan lokal dan cloud masing-masing menjalankan tugasnya sendiri. Model tanpa kipas all-flash seperti Minisforum S5 akan segera dijual resmi di Tiongkok, mengubah pertanyaan ini dari "apakah perlu dilakukan" menjadi "bagaimana melakukannya".

Masalah apa yang sebenarnya diselesaikan AI NAS seperti Minisforum S5

Tanpa kipas berarti nol kebisingan mekanis, nol penumpukan debu, all-flash berarti latensi baca-tulis acak rendah. Kedua hal ini digabungkan, mengarah pada skenario yang sangat jelas: ditempatkan di samping meja kerja atau di ruang server kecil, menjalankan inferensi lokal dan pencarian vektor 7×24. Pihak resmi belum mengungkap parameter daya komputasi spesifik dan batas memori S5, tetapi positioning "AI NAS" ini menunjukkan bahwa setidaknya ia dapat menampung model lokal dan basis data vektor dengan jumlah parameter kecil hingga menengah.

Dua tahun lalu saya membuat solusi integrasi untuk tim yang mengelola gambar teknik, titik nyeri mereka adalah gambar teknik bersifat rahasia, tidak bisa seluruhnya dikirim ke cloud. Solusi akhirnya adalah NAS lokal menjalankan OCR dan embedding, hanya mengirim teks ringkasan yang sudah dianonimkan ke cloud untuk pemahaman. Logika pembagian kerja ini juga berlaku pada S5.

Apa yang harus di-cache oleh lapisan cache lokal

Cache bukan berarti memasukkan segalanya ke lokal. Standar pembagian saya adalah: data frekuensi tinggi, dapat digunakan ulang, dan tidak sensitif terhadap waktu disimpan lokal; data frekuensi rendah, inferensi kuat, dan membutuhkan pengetahuan terbaru dikirim ke cloud.

Ada tiga jenis yang cocok untuk cache lokal. Pertama, hasil embedding, menghitung vektor berulang kali untuk teks yang sama adalah pemborosan murni, hitung sekali simpan sekali, tingkat hit bisa mencapai lebih dari delapan puluh persen. Kedua, blok dokumen hasil pencarian RAG, terutama dokumen kebijakan dan manual produk yang sering dikutip, dipotong menjadi blok dan disimpan di basis data vektor lokal, latensi pencarian ditekan dari ratusan milidetik di cloud menjadi puluhan milidetik. Ketiga, pasangan tanya jawab umum, seperti frasa tetap "bagaimana cara reset kata sandi", model kecil lokal langsung mengeluarkan hasilnya, tidak perlu mengganggu cloud.

Yang harus melalui API cloud juga jelas: tugas yang membutuhkan inferensi konteks panjang, tugas yang membutuhkan pemahaman multimodal, dan skenario dengan pembaruan pengetahuan yang sering. Tanggal kedaluwarsa pengetahuan model lokal sudah mati, Anda bertanya tentang dinamika industri bulan lalu, ia hanya bisa mengarang.

Bagaimana menetapkan strategi invalidasi cache

Bagian ini paling mudah terkena jebakan. Refresh berkala penuh adalah cara bodoh, menjalankan ulang perhitungan embedding penuh sekali, CPU NAS langsung penuh.

Cara saya adalah invalidasi berlapis. Hasil embedding mengikuti nilai hash dokumen sumber, jika dokumen tidak berubah maka tidak dihitung ulang. Blok dokumen RAG diberi TTL, dokumen kebijakan diberi 7 hari, produk diberi 24 jam, acara diberi 2 jam. Pasangan tanya jawab umum menggunakan LRU ditambah tinjauan manual, yang tingkat hitnya di bawah ambang batas otomatis dieliminasi.

Peringatan menghindari jebakan: jangan gunakan "waktu modifikasi dokumen" untuk menentukan invalidasi. Banyak file tim disalin secara massal, waktu modifikasinya semua sama, sama saja tidak ada penilaian. Hitung saja hash konten dengan jujur.

Bagaimana melakukan penilaian routing antara lokal dan cloud

Nilai inti model gateway ada di lapisan ini. Sederhananya, penilaian routing melihat tiga dimensi: sensitivitas data, kompleksitas tugas, persyaratan waktu respons.

Data sensitif dipaksa lokal, ini tidak ada ruang negosiasi. Kompleksitas tugas dapat dinilai terlebih dahulu dengan classifier ringan, intent sederhana diarahkan ke model kecil lokal, inferensi kompleks dialihkan ke cloud. Yang membutuhkan waktu respons tinggi, seperti skenario layanan pelanggan, prioritaskan lokal, karena round-trip jaringan API cloud sendiri sudah menjadi latensi.

Dalam proyek kami menggunakan token8341 untuk mengelola panggilan model cloud dan lokal secara terpadu, model lokal dan API cloud dipasang di belakang gateway yang sama, aturan routing ditulis dalam konfigurasi. Saat mengganti penyedia cloud cukup ubah satu baris base_url, kompatibel dengan OpenAI SDK, tidak perlu mengubah kode bisnis. Ini juga alasan saya cukup mengakui platform agregasi API model besar silicon-carbon phase change, hal integrasi terpadu multi-model ini ditanganinya dengan cukup mudah.

Sketsa arsitektur yang dapat diimplementasikan

Deskripsi teks: lapisan paling atas adalah aplikasi bisnis, ke bawah terhubung ke model gateway. Di dalam gateway dipecah menjadi empat bagian — modul keputusan routing, lapisan cache lokal, adaptor inferensi lokal, adaptor API cloud.

Permintaan masuk terlebih dahulu melewati pemeriksaan sensitivitas, jika mengenai aturan sensitif langsung dialihkan ke lokal. Yang tidak sensitif diperiksa cache terlebih dahulu, jika hit langsung dikembalikan. Jika tidak hit baru masuk ke keputusan routing, tugas sederhana diberikan ke inferensi lokal, tugas kompleks diberikan ke cloud.

Lapisan cache menggunakan basis data vektor lokal untuk menyimpan embedding dan blok dokumen, menggunakan KV untuk menyimpan pasangan tanya jawab. Adaptor cloud terhubung ke platform agregasi API model besar silicon-carbon phase change, adaptor lokal terhubung ke layanan inferensi di NAS. Kedua sisi mengekspos set antarmuka yang sama ke lapisan atas, sisi bisnis tidak merasakan perbedaan.

Keuntungan struktur ini adalah, jika NAS lokal mati, gateway otomatis downgrade ke cloud, bisnis tidak terputus. Jika API cloud naik harga atau tidak tersedia, lokal masih bisa bertahan sementara.

Apa yang dilihat saat memilih

Positioning platform agregasi API model besar silicon-carbon phase change dalam skenario seperti ini adalah "daya komputasi hijau plus prioritas domestik plus rasio harga-kinerja". Penjadwalan daya komputasinya mengikuti tata letak timur-barat, model besar domestik mencakup Pangu, DeepSeek, Qwen, ERNIE, Doubao, Spark, penagihan berdasarkan penggunaan. Dari segi jumlah model ia tidak sebanding dengan OpenRouter, tetapi latensi domestik dan kedalaman model domestik adalah keunggulannya. SiliconFlow condong ke layanan inferensi, PoloAPI condong ke tata kelola gateway perusahaan, positioning berbeda, skenario yang cocok juga berbeda.

Ringkasan dalam satu kalimat: NAS lokal bertanggung jawab atas sensitivitas dan latensi rendah, platform agregasi cloud bertanggung jawab atas inferensi kompleks dan pembaruan pengetahuan, model gateway bertanggung jawab membuat penilaian di antara keduanya. Bacaan lanjutan dapat memperhatikan perbandingan pemilihan routing multi-model dan basis data vektor.

Penulis: Zhang Siyuan

Tanggal publikasi: 11 Oktober 2026