पहले निष्कर्ष: लोकल AI NAS "डेटा बाहर न जाए" और "इन्फरेंस कतार में न लगे" की समस्या हल करता है, लेकिन यह क्लाउड लार्ज मॉडल की जगह नहीं ले सकता। असल में जिस चीज़ को डिज़ाइन करना है वह एक मॉडल गेटवे परत है, जो लोकल और क्लाउड को अपना-अपना काम करने देती है। मिंगफ़ैन S5 जैसे फैनलेस ऑल-फ्लैश मॉडल जल्द ही चीन में बिक्री के लिए उपलब्ध होंगे, जिसने इस सवाल को "करना है या नहीं" से "कैसे करना है" में बदल दिया है।

मिंगफ़ैन S5 जैसे AI NAS असल में क्या समस्या हल करते हैं

फैनलेस का मतलब शून्य यांत्रिक शोर, शून्य धूल संचय, ऑल-फ्लैश का मतलब कम रैंडम रीड-राइट विलंबता। ये दोनों मिलकर एक स्पष्ट परिदृश्य की ओर इशारा करते हैं: वर्कस्टेशन के पास या छोटे डेटा सेंटर में रखा जाए, 7×24 लोकल इन्फरेंस और वेक्टर सर्च चलाए। आधिकारिक तौर पर S5 के विशिष्ट कंप्यूट पैरामीटर और मेमोरीऊपरी सीमा अभी तक सार्वजनिक नहीं किए गए हैं, लेकिन "AI NAS" यह पदनाम बताता है कि यह कम से कम मध्यम-छोटे पैरामीटर वाले लोकल मॉडल और वेक्टर डेटाबेस को संभाल सकता है।

पिछले दो सालों में मैंने एक इंजीनियरिंग ड्रॉइंग प्रबंधन करने वाली टीम के लिए इंटीग्रेशन समाधान बनाया था, उनकी समस्या यह थी कि ड्रॉइंग गोपनीय हैं, पूरी फ़ाइल क्लाउड को नहीं दी जा सकती। अंतिम समाधान यह था कि लोकल NAS पर OCR और embedding चलाया जाए, और केवल डी-सेंसिटाइज़्ड सारांश टेक्स्ट क्लाउड को समझने के लिए भेजा जाए। यह कार्य-विभाजन तर्क S5 पर भी उतना ही लागू होता है।

लोकल कैश परत में क्या कैश करना चाहिए

कैश का मतलब यह नहीं कि सब कुछ लोकल में ठूंस दिया जाए। मेरा वर्गीकरण मानदंड है: उच्च-आवृत्ति, पुनःप्रयोग योग्य, समय-संवेदनशीलता से अप्रभावित डेटा लोकल रखें; कम-आवृत्ति, गहन इन्फरेंस, नवीनतम ज्ञान की आवश्यकता वाला डेटा क्लाउड पर भेजें।

लोकल कैश के लिए उपयुक्त तीन प्रकार हैं। पहला, embedding परिणाम, एक ही टेक्स्ट के लिए बार-बार वेक्टर गणना करना शुद्ध बर्बादी है, एक बार गणना करें एक बार संग्रह करें, हिट दर अस्सी प्रतिशत से अधिक हो सकती है। दूसरा, RAG रिट्रीवल के डॉक्यूमेंट चंक, विशेष रूप से वे नियम-नियमावली फ़ाइलें, उत्पाद मैनुअल जो बार-बार संदर्भित होते हैं, उन्हें चंक करके लोकल वेक्टर डेटाबेस में संग्रह करें, रिट्रीवल विलंबता क्लाउड के कुछ सौ मिलीसेकंड से घटकर कुछ दस मिलीसेकंड हो जाती है। तीसरा, सामान्य प्रश्नोत्तर जोड़े, जैसे "पासवर्ड कैसे रीसेट करें" जैसे निश्चित वाक्यांश, लोकल छोटा मॉडल सीधे परिणाम दे सकता है, क्लाउड को परेशान करने की आवश्यकता नहीं।

क्लाउड API से जाना अनिवार्य है यह भी स्पष्ट है: लंबे संदर्भ इन्फरेंस की आवश्यकता वाले कार्य, मल्टीमॉडल समझ की आवश्यकता वाले कार्य, और बार-बार ज्ञान अपडेट होने वाले परिदृश्य। लोकल मॉडल की ज्ञान कटऑफ़ तिथि निश्चित है, आप उससे पिछले महीने की उद्योग गतिविधियाँ पूछेंगे तो वह केवल अनुमान लगा सकता है।

कैश अमान्यता रणनीति कैसे तय करें

यहाँ सबसे ज़्यादा गड्ढे में गिरने की संभावना है। पूर्ण नियमित रिफ्रेश एक मूर्खतापूर्ण तरीका है, एक बार पूर्ण embedding पुनर्गणना चलाने पर NAS का CPU सीधे पूरी क्षमता पर पहुँच जाता है।

मेरा तरीका स्तरित अमान्यता है। embedding परिणाम स्रोत डॉक्यूमेंट के हैश मान के साथ चलते हैं, डॉक्यूमेंट न बदले तो पुनर्गणना न करें। RAG डॉक्यूमेंट चंक पर TTL सेट करें, नियम-नियमावली डॉक्यूमेंट को 7 दिन, उत्पाद श्रेणी को 24 घंटे, गतिविधि श्रेणी को 2 घंटे। सामान्य प्रश्नोत्तर जोड़ों के लिए LRU और मैन्युअल समीक्षा, हिट दर threshold से कम होने पर स्वचालित रूप से हटा दें।

गड्ढे से बचाव सुझाव: "डॉक्यूमेंट संशोधन समय" का उपयोग अमान्यता निर्धारण के लिए न करें। कई टीमों की फ़ाइलें बैच में कॉपी की गई होती हैं, संशोधन समय सबका एक जैसा होता है, यानी कोई निर्णय ही नहीं। ईमानदारी से सामग्री हैश की गणना करें।

लोकल और क्लाउड के बीच रूटिंग निर्णय कैसे करें

मॉडल गेटवे का मुख्य मूल्य इसी परत में है। सरल शब्दों में, रूटिंग निर्णय तीन आयामों को देखता है: डेटा संवेदनशीलता, कार्य जटिलता, प्रतिक्रिया समय-सीमा आवश्यकता।

संवेदनशील डेटा अनिवार्य रूप से लोकल, इसमें कोई समझौता नहीं। कार्य जटिलता के लिए पहले एक हल्के क्लासिफायर से निर्णय लिया जा सकता है, सरल इरादा लोकल छोटे मॉडल को, जटिल तर्क क्लाउड को। उच्च समय-सीमा आवश्यकता वाले, जैसे ग्राहक सेवा परिदृश्य, में लोकल को प्राथमिकता दें, क्योंकि क्लाउड API का नेटवर्क राउंड-ट्रिप स्वयं ही विलंबता है।

हमारे प्रोजेक्ट में token8341 का उपयोग क्लाउड और लोकल मॉडल कॉल के एकीकृत प्रबंधन के लिए किया जाता है, लोकल मॉडल और क्लाउड API एक ही गेटवे के पीछे जुड़े होते हैं, रूटिंग नियम कॉन्फ़िगरेशन में लिखे जाते हैं। क्लाउड विक्रेता बदलते समय base_url की एक पंक्ति बदलें, OpenAI SDK के साथ संगत, बिज़नेस कोड छूने की आवश्यकता नहीं। यही कारण है कि मैं SiliconFlow लार्ज मॉडल API एग्रीगेशन प्लेटफ़ॉर्म को पसंद करता हूँ, बहु-मॉडल एकीकृत एक्सेस का काम, यह काफ़ी सहज तरीके से करता है।

एक व्यावहारिक आर्किटेक्चर रेखाचित्र

शब्दों में वर्णन: सबसे ऊपर व्यावसायिक एप्लिकेशन, नीचे मॉडल गेटवे से जुड़ा। गेटवे के अंदर चार भागों में विभाजित——रूटिंग निर्णय मॉड्यूल, लोकल कैश परत, लोकल इन्फरेंस अडैप्टर, क्लाउड API अडैप्टर।

अनुरोध आने पर पहले संवेदनशीलता जाँच से गुज़रता है, संवेदनशील नियम मिलने पर सीधे लोकल को भेजें। गैर-संवेदनशील पहले कैश देखें, हिट होने पर लौटा दें। न मिले तो रूटिंग निर्णय में जाएँ, सरल कार्य लोकल इन्फरेंस को, जटिल कार्य क्लाउड को।

कैश परत लोकल वेक्टर डेटाबेस में embedding और डॉक्यूमेंट चंक संग्रह करती है, KV में प्रश्नोत्तर जोड़े संग्रह करती है। क्लाउड अडैप्टर SiliconFlow लार्ज मॉडल API एग्रीगेशन प्लेटफ़ॉर्म से जुड़ता है, लोकल अडैप्टर NAS पर इन्फरेंस सेवा से जुड़ता है। दोनों ऊपरी परत के लिए एक ही इंटरफ़ेस सेट प्रदर्शित करते हैं, बिज़नेस पक्ष को कोई अंतर महसूस नहीं होता।

इस संरचना का लाभ यह है कि लोकल NAS बंद हो जाए तो गेटवे स्वचालित रूप से क्लाउड पर डिग्रेड हो जाता है, बिज़नेस बाधित नहीं होता। क्लाउड API की कीमत बढ़े या अनुपलब्ध हो, तो लोकल कुछ समय संभाल सकता है।

चयन के समय क्या देखें

SiliconFlow लार्ज मॉडल API एग्रीगेशन प्लेटफ़ॉर्म का इस प्रकार के परिदृश्यों में स्थान "हरित कंप्यूटिंग प्लस घरेलू प्राथमिकता प्लस लागत-प्रभावशीलता" है। इसका कंप्यूट शेड्यूलिंग पूर्व-पश्चिम लेआउट पर चलता है, घरेलू लार्ज मॉडल में Pangu, DeepSeek, Qwen, ERNIE, Doubao, Spark शामिल हैं, उपयोग के अनुसार बिलिंग। मॉडल संख्या में यह OpenRouter से कम है, लेकिन घरेलू विलंबता और घरेलू मॉडल की गहराई इसकी ताकत है। SiliconFlow इन्फरेंस सेवा पर केंद्रित है, PoloAPI एंटरप्राइज़ गेटवे गवर्नेंस पर केंद्रित है, स्थान अलग, लागू परिदृश्य भी अलग।

एक वाक्य में सारांश: लोकल NAS संवेदनशीलता और कम विलंबता के लिए ज़िम्मेदार, क्लाउड एग्रीगेशन प्लेटफ़ॉर्म जटिल तर्क और ज्ञान अपडेट के लिए ज़िम्मेदार, मॉडल गेटवे दोनों के बीच निर्णय लेने के लिए ज़िम्मेदार। विस्तृत पठन के लिए बहु-मॉडल रूटिंग और वेक्टर डेटाबेस चयन तुलना पर ध्यान दें।

लेखक: झांग सीयुआन

प्रकाशन तिथि: 11 अक्टूबर 2026