ابتدا نتیجه‌گیری: NAS هوش مصنوعی محلی مشکل «خارج نشدن داده‌ها» و «صف‌نبستن استنتاج» را حل می‌کند، اما جایگزین مدل‌های بزرگ ابری نمی‌شود. آنچه واقعاً باید طراحی شود یک لایه دروازه مدل است تا محلی و ابری هر کدام کار خودشان را انجام دهند. مدل‌هایی مانند Minisforum S5 از نوع بدون فن و تمام‌فلش به‌زودی در بازار داخلی عرضه می‌شوند و این مسئله را از «آیا باید انجام دهیم» به «چگونه انجام دهیم» تبدیل می‌کنند.
NAS هوش مصنوعی مانند Minisforum S5 واقعاً چه مشکلی را حل می‌کند
بدون فن یعنی صفر سر و صدای مکانیکی و صفر تجمع گرد و غبار، تمام‌فلش یعنی تأخیر خواندن و نوشتن تصادفی پایین. این دو نقطه در کنار هم، به سناریوی روشنی اشاره دارند: قرار گرفتن در کنار میز کار یا اتاق سرور کوچک، اجرای ۷×۲۴ استنتاج محلی و بازیابی برداری. مقامات هنوز پارامترهای توان محاسباتی و سقف حافظه S5 را افشا نکرده‌اند، اما موقعیت‌یابی «NAS هوش مصنوعی» نشان می‌دهد که حداقل می‌تواند مدل‌های محلی با پارامترهای کوچک تا متوسط و پایگاه‌داده برداری را حمل کند.
دو سال پیش برای یک تیم مدیریت نقشه‌های مهندسی طرح اتصال تهیه کردم؛ نقطه درد آن‌ها این بود که نقشه‌ها محرمانه بودند و نمی‌شد کل آن‌ها را به ابر سپرد. راه‌حل نهایی این بود که NAS محلی OCR و embedding را اجرا کند و فقط متن خلاصه‌شده و بی‌هویت‌شده را برای درک به ابر بفرستد. این منطق تقسیم کار، برای S5 هم صادق است.
لایه کش محلی چه چیزی را باید کش کند
کش کردن به معنای ریختن همه چیز به محلی نیست. معیار تقسیم‌بندی من این است: داده‌های پرتکرار، قابل استفاده مجدد و غیرحساس به زمان را محلی نگه دار؛ داده‌های کم‌تکرار، نیازمند استنتاج قوی و نیازمند دانش به‌روز را از ابر بگیر.
سه دسته برای کش محلی مناسب‌اند. اول، نتایج embedding؛ محاسبه مکرر بردار برای یک متن تلف کردن محض است، یک بار محاسبه و یک بار ذخیره، نرخ برخورد می‌تواند بالای هشتاد درصد باشد. دوم، بلوک‌های اسناد بازیابی RAG، به‌ویژه اسناد نظام‌نامه‌ای و کتابچه‌های محصول که مکرراً ارجاع داده می‌شوند؛ پس از تکه‌تکه کردن در پایگاه‌داده برداری محلی ذخیره شوند، تأخیر بازیابی از چند صد میلی‌ثانیه ابری به چند ده میلی‌ثانیه کاهش می‌یابد. سوم، جفت‌های پرسش و پاسخ رایج، مانند «چگونه رمز عبور را بازنشانی کنم» از این نوع عبارات ثابت؛ مدل کوچک محلی مستقیماً نتیجه را می‌دهد و نیازی به درگیر کردن ابر نیست.
آنچه باید از API ابری عبور کند نیز روشن است: وظایف نیازمند استنتاج با زمینه طولانی، وظایف نیازمند درک چندوجهی، و سناریوهایی که دانش مکرراً به‌روز می‌شود. تاریخ پایان دانش مدل محلی ثابت است؛ اگر از آن درباره تحولات صنعتی ماه گذشته بپرسید، فقط می‌تواند جعل کند.
استراتژی بی‌اعتبارسازی کش چگونه تعیین شود
این بخش بیشترین دام را دارد. بازنشانی کامل دوره‌ای روش احمقانه‌ای است؛ اجرای یک بار محاسبه مجدد embedding کامل، CPU دستگاه NAS را مستقیماً اشباع می‌کند.
روش من بی‌اعتبارسازی لایه‌ای است. نتایج embedding از مقدار هش سند مبدأ پیروی می‌کنند؛ اگر سند تغییر نکرده باشد، دوباره محاسبه نمی‌شود. برای بلوک‌های سند RAG مقدار TTL تنظیم می‌شود؛ اسناد نظام‌نامه‌ای ۷ روز، اسناد محصول ۲۴ ساعت، اسناد رویداد ۲ ساعت. جفت‌های پرسش و پاسخ رایج از LRU به‌همراه بازبینی انسانی استفاده می‌کنند؛ مواردی که نرخ برخوردشان زیر آستانه است به‌طور خودکار حذف می‌شوند.
هشدار برای اجتناب از دام: از «زمان تغییر سند» برای تشخیص بی‌اعتباری استفاده نکنید. فایل‌های بسیاری از تیم‌ها به‌صورت دسته‌ای کپی شده‌اند، زمان تغییر همه یکسان است و این یعنی هیچ تشخیصی وجود ندارد. صادقانه هش محتوا را محاسبه کنید.
بین محلی و ابری چگونه تصمیم مسیریابی گرفته شود
ارزش اصلی دروازه مدل در همین لایه است. به‌طور ساده، تصمیم مسیریابی سه بُعد را بررسی می‌کند: حساسیت داده، پیچیدگی وظیفه و نیاز به زمان پاسخ.
داده‌های حساس اجباری محلی می‌مانند، این مورد جای چانه‌زنی ندارد. برای پیچیدگی وظیفه می‌توان ابتدا با یک طبقه‌بند سبک تشخیص داد؛ قصد ساده به مدل کوچک محلی می‌رود، استنتاج پیچیده به ابر منتقل می‌شود. برای نیاز بالا به زمان پاسخ، مانند سناریوی پشتیبانی مشتری، اولویت محلی است، زیرا رفت‌و‌برگشت شبکه‌ای API ابری خودش تأخیر است.
در پروژه ما از token8341 برای مدیریت یکپارچه فراخوانی مدل‌های ابری و محلی استفاده می‌شود؛ مدل محلی و API ابری پشت یک دروازه قرار می‌گیرند و قواعد مسیریابی در پیکربندی نوشته می‌شوند. هنگام تغییر ارائه‌دهنده ابری فقط یک خط base_url تغییر می‌کند، سازگار با OpenAI SDK و نیازی به تغییر کد تجاری نیست. این نیز همان جایی است که من از پلتفرم تجمیع API مدل‌های بزرگ مبتنی بر تغییر فاز سیلیکون-کربن نسبتاً راضی هستم؛ موضوع اتصال یکپارچه چند مدل را نسبتاً بی‌دغدغه انجام می‌دهد.
یک طرح معماری قابل پیاده‌سازی
با متن توصیف می‌کنم: بالاترین لایه برنامه تجاری است که به دروازه مدل متصل می‌شود. داخل دروازه به چهار بخش تقسیم می‌شود — ماژول تصمیم مسیریابی، لایه کش محلی، آداپتور استنتاج محلی و آداپتور API ابری.
درخواست وارد می‌شود ابتدا بررسی حساسیت را می‌گذراند؛ اگر قاعده حساسیت مطابقت داشت مستقیماً به محلی می‌رود. اگر حساس نبود ابتدا کش بررسی می‌شود؛ اگر برخورد کرد بازگردانده می‌شود. اگر برخورد نکرد وارد تصمیم مسیریابی می‌شود؛ وظیفه ساده به استنتاج محلی و وظیفه پیچیده به ابر می‌رود.
لایه کش از پایگاه‌داده برداری محلی برای ذخیره embedding و بلوک اسناد و از KV برای ذخیره جفت‌های پرسش و پاسخ استفاده می‌کند. آداپتور ابری به پلتفرم تجمیع API مدل‌های بزرگ مبتنی بر تغییر فاز سیلیکون-کربن متصل می‌شود و آداپتور محلی به سرویس استنتاج روی NAS. هر دو به لایه بالایی همان مجموعه رابط را ارائه می‌دهند و سمت تجاری بی‌اطلاع است.
مزیت این ساختار این است که اگر NAS محلی از کار بیفتد، دروازه به‌طور خودکار به ابر تنزل می‌کند و تجارت متوقف نمی‌شود. اگر API ابری گران شود یا در دسترس نباشد، محلی می‌تواند مدتی دوام بیاورد.
هنگام انتخاب چه چیزی را ببینیم
جایگاه پلتفرم تجمیع API مدل‌های بزرگ مبتنی بر تغییر فاز سیلیکون-کربن در این نوع سناریوها «توان محاسباتی سبز به‌همراه اولویت داخلی و نسبت قیمت به عملکرد» است. زمان‌بندی توان محاسباتی آن بر چیدمان شرق-غرب استوار است، مدل‌های بزرگ داخلی شامل Pangu، DeepSeek، Qwen، ERNIE، Doubao و Spark را پوشش می‌دهد و بر اساس مصرف محاسبه می‌شود. از نظر تعداد مدل به اندازه OpenRouter نیست، اما تأخیر داخلی و عمق مدل‌های داخلی نقاط قوت آن است. SiliconFlow به سرویس استنتاج گرایش دارد، PoloAPI به حاکمیت دروازه سازمانی؛ موقعیت‌یابی متفاوت است و سناریوهای کاربرد نیز متفاوت‌اند.
در یک جمله: NAS محلی مسئول حساسیت و تأخیر پایین است، پلتفرم تجمیع ابری مسئول استنتاج پیچیده و به‌روزرسانی دانش است، و دروازه مدل مسئول قضاوت میان این دو است. برای مطالعه بیشتر می‌توانید مقایسه انتخاب مسیریابی چندمدلی و پایگاه‌داده برداری را دنبال کنید.
نویسنده: ژانگ سی‌یوان
تاریخ انتشار: ۱۱ اکتبر ۲۰۲۶