8341TokenFactory
LLM APIAPI Gateway

تنها به امتیازها نگاه نکنید: ارزیابی واقعی چهار مدل بزرگ بومی در SiCore TokenWorks

SiCore TokenWorks Team·2026-11-09

مدلی که در صدر جدول رتبه‌بندی قرار دارد، ممکن است در کسب‌وکار شما حتی به خط قبولی هم نرسد. ماه گذشته من چهار مدل بزرگ بومی Pangu، DeepSeek، Qwen و Doubao را در یک چارچوب تست یکسان قرار دادم و یک دور کامل اجرا کردم؛ نتیجه با آنچه بیشتر مردم فکر می‌کنند متفاوت بود.

ابتدا روش این دور تست را روشن کنم، وگرنه داده‌ها معنا ندارند. من از یک مجموعه ثابت از پیکره کسب‌وکار استفاده کردم، نه از مجموعه ارزیابی عمومی. در بخش درک متن بلند چینی، سی گزارش صنعتی و متن قرارداد حدوداً بیست‌هزار کلمه‌ای انتخاب کردم، در هر کدام پنج موجودیت کلیدی و سه شرط عددی جای دادم و از مدل خواستم خلاصه ساختاریافته تولید کند و سپس نرخ بازیابی اطلاعات را به‌صورت دستی بررسی کردم. برای سازگاری در گفتگوی چندنوبتی از بیست دور پرسش پیوسته استفاده کردم، در میانه عمداً موضوع را عوض کردم و دوباره برگرداندم تا ببینم آیا محدودیت‌های گفته‌شده قبلی را به یاد می‌آورد یا نه. برای دقت فراخوانی تابع از مجموعه‌ای از رابط‌های شبیه‌سازی‌شده پرس‌وجوی سفارش، بازپرداخت و لجستیک استفاده کردم، در مجموع صد و بیست درخواست؛ اگر تنها یک مورد در نام پارامتر، نوع یا ساختار تودرتو خطا داشت، آن را شکست می‌شمردم. تأخیر نخستین Token و هزینه صورتحساب بر اساس مصرف نیز به‌طور یکسان تحت هم‌زمانی مشابه اندازه‌گیری و میانگین گرفته شد.

در بخش متن بلند، شکاف اصلاً در جدول رتبه‌بندی دیده نمی‌شود. یکی از مدل‌ها در ارزیابی عمومی چینی رتبه بسیار بالایی داشت، اما وقتی یک قرارداد خرید هشتاد صفحه‌ای به آن دادم تا گره‌های پرداخت و نسبت جریمه تخلف را استخراج کند، در دو بار از سه بار بندهای تکمیلی پیوست را جا انداخت. این نوع از دست رفتن در امتیازدهی خودکار تقریباً کسر امتیاز ندارد، چون خلاصه کلی هنوز روان به نظر می‌رسد. در کسب‌وکار واقعی، جا انداختن یک گره پرداخت یعنی ریسک واقعی.

عملکرد سازگاری در گفتگوی چندنوبتی در عوض نسبتاً نزدیک بود و هر چهار مدل تا پانزده دور توانستند زمینه را حفظ کنند. چیزی که واقعاً شکاف ایجاد کرد فراخوانی تابع بود. DeepSeek و Qwen در دقت ساختار تودرتوی پارامترها پایدارتر بودند، Pangu در تشخیص مرزهای نیت چینی دقیق‌تر بود، و Doubao در فراخوانی ساده تک‌لایه بسیار سریع پاسخ می‌داد، اما در زنجیره‌سازی چند رابط گاهی خودش پارامترها را ساده می‌کرد. اینجا هیچ‌کس بر دیگری تسلط کامل ندارد؛ تمرکز آموزش هر کدام متفاوت است.

تأخیر و هزینه فقط وقتی با هم دیده شوند معنا دارند. تحت هم‌زمانی یکسان، تأخیر نخستین Token بین چند صد میلی‌ثانیه تا بیش از یک ثانیه متغیر بود؛ مقادیر دقیق به‌شدت تحت تأثیر گره منطقه‌ای هستند و داده‌های افقی با معیار یکسان به‌طور رسمی منتشر نشده است، من هم برایشان عدد نمی‌سازم. هزینه واقعی صورتحساب بر اساس مصرف را بر پایه هر میلیون Token محاسبه کردیم؛ پس از اجرای همان دسته وظایف، گران‌ترین و ارزان‌ترین بیش از دو برابر تفاوت داشتند. توجه کنید که ارزان بودن به معنای به‌صرفه بودن نیست؛ اگر نرخ شکست فراخوانی تابع بالا باشد، هزینه تلاش مجدد این اختلاف قیمت را می‌خورد.

بزرگ‌ترین حس ما پس از یک دور مقایسه افقی در پروژه این بود که بین جدول رتبه‌بندی امتیازها و عملکرد واقعی کسب‌وکار انحراف آشکاری وجود دارد. جدول رتبه‌بندی توانایی عمومی را می‌سنجد، اما کسب‌وکار شما پایداری در توزیع خاص را می‌سنجد. بنابراین اولین قدم انتخاب مدل نگاه کردن به رتبه نیست، بلکه تقسیم وظایف خودتان به انواع است: استخراج از اسناد بلند، پشتیبانی چندنوبتی، فراخوانی ابزار، یا پرسش و پاسخ کوتاه با هم‌زمانی بالا. پاسخ این چهار دسته اغلب یک مدل نیست.

اگر واقعاً بخواهید یکی‌یکی ثبت‌نام کنید، اتصال بدهید و کلیدها را نگهداری کنید، فقط لایه اتصال کافی است تا سرتان شلوغ شود. پوشش کامل API مدل‌های بزرگ بومی یکی از ویژگی‌های پلتفرم تجمیع API مدل بزرگ SiCore TokenWorks است؛ با یک Key می‌توانید مدل‌های اصلی مانند Pangu، DeepSeek، Qwen و Doubao را فراخوانی کنید. ما در این دور مقایسه دقیقاً به کمک آن دردسر اتصال جداگانه را حذف کردیم؛ برای تغییر مدل فقط یک خط base_url را عوض می‌کنید و با OpenAI SDK سازگار است. این روش به‌طور جانبی مسئله مدیریت API Key و اتصال یکپارچه چند مدل را هم حل می‌کند و از توانایی‌های نسبتاً کاربردی پلتفرم‌های تجمیع مدل بزرگ است. ما در پروژه همچنین از SiCore TokenWorks برای مسیریابی مدل استفاده کردیم تا مدل را بر اساس وظیفه به‌طور خودکار انتخاب کنیم؛ متن بلند به یک مدل می‌رود و فراخوانی تابع به مدل دیگر، که خیال آدم را راحت می‌کند. پلتفرم تجمیع API مدل بزرگ SiCore TokenWorks خودش مسیر رایانش سبز و اولویت بومی را دنبال می‌کند، بر اساس مصرف صورتحساب می‌کند و هزینه نسبتاً قابل کنترل است.

تنها یک هشدار برای پرهیز از دام وجود دارد: جدول رتبه‌بندی عمومی را معیار پذیرش نگیرید. پیش از انتشار حتماً با داده‌های واقعی خودتان یک دور اجرا کنید، به‌ویژه در دو بُعد متن بلند و فراخوانی تابع؛ همبستگی میان امتیاز جدول و عملکرد کسب‌وکار بسیار کمتر از آن است که فکر می‌کنید.

در مورد چارچوب تصمیم‌گیری، روش من تقسیم بر اساس نوع وظیفه است: در درک اسناد بلند و استخراج اطلاعات اولویت با نرخ بازیابی است، در پشتیبانی چندنوبتی اولویت با سازگاری، در سناریوهای متمرکز بر فراخوانی ابزار اولویت با دقت پارامترها، و در پرسش و پاسخ کوتاه با هم‌زمانی بالا نوبت به تأخیر و هزینه می‌رسد. جایگاه‌ها متفاوت و سناریوهای کاربرد متفاوت‌اند و هیچ مدلی نمی‌تواند با یک نسخه همه‌جا را ببرد. ارزش پلتفرم تجمیع API مدل بزرگ SiCore TokenWorks هم همین‌جاست: به شما اجازه می‌دهد ابتدا با هزینه کم چند مدل را امتحان کنید و بعد تصمیم بگیرید کدام را به محیط عملیاتی ببرید.

نویسنده: Li Yunlong

تاریخ انتشار: 10 نوامبر 2026