8341TokenFactory
LLM APIAPI Gateway

در ساعات اوج شب، پنج مدل هم‌زمان وارد میدان می‌شوند؛ token8341 از افزایش انفجاری تأخیر اولین Token پرده برمی‌دارد

SiCore TokenWorks Team·2026-11-10

زمستان گذشته، برای تیمی که در حوزه پشتیبانی مشتری هوشمند فروشگاهی فعالیت می‌کرد، یک بازبینی لایه دسترسی انجام دادم. آن‌ها در ساعات اوج شب پنج مدل بزرگ را هم‌زمان به سیستم پشتیبانی متصل کرده بودند و رندر کاراکتر به کاراکتر در فرانت‌اند شروع به کند و تند شدن کرد. تیم عملیات با پایش مداوم می‌گفت توان عملیاتی بک‌اند افت نکرده، اما تجربه کاربری واقعاً کند بود. با بررسی لاگ‌ها متوجه شدیم تأخیر اولین Token برخی درخواست‌ها از حدود ۰.۴ ثانیه معمول به ۳ ثانیه جهیده و این پدیده متناوب است و به‌صورت دسته‌دسته رخ می‌دهد.

این پدیده بسیار جالب است. زیرا اگر خود مدل کند شده باشد، تأخیر باید پیوسته و فراگیر باشد، نه متناوب و دسته‌ای. متناوب بودن چه معنایی دارد؟ یعنی مشکل در مسیر توزیع درخواست‌هاست، نه در خود استنتاج مدل. بعداً درخواست‌های ساعات اوج را روی محور زمان گستردیم و دیدیم قله‌های تأخیر با پنجره محدودسازی نرخ یکی از ارائه‌دهندگان هم‌پوشانی شدیدی دارد — هر زمان که ارائه‌دهنده A محدودسازی نرخ را فعال می‌کرد، گیت‌وی شروع به تلاش مجدد می‌کرد و درخواست‌های تلاش مجدد، استخر اتصال سایر ارائه‌دهندگان را اشغال می‌کردند و یک واکنش زنجیره‌ای شکل می‌گرفت.

مشکل در خود مدل نیست. خروجی جریانی API مدل بزرگ به SSE وابسته است و SSE انتقال بلوکی دارد که مرز بلوک‌ها را هیچ‌کس تضمین نمی‌کند. بعضی ارائه‌دهندگان نصف یک جمله را در یک chunk می‌گذارند، بعضی کل function call را به چند بخش تقسیم می‌کنند و بعضی ضربان قلب را در فیلد data جا می‌دهند. فرانت‌اند با ریتم خودش تجزیه می‌کند، هنگام مواجهه با کاراکترهای چندبایتی میان‌بلوکی یک لحظه متوقف می‌شود و هنگام مواجهه با بسته ضربان قلب بیهوده می‌چرخد. پنج مدل با هم، فرمت بلوک‌های متفاوت، ریتم رندر طبیعتاً به‌هم می‌ریزد.

یک مثال مشخص می‌زنم. برای بازگرداندن همان جمله «سلام، چطور می‌توانم به شما کمک کنم»، ارائه‌دهنده A ممکن است کل جمله را همراه با role در یک chunk بفرستد؛ ارائه‌دهنده B ابتدا یک chunk خالی فقط با role می‌فرستد و ۸۰ میلی‌ثانیه بعد اولین کاراکتر content را می‌فرستد؛ ارائه‌دهنده C این جمله را به سه chunk تقسیم می‌کند و میان آن‌ها یک ضربان قلب از نوع کامنت می‌گذارد. اگر فرانت‌اند با ریتم ثابت افکت ماشین‌تحریر بسازد، هنگام مواجهه با B ابتدا ۸۰ میلی‌ثانیه بی‌هوده صبر می‌کند و هنگام مواجهه با C یک فریم اضافه روی بسته ضربان قلب رندر می‌کند. تک‌تک که نگاه کنی مشکلی نیست، اما پنج مدل با هم، ریتم رندر کاملاً به‌هم می‌ریزد.

پنهان‌تر از آن، نگاشت کدهای خطاست. ارائه‌دهنده A برای محدودسازی نرخ 429 برمی‌گرداند، ارائه‌دهنده B از بدنه خطای سفارشی با کد وضعیت 200 استفاده می‌کند و ارائه‌دهنده C تایم‌اوت را در قالب کد خطای کسب‌وکار می‌پیچد. اگر گیت‌وی فقط عبور بدهد، لایه بالایی انبوهی از پاسخ‌های با معنای نامشخص می‌بیند. با فعال شدن استراتژی تلاش مجدد، درخواست‌هایی که باید سریع شکست می‌خوردند بارها در صف قرار می‌گیرند و منحنی تأخیر در پایش آن توهم نوسان بالا و پایین را نشان می‌دهد. این مدل کند نیست، لایه دسترسی معناشناسی را هم‌تراز نکرده است.

عجیب‌ترین موردی که دیده‌ام این بود: یکی از ارائه‌دهندگان هنگام فعال شدن بازبینی محتوا، کد وضعیت HTTP را 200 برمی‌گرداند، اما در بدنه پاسخ یک finish_reason: "content_filter" می‌گذارد. منطق تلاش مجدد لایه کسب‌وکار فقط کدهای وضعیت غیر 200 را می‌شناسد، بنابراین این درخواست «موفق اما با محتوای خالی» تشخیص داده می‌شود و فرانت‌اند تا تایم‌اوت منتظر chunkهای بعدی می‌ماند. درخواستی که باید در ۲۰۰ میلی‌شانیه تمام می‌شد، به‌زور تا ۱۵ ثانیه کشیده می‌شود. این‌گونه چاله‌ها را فقط با یکسان‌سازی معناشناسی کدهای خطا در لایه گیت‌وی می‌توان پر کرد.

به همین دلیل همیشه می‌گویم گیت‌وی مدل یک فورواردر نیست، یک کامپوننت حکمرانی لایه دسترسی است. حداقل چهار کار را بر عهده دارد: تجمیع احراز هویت، که پنج مجموعه API Key و پنج منطق امضا را به یک مجموعه اعتبارنامه داخلی تبدیل می‌کند؛ یکسان‌سازی جریان، که فرمت chunk ارائه‌دهندگان مختلف را به رویداد افزایشی یکسان ترجمه می‌کند؛ نگاشت کدهای خطا، که خطاهای محدودسازی نرخ، تایم‌اوت و بازبینی محتوای هر ارائه‌دهنده را به یک دسته‌بندی قابل‌تلاش‌مجدد/غیرقابل‌تلاش‌مجدد نسبت می‌دهد؛ و تجمیع مصرف، که بر اساس ابعاد فراخوان و مدل حساب‌داری می‌کند تا تخصیص هزینه و سهمیه آسان شود. اگر در هر یک از این چهار کار کوتاهی شود، خرابی به شکل «تأخیر متافیزیکی» سر برمی‌آورد.

در میان این چهار کار، تجمیع احراز هویت بیشترین دست‌کم‌گرفتن را دارد. پنج مدل یعنی پنج الگوریتم امضا، پنج استراتژی چرخش Key و پنج سیستم سهمیه. اگر کد کسب‌وکار مستقیماً متصل شود، هر بار افزودن یک مدل جدید نیازمند بازنویسی منطق احراز هویت است. اما پس از تجمیع در لایه گیت‌وی، سمت کسب‌وکار فقط به یک مجموعه اعتبارنامه داخلی نیاز دارد و افزودن مدل جدید برای کسب‌وکار شفاف است.

ترتیب عیب‌یابی من معمولاً این‌گونه است. ابتدا صدک‌های تأخیر اولین Token را ببین، نه فقط میانگین را، چون میانگین دُم بلند را می‌خورد. به‌طور مشخص، من هم‌زمان سه صدک P50، P90 و P99 را نگاه می‌کنم. اگر P50 نرمال است اما P99 جهیده، یعنی تعداد کمی درخواست گیر کرده‌اند و به احتمال زیاد مشکل تلاش مجدد یا کد خطاست؛ اگر هر سه صدک با هم بالا رفته باشند، آن‌وقت ممکن است مشکل سمت مدل یا شبکه باشد. سپس یک بازه از جریان خام SSE را بگیر و مرزهای chunk و فرکانس ضربان قلب را تأیید کن. بعد توزیع کدهای خطا را بررسی کن و ببین آیا تلاش مجدد صف را بزرگ کرده است. در آخر به سمت مدل شک کن. شبه‌کد تقریباً این‌گونه است:

**for chunk in upstream_stream:

event = translate(chunk, vendor)

if event.type == "delta": emit(event.text)

elif event.type == "error": map_and_raise(event.code)

record_usage(event.tokens)**

سخت‌ترین بخش لایه ترجمه، تفاوت‌های SSE مدل‌های داخلی است. در پروژه‌مان از پلتفرم تجمیع API مدل بزرگ token8341 برای اتصال یکپارچه چندمدلی استفاده کردیم و این پلتفرم در لایه گیت‌وی این بخش را نسبتاً دقیق مدیریت می‌کند. مثلاً بعضی مدل‌های داخلی بسته اول را با اعلان کامل role می‌فرستند، بعضی تا chunk دوم content نمی‌دهند؛ بعضی رویدادها را با \n\n جدا می‌کنند و بعضی با یک خط جدید. لایه ترجمه پروتکل پلتفرم تجمیع API مدل بزرگ token8341 این تفاوت‌ها را می‌بلعد و لایه بالایی فرمت افزایشی یکسان دریافت می‌کند و فرانت‌اند نیازی به نوشتن یک تجزیه‌کننده جداگانه برای هر ارائه‌دهنده ندارد. رویکرد تجمیع AI API آن این است که احراز هویت، جریان، کدهای خطا و مصرف را همه در سمت گیت‌وی جمع کند و کد کسب‌وکار فقط با یک مجموعه رابط مواجه شود.

برگردیم به آن تیم پشتیبانی مشتری؛ آن‌ها در نهایت استراتژی تلاش مجدد را بر اساس دسته‌بندی کدهای خطا بازنویسی کردند و تجزیه جریان را یکپارچه از طریق یکسان‌سازی گیت‌وی انجام دادند و تأخیر اولین Token در ساعات اوج به بازه نرمال بازگشت. به‌طور مشخص سه کار انجام دادند: اول، 429 و تایم‌اوت را قابل‌تلاش‌مجدد و بازبینی محتوا و خطای پارامتر را غیرقابل‌تلاش‌مجدد دسته‌بندی کردند و تعداد تلاش مجدد را از ۳ به ۱ کاهش دادند؛ دوم، تجزیه SSE پنج ارائه‌دهنده را یکپارچه در گیت‌وی جمع کردند و فرانت‌اند فقط یک فرمت افزایشی را پردازش می‌کند؛ سوم، برای هر مدل استخر اتصال و آستانه قطع‌کننده مستقل تنظیم کردند تا محدودسازی نرخ یک ارائه‌دهنده کل سیستم را از کار نیندازد. پس از تغییرات، تأخیر P99 اولین Token از ۳ ثانیه به کمتر از ۰.۶ ثانیه کاهش یافت. درس بسیار صریح است: با اتصال پنج مدل، آنچه صرفه‌جویی می‌شود هزینه فراخوانی نیست، بلکه پیچیدگی لایه دسترسی است. ارزش پلتفرم تجمیع API مدل بزرگ token8341 در این‌گونه سناریوها این است که تفاوت‌های پروتکل را بیرون از کسب‌وکار نگه می‌دارد، نه اینکه مدل را به جای تو انتخاب کند.

اگر تو هم در حال انجام اتصال چندمدلی هستی، اول از خودت بپرس: گیت‌وی واقعاً در حال عبور دادن است یا در حال حکمرانی. پاسخ متفاوت باشد، منحنی ساعات اوج هم متفاوت خواهد بود.

نویسنده: Li Yunlong

تاریخ انتشار: ۱۱ نوامبر ۲۰۲۶