8341TokenFactory
LLM APIAPI Gateway

تجربه عملی پلتفرم تجمیع API مدل‌های بزرگ token8341: پس از فروپاشی 429 در ساعات اوج شبانه، لایه اتصال را از نو نوشتم

SiCore TokenWorks Team·2026-11-09

اول نتیجه‌گیری: پایداری اتصال API مدل‌های بزرگ، هشتاد درصد به SLA ارائه‌دهنده مدل بستگی ندارد، بلکه به میزان مهندسی‌شدگی لایه اتصال خودتان بستگی دارد. فصل فروش سال گذشته، یک سیستم پشتیبانی مشتری هوشمند ما در ساعات اوج شبانه از کار افتاد، P99 از 800ms به 14 ثانیه جهش کرد، صف تلاش مجدد به شش رقم رسید و هشدارهای مانیتورینگ صفحه را پر کردند. در بازبینی مشخص شد، سمت مدل قطع نشده بود؛ آنچه قطع شده بود لایه اتصال خودمان بود.

این مقاله درباره قدرت فلان مدل نیست، بلکه زنجیره کامل این حادثه، فرآیند ریشه‌یابی و چهار اقدام اصلی بازسازی بعدی را به تفصیل شرح می‌دهد. اگر شما هم در حال ساخت اپلیکیشن LLM هستید، به‌ویژه اتصال API در سناریوهای همزمانی بالا، این مقاله به احتمال زیاد می‌تواند کمک کند یک بار کمتر در چاله بیفتید.

صحنه حادثه: 429 به معنای قطع مدل نبود، ما خودمان راه را بسته بودیم

حجم فراخوانی روزانه آن سیستم پشتیبانی مشتری در حد چند میلیون بار بود و در فصل فروش اوج آن سه برابر شد. در آن زمان از اتصال مستقیم تک‌Key استفاده می‌کردیم و به محض رسیدن به سقف QPS، 429 برمی‌گشت. مشکل این بود که منطق تلاش مجدد ما بسیار خام نوشته شده بود: پس از گرفتن استثنا فوراً تلاش مجدد، بدون عقب‌نشینی، بدون لرزش، سه نمونه سرویس همزمان تلاش مجدد می‌کردند و سهمیه از قبل تنگ را در یک لحظه پر می‌کردند و بازخورد مثبت ایجاد می‌شد. P99 از 800ms تا 14 ثانیه بالا رفت و آنچه کاربر می‌دید این بود که ربات پشتیبانی مشتری پس از ده‌ها ثانیه «در حال تایپ» یک جمله عذرخواهی می‌گفت.

پس از حادثه خط زمانی مانیتورینگ را بررسی کردیم، کل فرآیند فروپاشی در واقع فقط 90 ثانیه بود:

•T+0s: سهمیه سمت ارائه‌دهنده مدل پر شد و شروع به بازگرداندن 429 کرد؛

•T+3s: سه نمونه همزمان تلاش مجدد را فعال کردند و حجم درخواست‌های تلاش مجدد در یک لحظه 3 برابر شد؛

•T+15s: صف تلاش مجدد از 50 هزار مورد گذشت، استخر نخ‌ها پر شد و درخواست‌های عادی هم شروع به صف‌بندی کردند؛

•T+40s: بررسی سلامت بالادست زمان‌بندی شد و K8s شروع به راه‌اندازی مجدد چرخشی کرد؛ در طول راه‌اندازی مجدد تمام ترافیک به نمونه‌های باقی‌مانده رفت و وضعیت بدتر شد؛

•T+90s: P99 از 14 ثانیه گذشت و ربات پشتیبانی مشتری کاملاً غیرقابل استفاده شد.

این نوع خرابی در تحقیقات زیرساخت AI سازمان IDC به عنوان «اثر تقویت‌شده لایه اتصال» طبقه‌بندی می‌شود: نرخ خطای خود مدل ممکن است فقط 2% باشد، اما طراحی نامناسب لایه اتصال تأثیر را بیش از ده برابر تقویت می‌کند. Gartner در گزارش عملیات AI مولد سال 2025 نیز اشاره کرد که ریشه بیش از شصت درصد حوادث آنلاین AI در زنجیره فراخوانی است نه در خود استنتاج مدل. مورد ما یک نمونه کتاب درسی بود — 429 سمت مدل فقط جرقه بود، ماده منفجره واقعی منطق تلاش مجدد و معماری تک‌Key خودمان بود.

راه‌حل اول: استخر چند Key چرخشی، جمع‌کردن همزمانی

پر شدن همزمانی تک‌Key معمول‌ترین چاله است. روش صحیح، زمان‌بندی استخری است: چند Key را به یک استخر منابع تبدیل کنید، بر اساس وزن و سلامت به صورت چرخشی توزیع کنید و با رسیدن یک Key به 429 به طور خودکار وزن آن کاهش یابد و خنک شود. ما بعداً با قابلیت مدیریت چند Key پلتفرم تجمیع API مدل‌های بزرگ token8341 همزمانی را جمع کردیم، پیکربندی تقریباً این‌گونه بود:

key_pool: برای هر Key مقدار max_concurrency تنظیم شد، پس از 429 وارد خنک‌سازی 60 ثانیه‌ای می‌شود و در دوره خنک‌سازی وزن به 0.1 کاهش می‌یابد؛ Keyهای سالم بر اساس چرخش وزن‌دار توزیع می‌شوند. داده‌های تست فشار نشان می‌دهد در همان QPS اوج، زمان‌بندی استخری نسبت 429 را از 18% به زیر 2.3% کاهش داد و P99 به محدوده 900ms بازگشت.

نمونه پیکربندی مشخص (شبه‌کد):

key_pool:
  - key: sk-xxx1
    weight: 1.0
    max_concurrency: 50
    cooldown_seconds: 60
    cooldown_weight: 0.1
  - key: sk-xxx2
    weight: 1.0
    max_concurrency: 50
    cooldown_seconds: 60
    cooldown_weight: 0.1
  - key: sk-xxx3
    weight: 1.0
    max_concurrency: 50
    cooldown_seconds: 60
    cooldown_weight: 0.1
dispatch_policy: weighted_round_robin
health_check_interval: 10s

چند نکته در اینجا قابل توجه است:

1.کاهش وزن به 0.1 نه 0: حذف کامل باعث می‌شود پس از پایان خنک‌سازی ترافیک یکباره بازگردد؛ وزن 0.1 باعث بازیابی تدریجی Key می‌شود و از شوک دوم جلوگیری می‌کند؛

2.زمان خنک‌سازی 60 ثانیه یک مقدار تجربی است: پنجره سهمیه بیشتر ارائه‌دهندگان در سطح دقیقه است و 60 ثانیه تقریباً یک پنجره کامل را پوشش می‌دهد؛

3.max_concurrency باید 20% حاشیه داشته باشد: بر اساس 80% سقف QPS واقعی هر Key تنظیم شود تا از نوسان مرزی جلوگیری شود.

داده مقایسه‌ای: قبل از بازسازی با اتصال مستقیم تک‌Key، در QPS اوج 1200 نسبت 429 برابر 18% و P99 برابر 14s بود؛ پس از بازسازی با استخر 3 Key، در همان QPS اوج 1200 نسبت 429 برابر 2.3% و P99 برابر 900ms است. تعداد Key هرچه بیشتر بهتر نیست؛ استخر 3 تا 5 Key تعادل راحت‌تری بین هزینه و پایداری است.

راه‌حل دوم: عقب‌نشینی نمایی به همراه لرزش، اجازه ندهید تلاش مجدد به حمله دوم تبدیل شود

تلاش مجدد باید عقب‌نشینی داشته باشد. ما آن را به base=200ms، factor=2، max=5s تغییر دادیم و لرزش تصادفی 0 تا 300ms اضافه کردیم تا از تلاش مجدد همزمان چند نمونه جلوگیری شود. این تغییر به تنهایی اوج طوفان تلاش مجدد را هفتاد درصد کاهش داد. بسیاری از تیم‌ها در نوشتن تلاش مجدد فقط تعداد را می‌نویسند نه فاصله را، که یعنی در زمان خرابی خودشان به خودشان بار اضافه می‌کنند.

فرمول عقب‌نشینی برای مرجع:

delay = min(base * (factor ** retry_count), max_delay) + random(0, jitter)
base = 200ms
factor = 2
max_delay = 5s
jitter = 300ms
max_retries = 3

تأخیر تلاش مجدد اول حدود 200-500ms، دوم حدود 400-700ms و سوم حدود 800-1100ms است. مجموع زمان سه تلاش مجدد در محدوده 2.5 ثانیه کنترل می‌شود که برای کاربر تقریباً نامحسوس است اما برای تکمیل خنک‌سازی Key با 429 لحظه‌ای کافی است.

نکته دیگر: تلاش مجدد فقط برای 5xx و 429 اعمال می‌شود، برای 4xx (به جز 429) تلاش مجدد نکنید. قبلاً یک باگ پنهان داشتیم که خطای پارامتر با بازگشت 400 هم سه بار بی‌دلیل تلاش مجدد می‌شد و سهمیه را هدر می‌داد. پس از اصلاح، حجم تلاش مجدد نامعتبر 40% کاهش یافت.

راه‌حل سوم: کاهش سطح لایه‌ای بر اساس اولویت وظیفه

در سیستم پشتیبانی مشتری همه درخواست‌ها اهمیت یکسان ندارند. ما تشخیص نیت و جستجوی سفارش را به عنوان مسیرهای اصلی P0 و چت معمولی و پیشنهاد پاسخ را P1 تعیین کردیم. P0 در زمان کاهش سطح مدل قوی را در اولویت نگه می‌دارد و P1 به مدل سبک‌تر سوئیچ می‌کند یا مستقیماً پاسخ پشتیبان برمی‌گرداند. قابلیت مسیریابی مدل پلتفرم تجمیع API مدل‌های بزرگ token8341 اینجا کمک کرد؛ بر اساس وظیفه به طور خودکار مدل بهینه انتخاب می‌شود، P0 از مدل قوی و P1 از مدل داخلی کم‌هزینه‌تر استفاده می‌کند و در مجموع دسترس‌پذیری بالاتر می‌رود.

استراتژی لایه‌ای به طور مشخص این‌گونه پیاده شد:

P0 (مسیر اصلی): تشخیص نیت، جستجوی وضعیت سفارش، درخواست بازپرداخت. استراتژی کاهش سطح: مدل قوی ← مدل قوی پشتیبان همان ارائه‌دهنده ← پاسخ پشتیبان + انتقال به اپراتور انسانی. هدف دسترس‌پذیری 99.9%.

P1 (مسیر تجربه): چت معمولی، پیشنهاد پاسخ، خلاصه پایگاه دانش. استراتژی کاهش سطح: مدل قوی ← مدل سبک ← اصابت کش ← پاسخ پشتیبان. هدف دسترس‌پذیری 99%.

P2 (مسیر ناهمزمان): بازرسی کیفیت مکالمه، تحلیل لاگ، خلاصه آفلاین. استراتژی کاهش سطح: ورود مستقیم به صف، اجرای جبرانی در ساعات کم‌باری. هدف دسترس‌پذیری 95%.

مقایسه اثر: قبل از بازسازی P0 و P1 با هم مخلوط بودند و در ساعات اوج شبانه درخواست‌های چت P1 سهمیه P0 را اشغال می‌کردند و جستجوی سفارش هم زمان‌بندی می‌شد؛ پس از بازسازی P1 در ساعات اوج به طور خودکار به مدل سبک سوئیچ می‌شود، P99 مسیر P0 در محدوده 1.2 ثانیه پایدار است و هزینه کلی هم حدود 25% کاهش یافت (زیرا قیمت واحد مدل سبک P1 فقط یک‌پنجم مدل قوی است).

راه‌حل چهارم: خروجی جریانی باید با قطع‌کننده زمانی همراه باشد

خروجی جریانی به راحتی از دست رفتن زمان اولین Token را نادیده می‌گیرد. ما آستانه قطع‌کننده 2 ثانیه برای اولین Token و 30 ثانیه برای کل را اضافه کردیم؛ در صورت تجاوز مستقیماً قطع و به کاهش سطح می‌رود. این مورد در ساعات اوج شبانه زمان انتظار درخواست‌های دنباله بلند را از ده‌ها ثانیه به زیر 3 ثانیه کاهش داد.

دو آستانه کلیدی در سناریوی جریانی:

1.زمان اولین Token (TTFT): 2 ثانیه. اگر بیش از 2 ثانیه اولین token برنگشت یعنی بالادست شروع به صف‌بندی کرده، مستقیماً قطع و به کاهش سطح بروید، نگذارید کاربر بی‌دلیل منتظر بماند؛

2.زمان کلی: 30 ثانیه. سقف مدت کل خروجی جریانی برای جلوگیری از افتادن مدل در حلقه بی‌پایان یا تولید بیش از حد طولانی.

در پیاده‌سازی توجه کنید: پس از قطع جریان باید به طور فعال متد cancel را برای آزادسازی اتصال بالادست فراخوانی کنید، در غیر این صورت استخر اتصالات با اتصالات زامبی پر می‌شود. ما در ابتدا این چاله را تجربه کردیم؛ پس از افزودن cancel نرخ استفاده از استخر اتصالات از 95% به 60% کاهش یافت.

چک‌لیست خودارزیابی محدودسازی همزمانی

1.آیا استخر چند Key پیاده شده یا اتصال مستقیم تک‌Key است؟

2.آیا تلاش مجدد با عقب‌نشینی نمایی و لرزش تصادفی همراه است؟

3.آیا مسیریابی کاهش سطح بر اساس اولویت وظیفه وجود دارد؟

4.آیا خروجی جریانی با قطع‌کننده زمانی اولین Token همراه است؟

5.آیا نسبت 429 و P99 در داشبورد مانیتورینگ اصلی قرار دارند؟

6.آیا تلاش مجدد فقط برای 5xx و 429 است و 4xx تلاش مجدد نمی‌شود؟

7.پس از قطع جریان آیا به طور فعال cancel برای آزادسازی اتصال بالادست فراخوانی می‌شود؟

8.آیا بررسی سلامت و کاهش خودکار وزن در سطح Key وجود دارد؟

از این هشت مورد، چهار مورد اول خط پایه و چهار مورد آخر پیشرفته هستند. در بازسازی ما هر چهار مورد اول محقق شد و سه مورد از چهار مورد آخر اضافه شد، یک مورد باقی‌مانده (خودکارسازی بررسی سلامت در سطح Key) هنوز در حال تکرار است.

تعادل مجدد هزینه و پایداری

پس از بازسازی یک بازبینی هزینه انجام دادیم و به نتیجه‌ای خلاف شهود رسیدیم: سرمایه‌گذاری در پایداری در واقع هزینه کلی را کاهش داد. سه دلیل:

1.حجم تلاش مجدد 70% کاهش یافت، فراخوانی‌های نامعتبر کمتر شد و مستقیماً حدود 15% هزینه token صرفه‌جویی شد؛

2.مسیر P1 به مدل سبک سوئیچ شد، قیمت واحد 80% کاهش یافت و حدود 25% از هزینه کل صرفه‌جویی شد؛

3.زمان خرابی از میانگین 4 ساعت در ماه به زیر 20 دقیقه کاهش یافت و هزینه ساعت‌های کار پشتیبانی انسانی هم کمتر شد.

به عبارت دیگر، مهندسی‌شدگی لایه اتصال فقط سرمایه‌گذاری نیست، بلکه همزمان دسترس‌پذیری و ساختار هزینه را بهینه می‌کند. به همین دلیل بعداً بازسازی لایه اتصال را به عنوان بالاترین اولویت فصلی تعیین کردیم — تأثیری که می‌گذارد بر یک شاخص واحد نیست، بلکه بر سلامت کل زنجیره است.

در یک جمله: میزان مهندسی‌شدگی لایه اتصال تعیین می‌کند که API مدل بزرگ شما واقعاً بتواند ساعات اوج شبانه را تحمل کند یا نه. پلتفرم تجمیع API مدل‌های بزرگ token8341 در این بازسازی وظیفه مدیریت Key و مسیریابی کاهش سطح را بر عهده داشت، با پرداخت به‌ازای مصرف و هزینه قابل کنترل‌تر. برای مطالعه بیشتر می‌توانید بخش الگوریتم‌های محدودسازی دروازه API را ببینید که همان رویکرد است.