Önce sonuç: büyük model API erişiminin istikrarlı olup olmaması, yüzde sekseni model sağlayıcısının SLA'sına değil, kendi erişim katmanınızın mühendislik olgunluğuna bağlıdır. Geçen yılki kampanya sezonunda, akıllı müşteri hizmetleri sistemimiz akşam yoğun saatlerinde çöktü, P99 800ms'den 14 saniyeye fırladı, yeniden deneme kuyruğu altı haneli sayılara ulaştı, izleme uyarıları ekranı doldurdu. Geriye dönüp baktığımızda model tarafı çökmemişti; çöken bizim kendi erişim katmanımızdı.
Bu makale bir modelin ne kadar güçlü olduğunu anlatmıyor; bu olayın tam zincirini, kök neden tespit sürecini ve sonraki yeniden yapılandırmanın dört temel eylemini ayrıntılı olarak açıklıyor. Eğer siz de LLM uygulamaları geliştiriyorsanız, özellikle yüksek eşzamanlılık senaryolarında API erişimi yapıyorsanız, bu makale büyük olasılıkla bir çukura düşmenizi engelleyebilir.
Olay yeri: 429 modelin çökmesi değil, kendi kendimizi tıkamamız
O müşteri hizmetleri sisteminin günlük çağrı hacmi milyonlar mertebesindeydi, kampanya sezonunda zirve üç katına çıktı. O zamanlar tek Key ile doğrudan bağlantı kullanıyorduk, QPS üst sınırına ulaşır ulaşmaz 429 dönmeye başlıyordu. Sorun, yeniden deneme mantığımızın çok kaba yazılmış olmasıydı: istisnayı yakaladıktan hemen sonra yeniden deniyorduk, geri çekilme yok, jitter yok, üç hizmet örneği aynı anda yeniden deniyordu, zaten gergin olan kotayı anında dolduruyordu, pozitif geri besleme oluşuyordu. P99 800ms'den 14 saniyeye tırmandı, kullanıcı tarafında görünen, müşteri hizmetleri botunun "yazıyor" göstergesinden on küsur saniye sonra bir özür cümlesi çıkarmasıydı.
Olay sonrası izleme zaman çizelgesini çıkardığımızda, tüm çöküş süreci aslında sadece 90 saniyeydi:
•T+0s: Model sağlayıcısı tarafında kota doldu, 429 dönmeye başladı;
•T+3s: Üç örnek aynı anda yeniden denemeyi tetikledi, yeniden deneme istek hacmi anında 3 kat arttı;
•T+15s: Yeniden deneme kuyruğu 50 binin üzerine birikti, thread pool doldu, normal istekler de kuyruğa girmeye başladı;
•T+40s: Üst akış sağlık kontrolü zaman aşımına uğradı, K8s sıralı yeniden başlatmaya başladı, yeniden başlatma sırasında tüm trafik kalan örneklere gitti, durum daha da kötüleşti;
•T+90s: P99 14 saniyeyi aştı, müşteri hizmetleri botu tamamen kullanılamaz hale geldi.
Bu tür arızalar IDC'nin AI altyapısı araştırmasında "erişim katmanı büyütme etkisi" olarak sınıflandırılıyor: modelin kendi hata oranı yalnızca %2 olabilir, ancak erişim katmanının kötü tasarımı etkiyi on katın üzerine çıkarabilir. Gartner'ın 2025 üretken AI operasyon raporunda da belirtildiği gibi, çevrimiçi AI olaylarının altmışta birinden fazlasının kök nedeni model çıkarımının kendisinde değil, çağrı zincirinde. Bizimki tam bir ders kitabı vakasıydı — model tarafındaki 429 sadece fitildi, gerçek patlayıcı bizim kendi yeniden deneme mantığımız ve tek nokta Key mimarimizdi.
Çözüm bir: Çoklu Key döndürmeli havuzlama, eşzamanlılığı toplama
Tek Key eşzamanlılığının dolması en tipik çukur. Doğru yaklaşım havuzlu zamanlama: birden fazla Key'i bir kaynak havuzunda birleştirmek, ağırlık ve sağlık durumuna göre döndürmek, tek bir Key 429 tetiklediğinde otomatik olarak ağırlığını düşürüp soğutmaya almak. Daha sonra token8341 büyük model API birleştirme platformunun çoklu Key yönetim yeteneğiyle eşzamanlılığı topladık, yapılandırma kabaca şöyleydi:
key_pool: Her Key için max_concurrency ayarlanır, 429 tetiklendikten sonra 60 saniyelik soğumaya girer, soğuma süresince ağırlık 0.1'e düşer; sağlıklı Key'ler ağırlıklı round-robin ile dağıtılır. Yük testi verileri, aynı zirve QPS altında havuzlu zamanlamanın 429 oranını %18'den %2.3'ün altına bastırdığını, P99'un 900ms mertebesine geri döndüğünü gösterdi.
Somut yapılandırma örneği (sözde kod):
key_pool:
- key: sk-xxx1
weight: 1.0
max_concurrency: 50
cooldown_seconds: 60
cooldown_weight: 0.1
- key: sk-xxx2
weight: 1.0
max_concurrency: 50
cooldown_seconds: 60
cooldown_weight: 0.1
- key: sk-xxx3
weight: 1.0
max_concurrency: 50
cooldown_seconds: 60
cooldown_weight: 0.1
dispatch_policy: weighted_round_robin
health_check_interval: 10sBurada dikkat edilmesi gereken birkaç ayrıntı var:
1.Ağırlığı 0 değil 0.1'e düşürmek: Tamamen çıkarmak, soğuma bittikten sonra trafiğin anında geri akmasına neden olur, 0.1 ağırlık Key'in yavaşça toparlanmasını sağlar, ikincil şoku önler;
2.60 saniye soğuma süresi deneyim değeridir: Çoğu sağlayıcının kota penceresi dakika düzeyindedir, 60 saniye temelde tam bir pencereyi kapsar;
3.max_concurrency için %20 pay bırakılmalı: Key'in gerçek QPS üst sınırının %80'ine göre ayarlanır, sınır titremesini önler.
Karşılaştırma verileri: Yeniden yapılandırma öncesi tek Key doğrudan bağlantı, zirve QPS 1200'de 429 oranı %18, P99 14s; yeniden yapılandırma sonrası 3 Key havuzlu, aynı zirve QPS 1200'de 429 oranı %2.3, P99 900ms. Key sayısı ne kadar fazla o kadar iyi değil, 3-5 Key'lik havuzlama maliyet ve istikrar arasında oldukça rahat bir denge noktası.
Çözüm iki: Üstel geri çekilme artı jitter, yeniden denemenin ikincil saldırıya dönüşmesine izin vermeyin
Yeniden deneme mutlaka geri çekilmeli. base=200ms, factor=2, max=5s olarak değiştirdik ve 0-300ms arası rastgele jitter ekledik, böylece birden fazla örneğin aynı anda yeniden denemesi önlendi. Bu tek değişiklik, yeniden deneme fırtınasının zirvesini tek başına yüzde yetmiş oranında kesti. Birçok ekip yeniden denemeyi yalnızca sayıyla yazıp aralık yazmıyor, bu da arıza anında kendine yük eklemekle eşdeğer.
Geri çekilme formülü referansı:
delay = min(base * (factor ** retry_count), max_delay) + random(0, jitter)
base = 200ms
factor = 2
max_delay = 5s
jitter = 300ms
max_retries = 31.yeniden deneme gecikmesi yaklaşık 200-500ms, 2. yaklaşık 400-700ms, 3. yaklaşık 800-1100ms. Üç yeniden denemenin toplam süresi 2.5 saniye içinde tutuluyor, kullanıcı tarafında neredeyse fark edilmiyor, ancak anlık 429 alan Key'in soğumasını tamamlaması için yeterli.
Ayrıca bir hatırlatma: Yeniden deneme yalnızca 5xx ve 429 için geçerli, 4xx (429 hariç) yeniden denenmemeli. Daha önce gizli bir hatamız vardı, parametre hatası dönen 400 de üç kez körü körüne yeniden deneniyordu, kotayı boşuna harcıyorduk. Düzeltmeden sonra geçersiz yeniden deneme hacmi %40 düştü.
Çözüm üç: Görev önceliğine göre katmanlı kademelendirme
Müşteri hizmetleri sisteminde tüm istekler aynı derecede önemli değil. Niyet tanıma, sipariş sorgulama gibi temel zincirleri P0, sohbet, öneri metinleri gibi olanları P1 olarak ayarladık. P0 kademelendirmede öncelikli olarak güçlü modeli korur, P1 ise daha hafif bir modele geçer veya doğrudan yedek metin döner. token8341 büyük model API birleştirme platformunun model yönlendirme yeteneği burada yardımcı oldu, göreve göre otomatik olarak en uygun modeli seçiyor, P0 güçlü modele gidiyor, P1 maliyeti daha düşük yerli modele gidiyor, genel kullanılabilirlik daha da yükseldi.
Katmanlı strateji somut olarak şöyle uygulandı:
P0 (temel zincir): Niyet tanıma, sipariş durumu sorgulama, iade başvurusu. Kademelendirme stratejisi: güçlü model → aynı sağlayıcının yedek güçlü modeli → yedek metin + insana aktarma. Kullanılabilirlik hedefi %99.9.
P1 (deneyim zinciri): Sohbet, öneri metinleri, bilgi tabanı özeti. Kademelendirme stratejisi: güçlü model → hafif model → önbellek isabeti → yedek metin. Kullanılabilirlik hedefi %99.
P2 (asenkron zincir): Görüşme kalite denetimi, günlük analizi, çevrimdışı özet. Kademelendirme stratejisi: doğrudan kuyruğa girer, düşük yoğunlukta telafi çalıştırması. Kullanılabilirlik hedefi %95.
Etki karşılaştırması: Yeniden yapılandırma öncesi P0 ve P1 karışıktı, akşam yoğun saatlerinde P1'in sohbet istekleri P0'ın kotasını işgal ediyordu, sipariş sorgulamaları da zaman aşımına uğruyordu; yeniden yapılandırma sonrası P1 yoğun saatlerde otomatik olarak hafif modele geçiyor, P0'ın P99'u 1.2 saniye içinde istikrarlı kalıyor, genel maliyet de yaklaşık %25 düştü (çünkü P1'in hafif model birim fiyatı güçlü modelin yalnızca 1/5'i).
Çözüm dört: Akış çıktısına mutlaka zaman aşımı sigortası eşlik etmeli
Akış çıktısında en kolay gözden kaçan şey ilk Token zaman aşımı. İlk Token için 2 saniye, toplam için 30 saniye sigorta eşiği ekledik, zaman aşımında doğrudan kesip kademelendirmeye geçiyoruz. Bu tek değişiklik akşam yoğun saatlerinde uzun kuyruk isteklerinin bekleme süresini on küsur saniyeden 3 saniye içine geri çekti.
Akış senaryosundaki iki kritik eşik:
1.İlk Token zaman aşımı (TTFT): 2 saniye. 2 saniyeyi aşan sürede ilk token dönmezse, üst akışın kuyruğa girmeye başladığını gösterir, doğrudan kesip kademelendirmeye geçin, kullanıcıyı boşuna bekletmeyin;
2.Toplam zaman aşımı: 30 saniye. Akış çıktısının toplam süre üst sınırı, modelin sonsuz döngüye girmesini veya aşırı uzun üretim yapmasını önler.
Uygulamada dikkat: Akış koptuktan sonra üst akış bağlantısını serbest bırakmak için aktif olarak cancel arayüzünü çağırmalısınız, aksi halde bağlantı havuzu zombi bağlantılarla dolar. Başlangıçta bu çukura düştük, cancel ekledikten sonra bağlantı havuzu kullanım oranı %95'ten %60'a düştü.
Eşzamanlı hız sınırlama öz denetim listesi
1.Tek Key doğrudan bağlantı yerine çoklu Key havuzlama yapıldı mı?
2.Yeniden deneme üstel geri çekilme ve rastgele jitter içeriyor mu?
3.Görev önceliğine göre kademelendirme yönlendirmesi var mı?
4.Akış çıktısına ilk Token zaman aşımı sigortası eklendi mi?
5.429 oranı ve P99 temel izleme panosuna girdi mi?
6.Yeniden deneme yalnızca 5xx ve 429 için mi, 4xx yeniden denenmiyor mu?
7.Akış koptuktan sonra üst akış bağlantısını serbest bırakmak için aktif cancel yapılıyor mu?
8.Key düzeyinde sağlık kontrolü ve otomatik ağırlık düşürme var mı?
Bu sekiz maddeden ilk dördü taban çizgisi, son dördü ileri seviye. Yeniden yapılandırmamızda ilk dördünün tamamını karşıladık, son dördünden üçünü tamamladık, kalan bir tanesi (Key düzeyinde sağlık kontrolünün otomasyonu) hâlâ geliştirme aşamasında.
Maliyet ve istikrarın yeniden dengelenmesi
Yeniden yapılandırmadan sonra bir maliyet incelemesi yaptık ve sezgiye aykırı bir sonuç bulduk: İstikrar yatırımı genel maliyeti aslında düşürdü. Bunun üç nedeni var:
1.Yeniden deneme hacmi %70 düştü, geçersiz çağrılar azaldı, doğrudan yaklaşık %15 token ücreti tasarrufu sağlandı;
2.P1 zinciri hafif modele geçti, birim fiyat %80 düştü, toplam maliyetin yaklaşık %25'i tasarruf edildi;
3.Arıza süresi aylık ortalama 4 saatten 20 dakikanın altına düştü, müşteri hizmetleri insan yedekleme iş gücü maliyeti de düştü.
Başka bir deyişle, erişim katmanı mühendisliği saf bir yatırım değil, aynı zamanda kullanılabilirliği ve maliyet yapısını optimize ediyor. Bu yüzden daha sonra erişim katmanı yeniden yapılandırmasını çeyreğin en yüksek önceliği olarak belirledik — etkilediği tek bir gösterge değil, tüm zincirin sağlığı.
Tek cümleyle özetlemek gerekirse: erişim katmanının mühendislik olgunluğu, büyük model API'nizin akşam yoğun saatlerine dayanıp dayanamayacağını belirler. token8341 büyük model API birleştirme platformu bu yeniden yapılandırmada Key yönetimi ve kademelendirme yönlendirmesi işlerini üstlendi, kullanım başına faturalandırma ile maliyet de daha kontrol edilebilir. Daha fazla okuma için API ağ geçidinin hız sınırlama algoritmaları bölümüne bakabilirsiniz, buradakiyle aynı yaklaşım.