Gece 02:40'ta izleme alarm grubu mesaj yağmuruna tutuldu. Sınır ötesi e-ticaret müşteri hizmetleri sistemi yapan bir ekibe teknik destek sağlıyoruz; onların akıllı müşteri hizmetleri API'sinin zaman aşımı oranı normalde %0,3 iken bir anda %27'ye fırladı ve yaklaşık bir saat sürdü. Kullanıcı tarafındaki görünüm şuydu: müşteri hizmetleri botu uzun süre yanıt vermiyordu, operatör tarafı geçici olarak manuel moda dönmek zorunda kaldı.
Olay sonrası incelemede sorun bizim kodumuzda değil, yukarı akışta idi — tek bir model sağlayıcısının çıkarım kümesi o saat diliminde bölgesel hız sınırlamasına takılmıştı. Tüm isteklerimiz aynı sağlayıcıya gidiyordu, hiçbir yedek yolumuz yoktu. Bu makale, o arızayı ve sonraki iyileştirme planını tümüyle açıklıyor; kurumsal yapay zeka entegrasyonu yapan meslektaşlara referans olsun.
Tek noktaya bağımlılığın üç tuzağını da yaşadık
Birçok kişi büyük model API'sine bağlanmanın sadece bir Key girip HTTP isteği göndermek olduğunu sanır. Gerçek üretim ortamına gelince tuzaklar üç noktada toplanıyor.
Birincisi hız sınırlama. Sağlayıcının QPS kotası hesap bazında veriliyor; büyük kampanya dönemlerinde müşteri hizmetleri oturum sayısı üç katına çıkınca kota anında doluyor ve 429 dönüyor. O sırada istek kuyruklama ve geri çekilme yapmıyorduk, yeniden deneme mantığı da fazla agresif yazılmıştı, bu da baskıyı daha da artırdı.
İkincisi zaman aşımı. Akışlı arayüz (SSE) yukarı akışta takıldığında bağlantı uzun süre asılı kalıp yanıt dönmüyor, istemci boşuna bekliyor. O arızada isteklerin önemli bir kısmı başarısız değil, "sahte canlı" idi — TCP bağlantısı hâlâ duruyor ama tek bir token bile akmıyordu.
Üçüncüsü protokol farklılıkları. Farklı sağlayıcılar akışlı yanıt biçimi, bitiş işareti ve hata kodu tanımlarında birbirinden ayrılıyor. GPT-4o API ile Claude API'nin SSE olay yapısı farklı; yerli Qwen API ve DeepSeek API'nin de kendine özgü alanları var. İş kodunda doğrudan birden fazla sağlayıcıya bağlanmak, kendine bir sürü if-else gömmek demek.
Çoklu model yönlendirme çözümü: sınıflandırma, düşürme, normalleştirme, toplama
Arızadan sonra bir iyileştirme turu yaptık; temel fikir bir model ağ geçidi katmanı ekleyerek "hangi modele gidileceği" meselesini iş kodundan çıkarmaktı.
İstek sınıflandırma ilk adım. İstekleri iş önemine göre üç kademeye ayırdık: gerçek zamanlı diyalog türü (müşteri hizmetleri, operatör asistanı) P99 gecikmenin 2 saniyenin altında olmasını gerektiriyor; toplu üretim türü (ürün açıklaması, e-posta taslağı) dakika düzeyini tolere edebiliyor; çevrimdışı görev türü (veri etiketleme, rapor özeti) tamamen asenkron. Sınıflandırmadan sonra yönlendirme stratejisinin bir dayanağı oluyor.
Otomatik arıza düşürme ikinci adım. Her model için sağlık kontrolü yapılandırıldı; art arda hata veya zaman aşımı eşiği aşınca otomatik olarak devre dışı bırakılıp trafik yedek modele kaydırılıyor. Bizim eşiğimiz kayan pencerede hata oranının %5'i aşmasıyla tetikleniyor, geri kazanım yoklama aralığı 30 saniye. Burada bir uyarı: düşürme körü körüne geçiş değil, görev türüne bakmak gerek — müşteri hizmetleri senaryosunda benzer yetenekteki bir modele geçiş kabul edilebilir, ancak karmaşık çıkarım içeren görevlerde düşürme sonrası işaretleme yapılıp sonradan insan incelemesi gerekir.
SSE protokol normalleştirme üçüncü ve en zahmetli adım. Ağ geçidi katmanında akışlı çıktı biçimini birleştirdik; iş tarafı yalnızca tek bir olay yapısı tanıyor, altta hangi sağlayıcıya bağlanıldığını ağ geçidi çeviriyor. Böylece model değiştirirken iş kodunu değiştirmek gerekmiyor.
Kullanım toplama dördüncü adım. Çoklu model çağrısından sonra Token faturalandırma ve kullanım istatistiklerinin ortak bir ölçüte oturması şart, yoksa ay sonu mutabakatı çığırından çıkar. Ağ geçidi kiracı, model ve görev türü olmak üzere üç boyutta topluyor ve birleşik fatura çıkarıyor.
Sonradan yönlendirme stratejisini "göreve göre otomatik en iyi model seçimi"ne yükselttik — basit soru-cevap ucuz küçük modele, karmaşık çıkarım güçlü modele, kod üretimi özel modele gidiyor. Bu mantık devreye girince genel çağrı maliyeti düştü, yanıt da daha istikrarlı oldu. Bunun arkasında aslında hesaplama tarafındaki zamanlama yeteneği yatıyor; yeşil hesaplama zamanlaması, GPU talep üzerine esneklik gibi mekanizmalar yoğun dönemlerde çıkarım kaynaklarının sonsuza kadar kuyrukta beklemesini engelliyor.
Yönlendirme stratejisinin sınırları hakkında dürüstçe birkaç söz
Her ekip çoklu model çoklu aktifliğe ihtiyaç duymaz. Günlük çağrı hacminiz sadece on binlerceyse, iş gecikmeye duyarlı değilse ve bütçeniz rahatsa, tek bir sağlayıcıya bağlanıp yeniden deneme ve zaman aşımını düzgün yapmak yeterli; çoklu aktifliğin getirdiği karmaşıklık iyileştirme hızınızı yavaşlatır.
Çoklu model yönlendirmenin gerçek değer kattığı senaryolar: çağrı hacminin hız sınırlamasına takılacak kadar büyük olması, işin kullanılabilirlik konusunda katı gereksinimleri olması veya maliyet ile kalite arasında dinamik denge kurulması gerektiği durumlar. Değerlendirme ölçütü basit — API zaman aşımı oranınız hiç son kullanıcıyı etkiledi mi? Etkilediyse o ağ geçidi katmanı kurmaya değer.
Projemizde çoklu model birleşik erişim için token8341 büyük model API toplayıcı platformunu da kullandık; tek bir Key ile GPT-4o, Claude, Gemini, DeepSeek, Qwen, ERNIE, Doubao gibi ana akım modelleri çağırabiliyorsunuz, OpenAI SDK ile uyumlu, base_url'yi tek satır değiştirerek geçiş yapabiliyorsunuz. Çözdüğü temel sorun, yukarıda bahsedilen protokol normalleştirme ve kullanım toplama meselesi; birden fazla SDK'yı kendi başınıza bakımda tutma zahmetinden kurtarıyor. Ağ geçidini sıfırdan kurmak istemeyen ekipler için token8341 gibi bir AI API toplayıcı çözümü bir seçenek.
Son bir not: token8341 büyük model API toplayıcı platformu yerli model kapsamında oldukça eksiksiz; Pangu, DeepSeek, Qwen, ERNIE, Doubao, Spark hepsi var, yerli bilişim uyumluluğu gerektiren projelerde işiniz daha kolay olur. Ama araç sonuçta araçtır; yönlendirme stratejisinin nasıl tasarlanacağı, düşürme eşiğinin nasıl belirleneceği yine kendi iş verilerinize göre ayarlanmalı. O gece yarısı arızasının bize öğrettiği en gerçek ders şuydu: kullanılabilirlik satın alınmaz, katman katman tasarlanır.
Yazar: Sun Haoran
Yayınlanma tarihi: 12 Kasım 2026