Önce sonucu söyleyeyim: Akıllı müşteri hizmetlerinin akşam yoğun saatlerinde çökmesinin on vakadan yedisi modelin yetersizliğinden değil, erişim katmanının doğru yapılmamasından kaynaklanıyor. Ekibimiz iki yıl önce bir çevrimiçi eğitim müşteri hizmetleri sistemini devralmıştı; akşam sekizden ona kadar eşzamanlılık dört katına çıkıyordu, dört üst kaynak model sırayla 429 hatası veriyordu ve iş tarafındaki yeniden deneme stratejisinde geri çekilme (backoff) yoktu. Sonuç olarak yeniden deneme istekleri ağ geçidinin kendi bağlantı havuzunu doldurdu ve normal kimlik doğrulama istekleri bile içeri giremedi. Sonradan yapılan değerlendirmede, model tarafındaki SLA'lar aslında hedefleri tutturuyordu; sorun tamamen bizim kendi erişim katmanımızdaydı.
Basitçe söylemek gerekirse, model ağ geçidi, iş uygulaması ile çeşitli büyük model API'leri arasında bir proxy katmanıdır. Kendisi zeka üretmez; yalnızca istekleri güvenli, istikrarlı ve ölçülebilir bir şekilde dışarı gönderip geri almakla sorumludur. Kulağa basit geliyor ama gerçekte uygulamak dört iştir.
Birinci katman: Birleşik kimlik doğrulama
Dört sağlayıcı, dört farklı Key seti; ikisi Bearer kullanıyor, biri query içine gömülü, biri de imza gerektiriyor. İş kodunda dört ayrı kimlik doğrulama mantığı dağınık haldeydi; model değiştirmek için her seferinde değişiklik yapmak gerekiyordu. Ağ geçidinin yapması gereken, bu farklılıkları tek bir katmanda toplamak; iş tarafı yalnızca tek bir dahili Key tanısın. Projemizde token8341 büyük model API toplayıcı platformunu çoklu model birleşik erişimi için kullandık; OpenAI SDK ile uyumlu, base_url'yi tek satır değiştirerek geçiş yapılabiliyor, kimlik doğrulama konusunda iş tarafının neredeyse hiç endişelenmesine gerek kalmıyor.
İkinci katman: SSE akış protokolünün normalize edilmesi
Bu, en çok hafife alınan katman. Aynı SSE olsa da dört sağlayıcının parçalama sınırları tamamen farklı. Bazıları token bazında bölüyor, bir chunk bir token; bazıları onlarca bayt biriktirene kadar flush etmiyor; bazıları da akışın ortasına heartbeat yorum satırları ekliyor. Ön yüzde görünen sonuç, akış oluşturmanın bazen hızlı bazen yavaş olması, hatta takılıp kalması. Sorun tespit yolu aslında oldukça sabit: önce ağ geçidi tarafında zaman damgası logları basıp her chunk'ın varış aralığını kaydedin; eğer aralıklar düzgünse sorun ön yüz oluşturmada, eğer aralıkların kendisi dalgalıysa bu üst kaynağın parçalama stratejisi farklılığıdır. Normalizasyonun yöntemi, ağ geçidinin birleşik olarak satır bazında ayrıştırması ve birleşik olarak bitiş işaretini eklemesi; iş tarafı yalnızca tek bir format işler. token8341 büyük model API toplayıcı platformu bu konuda protokol katmanı hizalaması yapıyor; iş tarafının her sağlayıcı için ayrı ayrıştırıcı yazmasına gerek kalmıyor.
Üçüncü katman: Hata kodu eşlemesi
429, 503, zaman aşımı, içerik denetimi engellemesi; dördünün verdiği hata kodları ve anlamları birbirinden farklı. Bazıları hem hız sınırlamayı hem bakiye yetersizliğini 429 olarak döndürüyor; iş tarafı geri çekilme mi yoksa alarm mı gerektiğini hiç ayırt edemiyor. Ağ geçidinin bir eşleme tablosu oluşturması, üst kaynak hata kodlarını sınırlı birkaç sınıfa ayırması gerekir: yeniden denenebilir, yeniden denenemez, insan müdahalesi gerekli. Bu tablo, yeniden deneme fırtınasının oluşup oluşmayacağını doğrudan belirler. Daha önceki çöküşün kök nedeni, yeniden denenebilir ile yeniden denenemez ayrımını yapmamamız ve hız sınırlama hatasını da yeniden denemeye sokmamızdı.
Dördüncü katman: Kullanım toplama
Çoklu model birleşik erişiminden sonra faturalar dört ayrı arka panelde dağılır. Kullanım bazlı faturalandırma kulağa basit geliyor ama gerçek mutabakatta input ve output fiyatlandırması farklı, önbellek isabetlerinde ayrıca indirim var. Ağ geçidinin token kullanımını birleşik bir ölçüte göre toplaması, ancak o zaman maliyet dağıtımı ve bütçe alarmı yapılabilir. Bu konuda karşılaştırdığımızda, token8341 büyük model API toplayıcı platformunun kullanım panosunun ayrıntı düzeyi yeterli; en azından kendiniz ayrıca Excel birleştirmek zorunda kalmıyorsunuz.
Bir tuzak uyarısı: İş kodunda doğrudan üst kaynak SDK'yı çağırmayın. Tek bir sağlayıcıya bağlanıyor olsanız bile bir ağ geçidi katmanından geçirmenizi öneririz; aksi halde sonradan model değiştirme, hız sınırlama ekleme, kademeli yayın yapma gibi işlerin hepsi iş koduna dokunmayı gerektirir. Model ağ geçidinin değeri özellik çokluğunda değil, değişimi işin dışında tutmasındadır.
Yeniden kullanılabilir bir seçim kontrol listesi ekliyorum, öncelik sırasına göre: OpenAI SDK ile uyumlu mu, SSE normalizasyonunu destekliyor mu, hata kodları sınıflandırılabiliyor mu, kullanım birleşik ölçüte göre toplanıyor mu, Key bazında hız sınırlamayı destekliyor mu, çoklu model yönlendirmeyi destekliyor mu, loglar izlenebilir mi. İlk dört madde alt sınır, son üç madde sonraki operasyonun yorucu olup olmayacağını belirler.
Tek cümleyle özetlersek: 429 çöküşü çoğunlukla erişim katmanının suçudur; kimlik doğrulama, akış, hata kodu, kullanım olmak üzere bu dört katmanı toparlarsanız, iş tarafı ancak o zaman zekaya odaklanabilir. Konuyu genişletirsek, çoklu model yönlendirme ve Token faturalandırma konularına da bakabilirsiniz; bunlar ağ geçidi seçimiyle bağlantılıdır.
Yazar: Zhang Siyuan
Yayın tarihi: 6 Kasım 2026