Önce sonuç: Büyük model API'lerinin kararlılığı, yüzde seksen oranında hangi modeli çağırdığınıza değil, güvenilir bir model ağ geçidi katmanınız olup olmadığına bağlıdır. Geçen kış akıllı müşteri hizmetleri yapan bir ekibe mimari incelemesi yaptık; sistemleri akşam yoğun saatlerinde 8:12'de yoğun şekilde zaman aşımına uğramaya başladı, 429 hız sınırlaması istemcinin düşüncesizce yeniden denemesini tetikledi, yeniden deneme fırtınası ağ geçidini doldurdu, zaman aşımı oranı normalde %0,8 iken %41'e kadar çıktı ve ancak 47 dakika sonra toparlanabildi. Sonradan loglara baktığımızda kök neden model hizmetinin çökmesi değil, doğrudan üç sağlayıcıya bağlanmaları, birleşik bir giriş noktalarının olmaması ve geri çekilme stratejilerinin bulunmamasıydı. Bu makalede o 47 dakikayı parçalara ayırıp, nitelikli bir AI API toplayıcı platformunda model ağ geçidinin nasıl tasarlanması gerektiğini anlatacağız.
Birinci katman: Hız sınırlama ve devre kesme, yeniden denemenin çığa dönüşmesine izin vermeyin
Birçok kişi hız sınırlamanın sunucu tarafının işi olduğunu, istemcinin istediği gibi yeniden denemesinin sorun olmadığını düşünür. Yanlış. 429 zaten sunucunun size "biraz yavaşla" dediğidir; hemen yeniden denemeniz ateşe benzin dökmekle eşdeğerdir. Projede giriş şekillendirme için token kovası kullanıyoruz, üzerine bir de kayan pencere ile hata oranı istatistiği ekliyoruz. Token kovası "ortalama hızı" kontrol eder, kayan pencere "son 10 saniyedeki gerçek performansı" görür. İki göstergeye birlikte bakmak, ara sıra oluşan dalgalanma ile gerçek aşırı yüklenmeyi ancak ayırt edebilir.
Devre kesme eşiğini genellikle hata oranı %50'yi aştığında ve 5 saniye sürdüğünde açılacak şekilde ayarlıyorum, yarı açık durumda %5 trafik deneme amaçlı geçiriliyor. Bu mantık karmaşık değil, ancak doğrudan bağlantı modunda bunu üç SDK'da ayrı ayrı yazmanız ve semantiğin tutarlı olduğundan emin olmanız gerekir. Bu yüzden sonradan girişi token8341 büyük model API toplayıcı platformunda birleştirdik; hız sınırlama ve devre kesme ağ geçidi katmanında bir kez yapılıyor, sonraki tüm modeller bunu yeniden kullanıyor.
İkinci katman: Çoklu Key rotasyonu ve çoklu model yönlendirme ile düşürme
Tek Key tek model kırılgandır. Bir Key hız sınırına takılırsa tüm zincir kopar. Şu anki yaklaşımımız aynı model için birden fazla Key yapılandırmak, ağırlığa göre rotasyon yapmak, bir Key art arda üç kez başarısız olursa geçici olarak çıkarmak ve 60 saniye sonra geri almak. Daha da önemlisi model yönlendirme ile düşürme: ana model 429 veya 5xx döndürürse ağ geçidi otomatik olarak aynı seviyedeki yedek modele geçer.
Burada bir ayrıntı var, düşürme körü körüne yapılmamalı. GPT-4o çökünce küçük bir modele geçilirse yanıt kalitesi uçurum gibi düşer, müşteri hizmetleri senaryosunda kullanıcı bunu hemen hisseder. Stratejimiz aynı kademeden düşürme, örneğin Claude 4 Sonnet'ten Qwen-Max'a veya DeepSeek-V3'ten Qwen'e geçiş; yetenekler yakın, deneyim dalgalanması kontrol edilebilir. token8341 büyük model API toplayıcı platformu bu konuda göreve göre otomatik en uygun modeli seçiyor; projemizde karşılaştırdığımızda tek Key ile GPT-4o/Claude/Gemini/DeepSeek/Qwen/ERNIE/Doubao gibi ana akım modelleri çağırabildiğini, yedi ayrı kimlik doğrulama mantığını sürdürme zahmetinden kurtardığını gördük.
Üçüncü katman: Protokol çeviri katmanı, birleşik SSE akışı ve hata kodları
Bu katman en kolay göz ardı edilen ve en kolay tuzak barındıran katmandır. OpenAI SSE akışı kullanır, data: öneki ve [DONE] bitişi; Claude'un akış olay türleri tamamen farklıdır; Gemini yine başka bir settir. Doğrudan bağlanırsanız ön uçta üç ayrı ayrıştırma mantığı yazmanız gerekir. Protokol çeviri katmanının yapması gereken, tüm bu farklılıkları düzleştirmek ve dışarıya yalnızca tek bir akış formatı ve tek bir hata kodu seti sunmaktır.
Hata kodu eşlemesi de aynı derecede önemlidir. 429 birleşik olarak "hız sınırı", 401 "kimlik doğrulama başarısız", 503 "hizmet geçici olarak kullanılamıyor" olarak eşlenir; ön ucun yalnızca bu birkaçını işlemesi yeterlidir. Projemizde token8341 büyük model API toplayıcı platformuna geçtikten sonra en büyük izlenimimiz OpenAI SDK ile uyumlu olması, base_url'yi tek satır değiştirerek geçiş yapılabilmesi, eski yeniden deneme ve ayrıştırma kodunun neredeyse hiç değişmemesiydi. Protokol katmanının birleştirilmesinin değeri budur; geçiş maliyeti "yeniden yazma"dan "yapılandırma değiştirme"ye iner.
Seçim kontrol listesi
Bir AI API toplayıcı platformu seçiyorsanız, şu maddelerden geçirmenizi öneririm: token kovası artı kayan pencere çift katmanlı hız sınırlamayı destekliyor mu; basit yeniden deneme yerine devre kesme yarı açık mekanizması var mı; çoklu Key rotasyonu arızalı Key'i otomatik çıkarıyor mu; model yönlendirme ile düşürme aynı kademede yapılandırılabiliyor mu; SSE akış çıktısı birleşik formatta mı; hata kodları için net bir eşleme tablosu var mı; geçiş maliyetini düşürmek için OpenAI SDK ile uyumlu mu. Bu maddelerin hepsi geçilirse akşam yoğun saatlerine temel olarak dayanılır.
O 47 dakikalık olaya dönersek, o zaman nitelikli bir model ağ geçidi katmanı olsaydı, zaman aşımı oranı büyük ihtimalle %5'in altında tutulabilirdi. Büyük model API'lerinin kararlılığı özünde bir mühendislik sorunudur, model sorunu değil. Hız sınırlama, yönlendirme ve protokol olmak üzere bu üç katmanı sağlam kurmak, hangi modeli seçeceğinizi düşünmekten çok daha somuttur.