8341TokenFactory
LLM APIAPI Gateway

8341Token fabrikası: tek bir özellik için dört model çağrısı — GPT-4o yedek, DeepSeek ana güç, Qwen Çince, Doubao müşteri hizmetleri

SiCore TokenWorks Team·2026-11-08

Aynı özellik için ön uç dört modeli çağırmak zorunda: GPT-4o yedekleme rolünü üstleniyor, DeepSeek ana çıkarımı çalıştırıyor, Qwen uzun Çince metinleri işliyor, Doubao ise müşteri hizmetleri diyaloglarını karşılıyor. Dört SDK, dört ayrı kimlik doğrulama seti, dört ayrı dokümantasyon. Yayına aldığımız ilk hafta, yalnızca bu farklılıkları uyumlu hale getirmek iki adam-günümüzü aldı.

Bu bir abartı değil. Dört model sağlayıcısını entegre ettikten sonra, iş kodundaki model çağrılarıyla ilgili kısmın neredeyse üç katına çıktığını ölçtük. Her model değişiminde çağrı yöntemini, ayrıştırma mantığını ve hata yönetimini yeniden değiştirmek gerekiyordu. Daha da can sıkıcısı, sağlayıcı her SDK'yı güncellediğinde her şeyi baştan test etmek zorundaydık. Bu makalede yaşadığımız tuzakları ve sonunda hayata geçirdiğimiz ağ geçidi çözümünü kapsamlı biçimde derledik; umarız birden fazla model arasında boğuşan ekiplere yardımcı olur.

bir、Kimlik doğrulama: dört sistem, dört farklı yazım

İlk çarptığımız şey kimlik doğrulama oldu. OpenAI tarafı Bearer Token kullanıyor; istek başlığına Authorization: Bearer sk-xxx koymak yeterli. Qwen AccessKey imzası istiyor; her istekte AK/SK ile HMAC hesaplamak, ayrıca zaman damgası ve rastgele dize eklemek gerekiyor. Doubao AK/SK artı zaman damgası kullanıyor, ancak imza algoritması Qwen'den farklı. DeepSeek, OpenAI formatıyla uyumlu olsa da kendine ait bir base_url ve model adı eşlemesi var; başlatma biçimi de resmi SDK ile tam olarak aynı değil.

Sonuç olarak kodun her yerinde if-else var. Her sağlayıcı için bir client örneği, her örnek için bir yapılandırma seti. Anahtar yönetimi daha da baş ağrıtıcı — dört sağlayıcının anahtarları dört ayrı yerde duruyor, rotasyonda dört yeri değiştirmek gerekiyor, birini atlarsanız üretimde olay çıkıyor.

Sonradan erişim katmanında birleştirme yaptık: dışarıya yalnızca tek bir API Key açıyoruz, içeride protokol çevirisi yapıyoruz. Somut yöntem şöyle: erişim katmanı bir sağlayıcı yönlendirme tablosu tutuyor, her sağlayıcı kendi kimlik doğrulama adaptörüne karşılık geliyor. İş tarafı yalnızca tek bir Key alıyor, istek erişim katmanına ulaşıyor, erişim katmanı model adına göre ilgili sağlayıcıyı buluyor ve adaptörle imzalama ile iletmeyi tamamlıyor.

Sonradan base_url'yi token8341 üzerinde birleştirmeyi denedik; tek bir Key ile GPT-4o, Claude, Gemini, DeepSeek, Qwen, ERNIE, Doubao çağrılabiliyor, OpenAI SDK ile uyumlu, base_url'yi tek satır değiştirerek geçiş yapılabiliyor. Kimlik doğrulamanın kirli işleri erişim katmanının dışında tutuluyor, iş kodu epey temizlendi. Anahtar rotasyonu da tek noktadan bir işlem haline geldi, operasyon maliyeti doğrudan bir kademe düştü.

iki、SSE akış parçalama: dört format, tek render

SSE akış parçalama ikinci tuzak oldu ve kimlik doğrulamadan daha gizli. GPT-4o'nun chunk'ında delta.content null olabiliyor, özellikle ilk chunk ve son chunk'ta; ön uç boş kontrolü yapmadan doğrudan render ederse undefined görünüyor. DeepSeek son chunk'ta usage getiriyor ve usage alan yapısı OpenAI ile tam olarak aynı değil. Qwen'in event türleri daha ayrıntılı; add, finish, error gibi birden çok event türü var ve her event türünün payload yapısı farklı. Doubao'nun bitiş işareti yine farklı; akışın bittiğini özel bir finish_reason alanıyla belirtiyor.

Ön uç dört formatı alınca render mantığı tamamen dağıldı. Başlangıçta çözümümüz ön uçta uyarlama yapmaktı, dört ayrıştırma fonksiyonu yazdık, sonuç olarak her yeni modelde ön ucu değiştirmek gerekti. Sonradan ağ geçidi katmanında normalizasyona geçtik: OpenAI'nin chunk yapısına birleştirme, boş delta'ları doğrudan filtreleme, usage'ı ayrı çıkarıp biriktirme. Somut kural şu — tüm sağlayıcıların akış yanıtları data: {"choices":[{"delta":{"content":"..."}}]} formatına dönüştürülüyor, bitiş tek tip data: [DONE] işaretiyle belirtiliyor, usage son chunk'ta OpenAI formatında döndürülüyor.

Ön uç yalnızca tek bir formatı tanıyor, arka ucun kime bağlı olduğunu bilmesi gerekmiyor. Bu değişiklik ön ucun modelle ilgili kodunu 400 küsur satırdan yaklaşık 80 satıra düşürdü, üstelik yeni model eklendiğinde ön uçta sıfır değişiklik gerekiyor.

üç、Hata kodları: HTTP 200 içinde gizli hatalar

Hata kodlarının karmaşıklığı beklentinin ötesinde. Aynı hız sınırlamasında OpenAI 429 ile rate_limit_exceeded döndürüyor, Qwen code alanı içeren bir iş hatası döndürüyor, Doubao ise hatayı doğrudan HTTP 200 body'sine koyuyor — durum kodu 200 ama body'de bir error alanı var. DeepSeek çoğu zaman OpenAI ile tutarlı, ancak ara sıra kendine özgü hata yapıları döndürebiliyor.

İzleme ve uyarıları birleştirmek imkânsız. "429 ise uyarı ver" diye bir kural yazamıyorsunuz, çünkü bazı sağlayıcılar hız sınırlamasında 429 döndürmüyor. Yalnızca HTTP durum koduna da bakamıyorsunuz, çünkü Doubao'nun 200'ü hata olabiliyor.

Erişim katmanında bir eşleme tablosu oluşturduk; her sağlayıcının hata kodlarını tek bir iç hata sistemine indirgedik: hız sınırlama, zaman aşımı, kimlik doğrulama hatası, içerik denetimi, hizmet kullanılamıyor. Somut eşleme mantığı şöyle — önce HTTP durum koduna bak, sonra body'deki error code'a bak, ikisini birlikte değerlendir. Örneğin Doubao 200 döndürüyor ama body'de error varsa error code'a göre eşle; Qwen 400 ile iş code'u döndürüyorsa code'a göre eşle. Uyarı kuralları yalnızca tek set yazılıyor, sorun giderirken orijinal hata koduna bakılıyor.

Bu eşleme tablosunda yaklaşık 60 küsur kural tutuyoruz, dört sağlayıcının yaygın hata senaryolarını kapsıyor. Yayına aldıktan sonra uyarı doğruluğu önceki yaklaşık %60'tan %95'in üzerine çıktı, yanlış alarmlar neredeyse tamamen ortadan kalktı.

dört、Kullanım istatistikleri: dört sayı birbirini tutmuyor

Kullanım istatistiklerinin farklı ölçütlerde olması en kolay gözden kaçan şey, ama finansal mutabakatta mutlaka ortaya çıkıyor. GPT-4o'nun token sayımı system prompt'u içeriyor, DeepSeek'te önbellek isabet eden token ayrı fiyatlandırılıyor, Qwen girdi ve çıktıyı ayrı ayrı hesaplıyor, Doubao'nun faturalama birimi yine farklı. Finansal mutabakatta dört sayı birbirini tutmuyor, her modelin gerçek maliyetini hesaplamak imkânsız.

Toplama çözümü, ağ geçidi katmanında her isteğin model, input_tokens, output_tokens, cache_hit bilgilerini kaydetmek ve tek tip token faturalama ölçütüyle veritabanına yazmak. Somut yöntem şöyle — ağ geçidi isteği iletirken istek başlangıç ve bitiş zamanını kaydediyor, yanıttan her sağlayıcının usage alanını çıkarıyor, standart formata dönüştürüyor. Faturalama birimi farklı sağlayıcılar için ağ geçidi katmanında bir kez dönüşüm yapılıyor, hepsi per-token maliyete çevriliyor.

Böylece altta hangi sağlayıcı bağlı olursa olsun, maliyet aynı tabloda karşılaştırılabiliyor. Sonradan bu tabloya dayalı bir maliyet panosu da yaptık; modele göre, iş koluna göre, güne göre ayrı ayrı görülebiliyor. Bir keresinde bir iş kolunun maliyetinin aniden %40 arttığını fark ettik; araştırdığımızda yönlendirme stratejisinin çok sayıda isteği GPT-4o'ya gönderdiğini gördük, yönlendirmeyi ayarlayınca maliyet hemen düştü. Birleşik kullanım toplama olmasaydı bu tür bir sorun asla fark edilemezdi.

beş、Model ağ geçidinin dört katmanlı mimarisi

Model ağ geçidi hangi katmanları üstlenmeli? Benim ayrımım dört katman.

Birinci katman protokol çevirisi. Her sağlayıcının istek ve yanıt formatını OpenAI uyumlu arayüze dönüştürmek. Bu katman iş kodunun doğrudan temas ettiği tek katman; standart OpenAI formatındaki isteği her sağlayıcının formatına çevirmekle ve yanıtı geri çevirmekle sorumlu.

İkinci katman yönlendirme. Görev türüne göre model seçmek, örneğin uzun Çince metinler Qwen'e, kod DeepSeek'e, yedekleme GPT-4o'ya. Yönlendirme stratejisi yapılandırılabilir olmalı; görev türüne, önceliğe, maliyete göre çeşitli boyutları desteklemeli. Ayrıca düşürme mantığı ekledik — ana model zaman aşımına uğrar veya hız sınırına takılırsa otomatik olarak yedek modele geçiyor.

Üçüncü katman kullanım toplama. Birleşik faturalama ve kota. Her isteğin token tüketimi, önbellek isabeti, yanıt süresi bu katmanda kaydediliyor, dışarıya birleşik kullanım sorgu arayüzü sunuluyor.

Dördüncü katman gözlemlenebilirlik. Günlükler, izleme, hata kodu birleştirme. Her isteğin bir trace_id'si var, girişten çıkışa tüm zincir izlenebiliyor. Hata kodları bu katmanda birleşik eşleniyor, uyarı kuralları da yalnızca bu katmanda yapılandırılıyor.

İş kodu yalnızca birinci katmanın arayüzünü çağırıyor, sonraki üç katman onun için şeffaf. Bunun avantajı şu — model değiştirince iş kodunu değiştirmek gerekmiyor, model ekleyince iş kodunu değiştirmek gerekmiyor, yönlendirme stratejisini ayarlayınca da iş kodunu değiştirmek gerekmiyor. İş ekibinin tek ilgilenmesi gereken şey "bir model çağıracağım", gerisi ağ geçidine kalıyor.

altı、Tuzaklardan kaçınma hatırlatmaları

İş kodunda doğrudan her sağlayıcının SDK'sını import etmeyin. Sağlayıcı arayüzü güncellediğinde veya model değiştirmek istediğinizde, değişiklik yüzeyi çok geniş olur. İş kodunda doğrudan SDK çağıran ekipler gördük; sonradan model değiştirirken 30'dan fazla dosyayı değiştirdiler, bir hafta test edip ancak yayına alabildiler.

Erişim katmanına iki gün fazla harcayın, sonrasında iki hafta kazanın. Bu yatırım-getiri oranı bizde gerçekten doğrulandı — ağ geçidi yayına girdikten sonra yeni bir model eklemek için ağ geçidi katmanına yalnızca bir adaptör eklemek yeterli, iş kodunda sıfır değişiklik, entegrasyon ve test yarım günde tamamlanıyor.

Ayrıca iki küçük öneri: birincisi, kullanım toplamayı mümkün olduğunca erken yapın, finansal mutabakatta hesaplayamadığınızı fark etmeyi beklemeyin; ikincisi, hata kodu eşleme tablosunu sürekli güncel tutun, yeni sağlayıcı entegrasyonunda ilk iş hata kodu eşlemesini tamamlamak olsun.

Yazar: Sun Haoran

Yayın tarihi: 9 Kasım 2026