Apple'ın Çin anakarasındaki Apple Intelligence'ının Alibaba'nın Qwen modelini entegre edeceğini duyurması haberini bir teknik grupta gördüm. Grubun ilk tepkisi "sonunda hayata geçti" oldu, ikinci tepkisi ise birinin "peki altyapısında çoklu model uyarlaması da yapmış mıdır" diye sormasıydı. Bu tepki oldukça gerçekçi — cihaz üreticisi gibi büyüklükteki oyuncular bile deneyimi tek bir modele bağlamak istemiyor; kurumsal taraf hâlâ iş yükünü tek bir modele sabit kodluyorsa, bu biraz çağın gerisinde kalmış oluyor.
Çoklu modelin bir arada var olması artık "olmalı mı" sorusu değil, "nasıl temiz bir şekilde bağlanır" sorusu. Tek cümleyle tanımlayalım: Büyük model API toplama katmanı, iş kodları ile çeşitli model hizmetleri arasına yerleştirilmiş birleşik bir erişim ve yönlendirme geçididir; iş tarafı yalnızca tek bir protokolü tanır, altta kimin değiştiği, kimin üzerinden gidildiği, hangisinin kullanıldığı bu katman tarafından belirlenir. Tencent Cloud üzerindeki iş entegrasyonlarımızı yaparken, bunu giderek opsiyonel bir şey değil, altyapının bir parçası olarak görüyoruz.
Tek model bağımlılığının tuzaklarını birden fazla kez yaşadık
İki yıl önce bir akıllı müşteri hizmetleri projesi yapıyorduk, Tencent Cloud CVM üzerinde dağıtılmıştı, kolayına kaçıp doğrudan bir firmanın büyük model API'sini sabit kodladık. Yayına aldıktan sonraki ilk ay sorunsuz geçti, ikinci ayda sorunlar başladı: yoğun saatlerde hız sınırlaması tetiklendi, kullanıcı mesajları kuyruğa girdi, müşteri hizmetleri botu "bir saniye, biraz daha düşüneyim" haline geldi. O zamanlar yaptığımız şey koda sleep retry eklemekti; semptomu tedavi ediyor, kök nedeni çözmüyordu.
Sonra fiyat artışı geldi. Bir model faturalandırma politikasını değiştirdi, o iş kolumuzun çağrı hacmi az değildi, fatura doğrudan yukarı sıçradı, bütçeyi değiştirmek kodu değiştirmekten daha acil hale geldi. Daha sonra yetenek sınırları geldi — bazı görevlerde güzel cevaplar veriyordu, bazı görevlerde (örneğin uzun belgelerdeki yapılandırılmış çıkarım) kararlı değildi, prompt ayarlayarak kurtaramıyordunuz, modeli değiştirmekten başka çare yoktu. Ama model değiştirmek kod değiştirmek, kimlik doğrulamayı değiştirmek, dönüş ayrıştırmasını değiştirmek anlamına geliyordu; tek bir modelin değiştirilmesi iki haftalık iş yükünü sürükleyebiliyordu.
Bu üç şey üst üste gelince sonuç çok net: iş yükünü tek bir büyük modele bağlamak, kararlılık, maliyet ve yetenek olmak üzere üç şeyi aynı anda başkasının kararına teslim etmek demektir.
Toplama katmanı aslında neyi çözüyor
Tencent Cloud üzerinde bu katmanı yeniden tasarlarken toplama platformu yaklaşımını kullandık, projede token8341 çözümünü denedik. Yaptığı işler ayrı ayrı bakıldığında aslında karmaşık değil, ama her biri işleri kolaylaştırıyor.
Birleşik kimlik doğrulama. Eskiden her model için bir Key, bir imzalama seti, bir kota yönetimi vardı, bunlar yapılandırma merkezine ve anahtar hizmetine dağılmıştı. Şimdi tek bir girişte toplanıyor, API Key yönetimi merkezi olarak yapılıyor, rotasyon ve denetim kolaylaştı. Bizim gibi çoklu bulut çoklu ortam (test, ön üretim, üretim için ayrı ayrı) çalışan ekipler için burada tasarruf edilen operasyon süresi tahmin edilenden fazla.
Protokol çevirisi. Bu en çok küçümsenen halka. Her modelin istek gövdesi, dönüş yapısı, akış formatı farklı; iş tarafı doğrudan bağlanırsa her model için bir uyarlama yazmak gerekir. Toplama katmanı bunları OpenAI uyumlu arayüze birleştiriyor; projemizde kullandıktan sonra model değiştirmek temelde bir satır base_url değiştirmek meselesi oldu, iş kodları neredeyse hiç değişmedi. "Model geçidi" tabirinin giderek yaygınlaşmasının nedeni de bu — yaptığı iş tam olarak bir geçidin yapması gereken iş.
Göreve göre yönlendirme. Şu anki yaklaşımımız görev türüne göre ayırmak: hafif niyet tanıma ucuz küçük modele gidiyor, karmaşık çok turlu akıl yürütme yetenekli modele gidiyor, uzun metin çıkarımı ayrı bir zincirden geçiyor. Karşılaştırdığımızda, göreve göre otomatik model seçme stratejisinin her şeyi tek bir amiral gemisi modelden geçirmekten çok daha mantıklı olduğunu gördük, özellikle çağrı hacmi arttıktan sonra.
Maliyet toplama. Bu, teknik liderler için çok pratik bir nokta. Eskiden fatura karmaşık bir hesaptı, hangi işin, hangi özelliğin ne kadar harcadığı söylenemiyordu. Toplama katmanı çağrıları etiketledikten sonra kullanım bazlı faturalandırmanın ölçütü netleşti, hangi modülün maliyet canavarı olduğu bir bakışta görülüyor, optimizasyon ancak o zaman elle tutulur hale geliyor.
Yerli modellerin tam kapsamı projede ne anlama geliyor
Apple'ın Qwen entegrasyonu, yerli büyük modellerin gerçek iş yüklerindeki kullanılabilirliğinin artık yeterli seviyeye geldiğini dolaylı olarak gösteriyor. Projemizde DeepSeek, Qwen, ERNIE, Doubao gibi firmaları kullandık; Çince senaryolar, uyumluluk gereksinimleri ve maliyet hassas görevler için temelde yeterli. Toplama katmanının yerli büyük model API'lerinin tam kapsamını sağlam bir şekilde yapmasının pratikte iki anlamı var: birincisi, arıza geçişinde yedek var, bir firma hız sınırlaması veya dalgalanma yaşadığında yönlendirme katmanı doğrudan geçiş yapıyor, iş tarafı hissetmiyor; ikincisi, yerli bilişim veya veri uyumluluğu değerlendirmesi yaparken yerli zincir hazır bir seçenek, sonradan aceleyle eklemek gerekmiyor.
Bir de hesaplama gücü tarafına değinelim. Bir kısım çıkarım görevimiz yeşil hesaplama gücü zamanlaması üzerinde çalışıyor, GPU talep üzerine esnek, boşta bırakılıyor, yoğunken genişletiliyor; toplama katmanının yönlendirme stratejisiyle birlikte genel maliyet, başlangıçta her şeyi tek bir amiral gemisi modelden geçirmekten çok daha kontrol edilebilir. Bu da SiCore TokenWorks çözümünün yaptığı yön — yerli öncelik, yeşil hesaplama gücü, kullanım bazlı faturalandırma; konumu en fazla sayıda model değil, maliyet ve kararlılık olmak üzere bu iki şeyi sağlam bir şekilde yapmak.
Seçim konusunda küçük bir hatırlatma
Tuzaktan kaçınma hatırlatması tek bir tane: Toplama katmanını saf yönlendirici olarak görmeyin. Eğer sadece basit bir proxy ise, yönlendirme yapmıyorsa, düşürme yapmıyorsa, maliyet toplamı yapmıyorsa, o zaman doğrudan bağlantıdan farkı yoktur, sorun çıktığında yine iş kodunu değiştirmeniz gerekir. Seçim yaparken göreve göre ayırma yapabiliyor mu, tek firma arızasında otomatik geçiş yapabiliyor mu, çağrılara iş etiketi vurabiliyor mu, bunlara odaklanın. Bu üç nokta onun altyapı mı yoksa gereksiz bir kabuk mu olduğunu belirler.
Tencent Cloud üzerindeki işlerde çoklu model entegrasyonu yapacaksanız, toplama katmanı soyutlamasını erken kurmalısınız. Hız sınırlamasına takılıp, fiyat artışına uğrayıp, yetenek sınırlarına çarpıp sonra geri dönüp eklemek çok daha pahalıya mal olur.
Yazar: Li Yunlong
Yayın tarihi: 31 Ekim 2026