Finans departmanı geçen ayın faturasını önüme attığında ilk tepkim sistemin birileri tarafından suistimal edildiği oldu. Büyük model API harcaması sekiz binden yirmi üç bine çıkmış, neredeyse üç katına çıkmıştı, ancak arka uçtaki çağrı hacmi istatistikleri yalnızca %40 artış gösteriyordu. Bu iki sayı birbirini tutmuyordu, bu da paranın "daha fazla iş yapmaya" değil, görünmeyen yerlere harcandığını gösteriyordu. Son üç aylık çağrı günlüklerini çıkarıp tek tek kontrol ettim ve sonunda her biri uygulanabilir bir eyleme karşılık gelen dört gizli maliyeti tespit ettim.
Gizli maliyet bir: Bağlam penceresinin şişmesi, token'lar kare düzeyinde yukarı yuvarlanıyor
Önce bir dizi ölçüm verisine bakalım. Aynı müşteri hizmetleri soru-cevap mantığında, tek turda soru başına ortalama 480 token tüketiliyor, ancak on tur geçmiş mesajın tamamı geri gönderildiğinde tek isteğin giriş token'ı 3900'ün üzerine çıkıyor. Nedeni çok basit, çok turlu diyaloglarda her turda önceki mesajlar yeniden bağlama ekleniyor, kullanıcı ne kadar çok sorarsa tekrar faturalandırılan eski içerik o kadar artıyor. Çağrı sayısı yalnızca %40 arttı, ancak toplam token miktarı neredeyse üç katına çıktı, açık tam burada.
Optimizasyon eylemi: Bağlama kayan pencere ve özet ekleyin. En son üç turun orijinal metnini tutuyoruz, daha eski diyalogları 200 kelimenin altında bir özete sıkıştırıp yeniden birleştiriyoruz. Değişiklikten sonra aynı oturum grubunun ortalama giriş token'ı 3900'den yaklaşık 1100'e düştü. İş gereklilikleri izin veriyorsa, sabit değişmeyen sistem istemlerini önbellek faturalandırmasına yönlendirmek de bir miktar tasarruf sağlar. Bu en kolay gözden kaçan kesintidir, çünkü kod mantığına dokunmaz, yalnızca birleştirme yöntemine dokunur.
Gizli maliyet iki: Model uyumsuzluğu, sınıflandırma işini amiral gemisi modelle yapmak
Günlükleri incelerken, bir niyet tanıma modülünün sürekli amiral gemisi modelde çalıştığını fark ettim. Görev yalnızca kullanıcı sorularını on iki kategoriye ayırıp bir etiket çıkarmak, ancak amiral gemisi modelin fiyatından faturalandırılıyor. Amiral gemisi modelin giriş birim fiyatı genellikle hafif modellerin on katından fazladır, bu tür bir uyumsuzluğun büyük model API faturasındaki payı az değildir.
Optimizasyon eylemi: Görev karmaşıklığına göre katmanlaştırın. Daha sonra token8341 büyük model API toplama platformunu kullanarak göreve göre otomatik model seçimi yaptık, amiral gemisi modeli karmaşık akıl yürütmeye ayırdık, basit görevler hafif modele gitti, fatura doğrudan yüzde kırk kesildi. Buradaki kilit nokta modeli değiştirmek değil, yönlendirme kurallarını yapılandırılabilir kılmaktır, geliştiricinin el alışkanlığıyla bir model adı yazıp yayına almasına izin vermeyin. token8341 büyük model API toplama platformunun bu alandaki değeri, çoklu model birleşik erişimini ağ geçidi katmanında yapmasıdır, bir satır yapılandırma değişikliğiyle geçiş yapılabilir, her iş modülünün ayrı ayrı SDK değiştirmesine gerek yoktur.
Gizli maliyet üç: Yeniden deneme fırtınası, bir 429 zincirleme çağrıyı tetikliyor
En gizli olanı bu. Günlüklerde bir dönem çok sayıda 429 hız sınırı dönüşü görülüyor, tek başına bakıldığında her yeniden deneme makul, ancak yeniden deneme mantığında geri çekilme yok, bir istek başarısız olunca hemen yeniden gönderiliyor, yeniden gönderim yine başarısız olunca tekrar gönderiliyor, bir hız sınırı beş altı çağrıyı tetikleyebiliyor. İstatistik açısından bunların hepsi geçerli istek sayılıyor, çağrı hacmi doğal olarak şişiyor.
Optimizasyon eylemi: Yeniden denemeye üstel geri çekilme ve devre kesici üst sınırı ekleyin. İlk başarısızlıkta 200 milisaniye bekleyecek, sonra ikiye katlanacak, en fazla üç kez yeniden denenecek, aşarsa yedek metin döndürecek şekilde ayarladık. Aynı zamanda ağ geçidi katmanında eşzamanlı kuyruk yaparak anlık trafiğin doğrudan üst akışa vurmasını engelleyin. Değişiklikten sonra o ay 429 ile ilgili çağrılar belirgin şekilde düştü, buradan tasarruf edilen para saf kârdır.
Gizli maliyet dört: Akış çıktısı kesilmiyor, kullanıcı gitti ama istek hâlâ çalışıyor
Akış arayüzünün bir tuzağı var, ön uçtaki kullanıcı sayfayı kapattığında arka uçtaki üretim isteği mutlaka durmuyor. Bir grup isteğin istemci bağlantısı kesildikten sonra üretime devam ettiğini tespit ettik, en uzunu birkaç saniye fazladan çalıştı. Token bazında faturalandırılan modellerde bu birkaç saniye tamamen boşa harcanan paradır. Kullanıcı artık sonucu görmüyor, model hâlâ ciddiyetle çıktı üretiyor.
Optimizasyon eylemi: Sunucu tarafında bağlantı kesilme olayını dinleyin, istemci bağlantısı kesildiği anda üst akış isteğini iptal edin. Bu değişikliğin miktarı çok küçük, ancak uzun metin üretimi türü işlerde etkisi doğrudan. Yazma türü arayüzler için bu işlemi yaptık, tek seferlik ortalama çıktı token'ı yaklaşık yüzde yirmi düştü.
Bu dört maddeyi topladığımızda, faturanın sekiz binden yirmi üç bine çıkmasında gerçekten iş büyümesinden kaynaklanan kısım yarıdan az. Geri kalanı bağlam fazlalığı, model uyumsuzluğu, geçersiz yeniden denemeler ve kesilmemiş çıktı. Maliyet denetimi yapmak, finansal denetim yapmakla aynı mantıktadır, yalnızca toplam tutara bakamazsınız, her bir kalemin bileşimine kadar indirgemeniz gerekir. Çoklu model birleşik erişim ve AI API ağ geçidi gibi altyapıların değeri tam da yönlendirme, hız sınırlama, önbellekleme gibi tasarruf yöntemlerini varsayılan yetenek haline getirmesidir, her iş ekibinin kendi başına yeniden icat etmesi değil. Karşılaştırmamızda token8341 büyük model API toplama platformunun kullanım bazlı faturalandırma modelinin yeşil hesaplama gücü zamanlamasıyla birleştiğinde toplu satın alma ve enerji maliyetlerinde alan olduğunu, birim fiyatının resmi doğrudan satın alımdan biraz daha düşük olduğunu gördük, bu da sonradan faturanın dengelenebilmesinin nedenlerinden biri. Her modelin spesifik hız sınırı eşikleri ve önbellek fiyatlandırmasına gelince, resmi olarak açıklanmayan kısım az değil, seçim yaparken yalnızca tanıtım sayfasına bakmayın, gerçek iş günlükleriyle bir hafta çalıştırmak her şeyden daha doğrudur.
Yazar: Zhou Mingzhe
Yayın tarihi: 23 Ekim 2026