Geçen ay finans departmanı faturayı önüme attığında yanlış gördüğünü sandım. Çağrı hacmi önceki aya göre %40 artmıştı, ama fatura altı haneli rakamların hemen üzerinden doğrudan neredeyse üç katına fırlamıştı. Doğrusal hesapla en fazla yüzde kırk fazla ödemem gerekirdi, fazladan çıkan kısım nereden geliyordu?
Son otuz günün çağrı günlüklerini indirdim, model bazında, arayüz bazında, yeniden deneme sayısı bazında kesip inceledim. Sorun "hacim"de değil, "yapı"daydı. Dört gizli kanama noktası, her biri diğerinden daha sinsi.
En göze çarpanla başlayalım: amiral gemisi model kaba iş yapıyordu. Bir niyet tanıma modülümüz vardı, aslında hafif bir model yeterliydi, erken dönemde kolayına kaçıp doğrudan en pahalı amiral gemisi modele bağlamıştık, kimse de dokunmamıştı. Bu tür trafik toplam istek sayısının yüzde altmışından fazlasını oluşturuyordu, ama iş değeri katkısı son derece düşüktü. Model katmanlamasıyla yeniden çalıştırıp sınıflandırma, çıkarım, format doğrulama gibi işleri küçük modellere indirdik, yalnızca gerçekten akıl yürütme gerektiren istekleri amiral gemisi modele bıraktık; bu kısmın maliyeti orijinalin üçte birine ila yarısına kadar düşürülebiliyor. Bu hamleyi küçümsemeyin, iş mantığını değiştirmeniz gerekmiyor, yalnızca yönlendirmeyi değiştiriyorsunuz.
Katmanlama tam olarak nasıl yapılır? Görev türüne göre üç kademeye ayırdım: birinci kademe sınıflandırma ve niyet tanıma, girdi kısa, çıktı kısa, mantık basit, küçük model bunu rahatlıkla kaldırır; ikinci kademe bilgi çıkarımı ve format doğrulama, biraz anlamsal anlayış gerektiriyor ama çok adımlı akıl yürütme gerektirmiyor, orta seviye model kullanılır; üçüncü kademe ise karmaşık çok adımlı akıl yürütme, uzun metin üretimi, kod tamamlama gibi işler, bunlar amiral gemisi modele bırakılır. Geçişten sonra karşılaştırdım: birinci kademe görevlerde küçük modelde doğruluk yalnızca yüzde ikiden az düştü, ama tek çağrı maliyeti neredeyse yüzde doksan azaldı. İkinci kademe daha da ilginç: orta seviye model ile amiral gemisi model arasında çıkarım görevlerinde F1 farkı 0.03'ten az, ama maliyet farkı beş kat. Bu hesabı bir yapınca anlıyorsunuz, önceden fazladan harcanan para tamamen tembellikten kaynaklanıyordu.
İkinci tuzak daha sinsi. Yeniden deneme fırtınası. Üst akıştaki bir arayüzün zaman aşımı eşiği çok sıkı ayarlanmıştı, ağ bir an titrediğinde istemci yeniden deniyordu, yeniden deneme yine zaman aşımına uğruyordu, tekrar yeniden deniyordu. Günlüklerde aynı isteğin dört beş kez gönderildiğini görebiliyordunuz, her seferinde Token yakılıyordu, ama kullanıcı tarafında yalnızca bir başarısızlık görülüyordu. Bu tür geçersiz tüketim faturada göze çarpmaz ama oranı yüzde yirmi civarına çıkabiliyor. Hamle basit: yeniden denemeyi geri çekilmeli idempotent yeniden denemeye dönüştürün, zaman aşımı eşiğini gevşetin, sunucu tarafında istek tekilleştirmesi yapın. Bunu yaptıktan sonra geçersiz Token'ların büyük kısmı kesilebiliyor.
Burada birkaç kilit parametreyi açalım. Zaman aşımı eşiğini orijinal 3 saniyeden 15 saniyeye gevşettik, yeniden deneme sayısını sınırsızdan en fazla ikiye düşürdük, geri çekilme stratejisi olarak üstel geri çekilme artı titreşim kullandık — ilk yeniden deneme 1 saniye bekler, ikincisi 2 saniye, sürü etkisini önlemek için rastgele titreşim eklenir. Sunucu tarafına bir istek parmak izi ekledik, aynı parmak izi 60 saniye içinde yalnızca bir kez işlenir, sonraki istekler doğrudan önbellek sonucunu döndürür. Değişiklikten sonra özellikle bir hafta takip ettim, yeniden deneme oranı orijinal yüzde 18'den yüzde 4'ün altına düştü, geçersiz Token tüketimi doğrudan yüzde yetmişten fazla kesildi. Bir de beklenmedik kazanç: kullanıcı tarafındaki zaman aşımı şikayetleri azaldı, çünkü eşiği gevşettikten sonra aslında başarılı olabilecek ama erken kesilen istekler artık normal şekilde dönebiliyordu.
Üçüncüsü, uzun bağlam kırpılmamıştı. Diyalog arayüzümüz varsayılan olarak tüm geçmişi içine tıkıyordu, kullanıcı yirminci tura geldiğinde girdi Token'ı ilk turun on katından fazlaydı. Ama gerçekte geçmişin büyük kısmı mevcut yanıt için işe yaramıyordu。Kayan pencere artı özet sıkıştırma ile yalnızca son birkaç turun orijinal metnini ve bir kayan özeti tutarak girdi tarafı yüzde kırk ila altmış azaltılabiliyor. Burada bir ayrıntı var: özetin kendisi de Token harcar, bu yüzden pencereyi çok fazla sıkıştırmamak gerekir, o kırılma noktasını bulmak lazım.
Birkaç parametre grubu denedik, sonunda "son beş turun orijinal metni + kayan özet" kombinasyonunda karar kıldık. Kayan özet her turda yeniden üretilmiyor, her üç turda bir güncelleniyor, daha eski diyaloglar iki yüz kelimenin altında bir özete sıkıştırılıyor. Böylece girdi tarafındaki Token miktarı yirminci turda sekiz binden fazladan üç binin biraz üzerine düştü, düşüş oranı yüzde altmışı aştı. Ama yalnızca son iki turu tutacak şekilde sıkıştırmayı da denedim, sonuçta yanıt kalitesinin belirgin şekilde düştüğünü gördüm, kullanıcı bağlamı takip ettiğinde model sık sık alakasız yanıt veriyordu. Yani bu kırılma noktası gerçekten var, kendi iş senaryonuza göre test etmeniz gerekiyor. Bizim deneyimimiz şu: pencere boyutu son üç turun altına düşmemeli, özet güncelleme sıklığı her iki turda birden sık olmamalı, aksi halde tasarruf edilen Token parası kullanıcı deneyimini telafi etmeye yetmez.
Dördüncüsü, önbellek isabet oranı düşüktü. Aynı veya son derece benzer istekler tekrar tekrar geliyordu, ama biz her seferinde yeniden akıl yürütüyorduk. Sistem istemleri, sabit şablonlar, sık sorulan sorular gibi tamamen önbelleklenebilir içeriklerin isabet oranı o zaman yüzde onun altındaydı. Anlamsal önbellek katmanı ekledikten sonra tekrarlanan istekler doğrudan dönüyor, bu kısmın tasarruf oranı işin tekrar oranına bağlı, bizde yaklaşık yüzde yirmi ila otuz arasında.
Anlamsal önbellek konusunda birkaç şey söylemek gerek. Kesin önbellek yalnızca tamamen aynı istekleri yakalayabilir, ama gerçek senaryolarda çok sayıda istek "anlamı benzer ama ifadesi farklı"dır. Örneğin kullanıcı "nasıl iade alırım" diye sorduğunda ve "iade süreci nedir" dediğinde, kesin eşleşme yakalayamaz, anlamsal önbellek yakalayabilir. Kullandığımız çözüm şu: girdiyi vektörleştirip önbellek kütüphanesinde yaklaşık en yakın komşu araması yapıyoruz, benzerlik eşiği aşarsa doğrudan önbellek sonucunu döndürüyoruz. Eşiğin ne olacağı kritik, çok yüksek ayarlarsanız isabet oranı çıkmaz, çok düşük ayarlarsanız alakasız yanıt dönme riski var. Sonunda 0.92'de karar kıldık, isabet oranı yüzde 10'un altından yüzde 34'e çıktı ve hiçbir kullanıcıdan alakasız yanıt şikayeti gelmedi. Sistem istemleri ve sabit şablonlar kısmı daha basit, doğrudan önek önbelleklemesi yapılıyor, isabet oranı neredeyse yüzde 100.
Dört hamle üst üste konduğunda, sonradan kullanım bazlı faturalandırma artı model katmanlamasıyla bir kez daha çalıştırdık, fatura büyüme öncesinin yaklaşık 1,2 katına geriledi, çağrı hacmi ise hâlâ o yüzde 40'lık artıştı. Bu arada şunu da söyleyeyim, süreç içinde çoklu model birleşik erişim için token8341'i denedik, tek bir Key ile birkaç model arasında geçiş yapılıyor, yönlendirme ve faturalandırma ölçütleri birleştikten sonra bu tür yapısal sorunları araştırmak çok daha kolaylaştı.
Kolayca gözden kaçan bir noktayı daha söyleyeyim: izleme ve köken belirleme. Bu dört sorunun bu kadar uzun süre fark edilmemesinin temel nedeni, faturamızın yalnızca model ve arayüz boyutunda çıkması, "görev türü" ve "istek parmak izi" boyutunda kesilmemesiydi. Sonradan bir çağrı etiketi katmanı ekledim, her isteğe görev türü, yeniden deneme olup olmadığı, önbellek isabet edip etmediği, bağlam tur sayısı gibi etiketler vuruldu, fatura tekrar geldiğinde hangi halkanın para yaktığı bir bakışta belli oluyordu. Bu etiket sistemi kendi başına para tasarrufu sağlamaz, ama o olmadan paranın nereye harcandığını asla bilemezsiniz.
Tuzaklardan kaçınma uyarısı: hemen daha ucuz bir modele geçmeyin. Önce çağrı yapısını ayırıp bakın, çoğu zaman para birim fiyatına değil, hiç farkında olmadığınız tekrar ve fazlalığa harcanır. Birim fiyat optimizasyonu son adımdır, ilk adım değil.
Yazar: Zhao Qiming
Yayın tarihi: 9 Kasım 2026