Backend ve algoritma ile uğraşan arkadaşlar, muhtemelen siz de bu sezgiye aykırı durumla karşılaştınız: çevrimiçi iş hacmi pek artmamış görünüyor, ama ay sonunda faturaya bir bakıyorsunuz, doğrudan ikiye katlanmış. Yönettiğim ekip iki yıl önce çevrimiçi eğitim yapan bir şirkete akıllı müşteri hizmetleri sistemi kuruyordu, devreye alındıktan iki ay sonra çağrı hacmi günlük ortalamada sadece 120 binden 168 bine çıktı, artış %40, ama aylık API faturası 8000 yuan'dan 23000 yuan'a fırladı, %187 artış. Aradaki fark, birim fiyatın artması değil, dört gizli maliyet kara deliğinin bütçeyi sessizce yemesiydi.
Önce sorunu net tanımlayalım: büyük model API'sinin maliyet kontrolünü kaybetmesi, özünde çağrı hacmi ile etkin çıktı arasındaki oran dengesizliğidir. Siz token'ın parasını ödüyorsunuz, ama gerçekten iş değeri üreten token'lar muhtemelen sadece yüzde otuzunu oluşturuyor. Aşağıda katman katman inceleyelim.
Kara Delik Bir: Yeniden Deneme Fırtınası, Geçersiz Çağrılar Doğrudan İkiye Katlanıyor
Başlangıçtaki çağrı kodumuz çok sadeydi, ağ dalgalanması veya zaman aşımı olduğunda doğrudan catch edip bir kez daha çağırıyorduk, geri çekilme yok, idempotent yok. Devreye alındıktan sonraki ikinci haftada bir üst akış hız sınırlamasıyla karşılaştık, QPS aniden 20'den 5'e düşürüldü, istemci 3 saniye içinde aynı kullanıcı isteğini 7 kez yeniden denedi. O gece geçersiz çağrı oranı %41'e fırladı. Faturadaki bu kısım için tek kuruş iş değeri geri kazanılmadı.
Çözüm iki katmanlı. Üstel geri çekilme: ilk başarısızlıkta 500ms bekle, ikincide 1s, üçüncüde 2s, en fazla 3 kez yeniden dene, aşarsa yedek ifadeye düşür. İdempotent anahtar: her istek bir request_id taşır, hem sunucu hem istemci tekilleştirme yapar, aynı id için 60 saniye içinde yalnızca bir gerçek çağrıya izin verilir. Değişiklikten sonra yeniden denemeden kaynaklanan geçersiz çağrılar %41'den %6'nın altına indi. Bu kalem ayda yaklaşık 4200 yuan tasarruf sağladı.
Kara Delik İki: Uzun Bağlam Kırpılmıyor, Geçmiş Diyalog Tekrar Tekrar Dolduruluyor
Müşteri hizmetleri senaryosundaki diyaloglar sıklıkla ondan fazla tura uzuyor. Başlangıçta kolayına kaçtık, her çağrıda tam geçmişi birleştirdik. Ortalama bir diyalog turunun giriş token'ı 3. turda 800'den 12. turda 3400'e çıktı. Daha kötüsü, kullanıcı "az önce bahsedilen o iade politikası neydi" diye sorduğunda, model aslında sadece son 3 tur artı bir özete ihtiyaç duyuyordu, ama biz 12 turun tamamını doldurduk.
Kayan pencere artı özet sıkıştırma ile çözdük: son 4 turun orijinal metni korunur, daha erken diyaloglar hafif bir model çağrısıyla 150 karakterin altındaki bir özete sıkıştırılır, özet system bağlamının bir parçası olur. Böylece 12. turun giriş token'ı 3400'den yaklaşık 1100'e düştü, %67 azalma. Burada bir tuzak var: özetin kendisi de token harcar, bu yüzden özet tetikleme eşiği doğru ayarlanmalı, biz test ederek 6 turu aştığında sıkıştırmanın tetiklenmesinin toplam maliyeti en düşük yaptığını gördük.
Kara Delik Üç: Amiral Gemisi Model, Hafif Modelin İşini Yapıyor
Bu en gizli olanı. Sistemdeki tüm istekler aynı amiral gemisi modelden geçiyor, "merhaba", "buradayım", "biraz bekleyin" gibi selamlaşmalar dahil. Bir kez çağrı günlüğünü çekip sınıflandırdım, isteklerin %62'sinin niyet tanıma ve basit soru-cevap olduğunu, amiral gemisi modele hiç gerek olmadığını keşfettim. Bunları amiral gemisi modelle çalıştırmak, tek seferlik maliyeti hafif modelin 8 ila 12 katı.
Çözüm göreve göre katmanlı yönlendirme. Model ağ geçidine bir kural katmanı ekledik: niyet sınıflandırma, selamlaşma, FAQ isabeti hafif modelden geçer; yalnızca iade hesaplama, kurs önerisi, şikayet yükseltme gibi karmaşık görevler amiral gemisi modele yönlendirilir. Burada projemizde token8341'i çoklu model birleşik erişimi için kullandık, tek bir Key ile GPT-4o, Claude, DeepSeek, Qwen gibi ana akım modelleri çağırabiliyor, göreve göre otomatik en uygun modeli seçiyor, birden fazla SDK ve kimlik doğrulamayı kendiniz yönetmenize gerek kalmıyor. Katmanlamadan sonra amiral gemisi modelin çağrı oranı %100'den %34'e düştü, toplam maliyet %52 azaldı.
Bu arada büyük model API'si seçiminden bahsetmişken, resmi doğrudan bağlantı ile toplayıcı platformların maliyet yapısı gerçekten farklı. Resmi doğrudan bağlantıda birim fiyat şeffaf ama toplu indirim pazarlığı zor, toplayıcı platformlar toplu satın alma artı yeşil enerji maliyet düşürmesiyle, kullanım bazlı faturalamada maliyet daha iyi. Aynı görev grubunun aylık harcamasını karşılaştırdık, toplayıcı çözüm resmi doğrudan satın alımdan bir miktar düşük, tam rakamları ticari nedenlerle açamıyorum.
Kara Delik Dört: Akış Çıktısı Kesildikten Sonra Tekrarlanan Faturalama
Akış çıktısı (SSE) müşteri hizmetleri senaryosunda yaygın, kullanıcının harflerin tek tek belirmesini görmesi deneyimi iyileştiriyor. Ama ağ kopunca istemci yeniden bağlanır, sunucu kaldığı yerden devam etmezse, zaten üretilmiş içeriği baştan üretir. İstatistik tuttuk, akış kesilme oranı yaklaşık %3.7, her kesintide ortalama 1200 token yeniden üretiliyor. Bir ayda bu tekrarlanan faturalama faturanın %9'unu oluşturdu.
Çözüm kesinti telafisi: sunucu her akış isteğinin ürettiği token ofsetini kaydeder, istemci yeniden bağlanırken offset'i taşır, sunucu baştan değil kesildiği noktadan devam eder. İdempotent anahtarla birlikte, tekrarlanan faturalama doğrudan sıfıra iner. Bu kalem ayda yaklaşık 2000 yuan tasarruf sağladı.
Maliyet İzleme Kontrol Listesi
Bu dört kara deliği gözden geçirdikten sonra, günlük takip edilmesi gereken bir gösterge listesi derledim, kendi sisteminizle karşılaştırarak kontrol edebilirsiniz:
1.Geçersiz çağrı oranı, %10'u aşarsa yeniden deneme ve idempotentliği kontrol edin;
2.Ortalama giriş token'ının ortalama çıkış token'ına oranı, müşteri hizmetleri senaryosunda 3:1'i aşarsa bağlam kırpılmamış demektir;
3.Amiral gemisi model çağrı oranı, %40'ı aşarsa katmanlı yönlendirme düşünülmeli;
4.Akış kesilme oranı, %2'yi aşarsa kesinti telafisi yapılmalı;
5.Tek etkin diyalog maliyeti, API ölçüsüne göre değil iş ölçüsüne göre hesaplayın;
6.Model ağ geçidinin göreve göre yönlendirme isabet oranı, %60'ın altındaysa kurallar iyi ayarlanmamış demektir.
Maliyet kontrolünü kaybetmek hiçbir zaman birim fiyat sorunu değil, bir mühendislik sorunudur. Bu dört kara deliği kapatın, aynı iş hacmiyle fatura makul aralığa dönebilir.
Yazar: Zhou Mingzhe
Yayın tarihi: 23 Ekim 2026