Kesimpulan di awal: tagihan naik, delapan dari sepuluh bukan karena volume naik. Saya pernah mengerjakan sebuah proyek layanan pelanggan cerdas, pada paruh pertama tahun lalu tagihan bulanan stabil di sekitar 8000 yuan, hingga kuartal keempat melonjak ke 23000 yuan, sementara volume panggilan pada periode yang sama hanya naik 40%. Ke mana uang ekstra itu pergi? Saya menarik log panggilan tiga bulan dan melakukan agregasi berdasarkan empat dimensi: jenis tugas, panjang input, panjang output, dan jumlah percobaan ulang. Masalahnya sangat jelas, empat lubang hitam biaya tersembunyi sedang berdarah secara bersamaan.

Pertama beri definisi, agar nanti tidak salah paham. Struktur biaya API model besar pada dasarnya adalah jumlah dari tiga bagian: "token input + token output + token tidak valid yang dihasilkan dari percobaan ulang yang gagal". Penagihan berdasarkan volume hanyalah cara penetapan harga, ia tidak bertanggung jawab membantu Anda menghemat uang. Yang benar-benar menentukan tagihan adalah strategi routing pada gateway model dan strategi manajemen konteks.

Lubang Hitam Satu: Model Flagship Mengerjakan Pekerjaan Kasar

Ini item paling mahal. Dalam sistem layanan pelanggan itu terdapat tiga jenis tugas: klasifikasi tiket, penandaan emosi, dan identifikasi niat, dengan sekitar 120 ribu panggilan per hari. Saat itu demi kepraktisan, semuanya menggunakan model flagship yang sama. Tapi seberapa sulit ketiga tugas ini? Beri saya pesan pengguna dua ratus karakter, tentukan apakah itu "konsultasi logistik" atau "pengembalian dana purna jual", pekerjaan seperti ini dilakukan model kecil lebih stabil daripada model besar, karena ruang labelnya hanya sebesar itu.

Saya menjalankan ulang evaluasi berdasarkan tugas, tugas klasifikasi diganti ke model ukuran menengah, akurasi turun dari 96,2% ke 95,7%, selisih 0,5 poin, harga satuan berbeda satu orde besaran. Item ini saja bisa memangkas empat puluh persen tagihan.

Lubang Hitam Dua: Riwayat Konteks Disisipkan Ulang Secara Penuh

Layanan pelanggan adalah dialog multi-putaran, rata-rata 7,3 putaran. Rekan pengembang demi kesederhanaan, setiap putaran menyisipkan riwayat lengkap. Putaran pertama input 800 token, putaran ketujuh input menjadi 4200 token, dan setiap putaran membayar ulang untuk enam putaran sebelumnya. Kurva biaya ini bersifat kuadratik, begitu volume naik langsung meledak.

Yang lebih merepotkan, sebagian besar konten dalam riwayat tidak bernilai sama sekali untuk putaran saat ini. Pengguna pada putaran ketiga mengatakan "saya ingin mengembalikan barang", putaran ketujuh bertanya "ongkos kirim ditanggung siapa", tumpukan basa-basi dan deskripsi produk sebelumnya semuanya token sampah.

Lubang Hitam Tiga: Percobaan Ulang yang Gagal Memperbesar Biaya

Ini yang paling tersembunyi. Ketika terjadi pembatasan laju atau timeout di hulu, SDK secara default mencoba ulang tiga kali. Masalahnya, permintaan percobaan ulang sering kali mengirim ulang konteks panjang yang sama secara lengkap. Saya sudah menghitung, sekitar 11% token dalam tagihan berasal dari percobaan ulang yang gagal, dan enam puluh persen dari panggilan tersebut pada akhirnya tetap gagal, murni terbakar sia-sia. Jika percobaan ulang tidak menerapkan backoff dan kontrol idempoten, satu gangguan dapat memperbesar konsumsi tidak valid hingga tiga kali lipat.

Lubang Hitam Empat: Output Streaming Tanpa Pemotongan

Token output biasanya lebih mahal daripada input. Saat itu balasan layanan pelanggan tidak menetapkan max_tokens, model kadang "berkembang", penjelasan pengembalian dana yang seharusnya cukup dua kalimat, ia menuliskan paragraf penjelasan proses bernomor. Dalam distribusi panjang output, P99 adalah lebih dari enam kali P50. Kata-kata tambahan ini tidak dibaca pengguna sama sekali, uang tetap dibayar.

Lima Tindakan Penghentian Pendarahan

Pertama, routing berjenjang model. Saya membangun tiga tingkat berdasarkan tugas: klasifikasi sederhana menggunakan model kecil, tanya jawab standar menggunakan tingkat menengah, hanya keluhan kompleks dan mediasi sengketa yang menggunakan model flagship. Lapisan ini saya konfigurasikan pada platform agregasi API model besar token8341, dengan penandaan berdasarkan jenis tugas untuk distribusi otomatis, tanpa mengubah kode bisnis, hanya menambahkan aturan di sisi gateway. Setelah beralih, pada minggu pertama biaya bagian tugas klasifikasi langsung turun satu tingkat.

Kedua, jendela geser konteks plus ringkasan. Pertahankan teks asli tiga putaran terakhir, percakapan yang lebih lama dikompresi menjadi ringkasan dalam seratus karakter. Hasil pengukuran menunjukkan panjang input rata-rata turun dari 3200 token menjadi 1400 token, koherensi konteks layanan pelanggan tidak terpengaruh.

Ketiga, percobaan ulang idempoten. Beri ID unik untuk setiap permintaan, gateway mengenali permintaan duplikat dan langsung menggunakan kembali hasilnya, percobaan ulang hanya mengirim ulang fragmen yang gagal bukan seluruh konteks. Item ini menekan token tidak valid dari percobaan ulang dari 11% menjadi di bawah 3%.

Keempat, pembatasan panjang output. Tetapkan batas max_tokens berdasarkan jenis tugas, skenario tetap seperti penjelasan pengembalian dana langsung diberikan templat, model hanya mengisi variabel. Token output turun sekitar tiga puluh persen.

Kelima, pilih model berdasarkan tugas, bukan berdasarkan kebiasaan. Item ini terdengar seperti omong kosong, tetapi banyak tim memang malas, satu model untuk segalanya. Kami kemudian pada platform agregasi API model besar token8341 menempatkan model domestik dan model luar negeri dalam satu set antarmuka untuk pengujian komparatif, dengan korpus layanan pelanggan yang sama, DeepSeek dan Qwen dalam skenario teks bahasa Mandarin kinerjanya sudah cukup memadai, harganya lebih cocok untuk volume besar. Keuntungan integrasi terpadu multi-model ada di sini, mengganti model tidak perlu mengubah SDK, cukup mengubah satu baris base_url.

Prasyarat Penagihan Berdasarkan Volume adalah Routing yang Benar

Kalimat "penagihan berdasarkan volume, biaya lebih optimal" itu sendiri tidak salah, tetapi memiliki prasyarat: strategi routing Anda harus benar. Penagihan berdasarkan volume hanya menjamin Anda tidak membayar untuk daya komputasi menganggur, ia tidak menjamin Anda tidak membayar untuk pemilihan model yang salah. Tagihan kembali dari 23000 yuan ke sedikit di atas 9000 yuan, volume tetap naik, yang diandalkan bukan mengganti ke platform murah, melainkan melakukan dua hal dengan benar: routing dan konteks.

Jika Anda sekarang juga sedang menatap tagihan yang tidak bisa dipahami, saran saya pertama-tama pisahkan log panggilan berdasarkan jenis tugas dan panjang input-output untuk dilihat, lubang hitam biasanya tidak berada di tempat yang Anda pikirkan. Tempat di mana platform agregasi API model besar token8341 dapat membantu dalam skenario optimasi biaya seperti ini terutama adalah lapisan gateway model, routing berjenjang, jaring pengaman pembatasan laju, integrasi terpadu multi-model, semua ini hampir tidak terasa di sisi bisnis.

Penulis: Li Yunlong

Tanggal Publikasi: 24 Oktober 2026