Bulan lalu saat bagian keuangan melempar tagihan ke saya, saya pikir dia salah lihat. Volume panggilan naik 40% secara bulanan, tapi tagihan melonjak dari sedikit di atas enam digit langsung ke hampir tiga kali lipat. Kalau dihitung linear, paling banyak lebih empat puluh persen, dari mana datangnya bagian ekstra itu?
Saya tarik log panggilan tiga puluh hari terakhir, potong berdasarkan model, berdasarkan API, berdasarkan jumlah retry. Masalahnya bukan di "volume", tapi di "struktur". Empat titik pendarahan tersembunyi, satu lebih tersembunyi dari yang lain.
Pertama yang paling mencolok: model flagship dipakai untuk kerja kasar. Kami punya modul pengenalan intent, seharusnya cukup pakai model ringan, tapi sejak awal demi praktis langsung dipasang di model flagship termahal, dan tidak pernah ada yang menyentuhnya. Trafik jenis ini mencakup lebih dari enam puluh persen total permintaan, tapi nilai bisnis yang disumbangkan sangat rendah. Setelah dijalankan ulang dengan stratifikasi model, menurunkan klasifikasi, ekstraksi, validasi format ke model kecil, hanya menyisakan permintaan yang benar-benar butuh reasoning untuk model flagship, biaya bagian ini bisa ditekan ke sepertiga hingga setengah dari sebelumnya. Jangan remehkan langkah ini, tidak perlu mengubah logika bisnis, hanya mengubah routing.
Bagaimana tepatnya stratifikasi? Saya potong berdasarkan jenis tugas menjadi tiga tingkat: tingkat pertama adalah klasifikasi dan pengenalan intent, input pendek, output pendek, logika sederhana, model kecil sepenuhnya mampu menanganinya; tingkat kedua adalah ekstraksi informasi dan validasi format, butuh sedikit pemahaman semantik tapi tidak perlu reasoning multi-langkah, pakai model menengah; tingkat ketiga baru reasoning multi-langkah kompleks, generasi teks panjang, penyelesaian kode, disisakan untuk model flagship. Setelah dipotong saya bandingkan, akurasi tugas tingkat pertama di model kecil hanya turun kurang dari dua poin persen, tapi biaya per panggilan turun hampir sembilan puluh persen. Tingkat kedua lebih halus, selisih F1 antara model menengah dan model flagship pada tugas ekstraksi kurang dari 0.03, tapi biayanya berbeda lima kali lipat. Hitungan ini langsung jelas, uang ekstra yang dihabiskan sebelumnya murni karena malas.
Jebakan kedua lebih licik. Badai retry. Ambang timeout salah satu API upstream diatur terlalu ketat, jaringan bergetar sedikit klien langsung retry, retry timeout lagi, retry lagi. Di log bisa terlihat permintaan yang sama ditembak empat lima kali, setiap kali membakar Token, sementara pengguna hanya melihat satu kegagalan. Konsumsi tidak valid ini tidak mencolok di tagihan, tapi porsinya bisa mencapai sekitar dua puluh persen. Langkahnya sederhana: ubah retry menjadi retry idempoten dengan backoff, longgarkan ambang timeout, server melakukan deduplikasi permintaan. Setelah dilakukan, Token tidak valid bisa dipangkas lebih dari setengah.
Di sini saya jelaskan beberapa parameter kunci. Kami melonggarkan ambang timeout dari 3 detik menjadi 15 detik, jumlah retry dari tanpa batas menjadi maksimal dua kali, strategi backoff menggunakan exponential backoff plus jitter—retry pertama menunggu 1 detik, retry kedua menunggu 2 detik, ditambah jitter acak untuk menghindari thundering herd. Di sisi server ditambahkan fingerprint permintaan, fingerprint yang sama hanya diproses sekali dalam 60 detik, permintaan berikutnya langsung mengembalikan hasil cache. Setelah diubah saya pantau khusus selama seminggu, tingkat retry turun dari 18% menjadi di bawah 4%, konsumsi Token tidak valid langsung dipangkas lebih dari tujuh puluh persen. Ada keuntungan tak terduga: keluhan timeout dari sisi pengguna justru berkurang, karena setelah ambang dilonggarkan, permintaan yang seharusnya bisa berhasil tapi terpotong terlalu dini sekarang bisa kembali normal.
Ketiga adalah konteks panjang yang tidak dipangkas. API percakapan kami secara default memasukkan seluruh riwayat, saat pengguna mengobrol sampai putaran kedua puluh, Token input menjadi belasan kali lipat putaran pertama. Padahal sebagian besar riwayat tidak berguna untuk jawaban saat ini. Dengan sliding window plus kompresi ringkasan, hanya menyimpan beberapa putaran terakhir teks asli plus satu ringkasan bergulir, sisi input bisa turun empat hingga enam puluh persen. Ada detail di sini, ringkasan itu sendiri juga menghabiskan Token, jadi window tidak boleh dipangkas terlalu keras, harus menemukan titik baliknya.
Kami mencoba beberapa set parameter, akhirnya menetapkan pada kombinasi "teks asli lima putaran terakhir + ringkasan bergulir". Ringkasan bergulir tidak dibuat ulang setiap putaran, tapi diperbarui setiap tiga putaran, mengompres percakapan yang lebih awal menjadi ringkasan di bawah dua ratus karakter. Dengan begitu jumlah Token sisi input turun dari lebih dari delapan ribu pada putaran kedua puluh menjadi sedikit di atas tiga ribu, penurunan lebih dari enam puluh persen. Tapi saya juga mencoba memangkas hingga hanya menyimpan dua putaran terakhir, hasilnya kualitas jawaban jelas menurun, saat pengguna menanyakan konteks lanjutan model sering menjawab tidak nyambung. Jadi titik balik ini memang ada, harus diuji sesuai skenario bisnis sendiri. Pengalaman kami: ukuran window jangan kurang dari tiga putaran terakhir, frekuensi pembaruan ringkasan jangan lebih dari sekali per dua putaran, kalau tidak uang Token yang dihemat tidak cukup untuk menutupi pengalaman pengguna yang rusak.
Keempat, tingkat cache hit rendah. Permintaan yang sama atau sangat mirip masuk berulang kali, tapi kami setiap kali melakukan reasoning ulang. System prompt, template tetap, tanya jawab frekuensi tinggi yang sepenuhnya bisa di-cache, tingkat hit saat itu kurang dari sepuluh persen. Setelah ditambahkan lapisan cache semantik, permintaan berulang langsung dikembalikan, proporsi yang bisa dihemat tergantung tingkat pengulangan bisnis, di sisi kami sekitar dua hingga tiga puluh persen.
Cache semantik ini layak dibahas lebih lanjut. Cache exact hanya bisa menangkap permintaan yang persis sama, tapi dalam skenario nyata banyak permintaan yang "maknanya mirip tapi kata-katanya berbeda". Misalnya pengguna bertanya "bagaimana cara refund" dan "proses refund itu apa", exact matching tidak bisa menangkap, cache semantik bisa. Solusi yang kami pakai: vektorisasi input, lakukan pencarian nearest neighbor perkiraan di basis data cache, jika similarity melebihi ambang langsung mengembalikan hasil cache. Berapa ambang yang ditetapkan sangat krusial, terlalu tinggi tingkat hit tidak naik, terlalu rendah mudah mengembalikan jawaban tidak relevan. Kami akhirnya menetapkan pada 0.92, tingkat hit naik dari kurang dari 10% menjadi 34%, dan tidak menerima keluhan pengguna yang mengatakan jawaban tidak nyambung. Bagian system prompt dan template tetap lebih sederhana, langsung prefix caching, tingkat hit mendekati 100%.
Empat langkah digabungkan, kami kemudian menjalankan dengan penagihan berbasis volume plus stratifikasi model, tagihan turun kembali ke sekitar 1.2 kali sebelum kenaikan, sementara volume panggilan tetap kenaikan 40% itu. Ngomong-ngomong, di tengah jalan sempat mencoba token8341 untuk akses terpadu multi-model, satu Key beralih beberapa model, setelah routing dan standar penagihan disatukan, penelusuran masalah struktural semacam ini menghemat banyak urusan.
Satu lagi yang mudah diabaikan: monitoring dan atribusi. Keempat masalah ini kenapa tertunda lama baru ditemukan, akar penyebabnya adalah tagihan kami hanya keluar berdasarkan dimensi model dan API, tidak dipotong berdasarkan dimensi "jenis tugas" dan "fingerprint permintaan". Kemudian saya menambahkan lapisan tag panggilan, setiap permintaan diberi tag jenis tugas, apakah retry, apakah cache hit, jumlah putaran konteks, saat tagihan keluar lagi, bagian mana yang membakar uang langsung terlihat jelas. Sistem tag ini sendiri tidak menghemat uang, tapi tanpa itu, Anda sama sekali tidak tahu uang dihabiskan di mana.
Peringatan menghindari jebakan: jangan langsung mengganti ke model yang lebih murah. Pertama-tama bongkar struktur panggilan, seringkali uang tidak dihabiskan pada harga satuan, tapi pada pengulangan dan redundansi yang sama sekali tidak Anda sadari. Optimasi harga satuan adalah langkah terakhir, bukan langkah pertama.
Penulis: Zhao Qiming
Tanggal publikasi: 9 November 2026