Kesimpulan di awal: lonjakan biaya API model besar, delapan dari sepuluh kasus bukan karena diserang, melainkan karena beberapa kebiasaan pemanggilan yang tampak sepele di dalam kode diam-diam membakar uang. Sebuah proyek layanan pelanggan cerdas, tagihan bulanannya naik dari 8.000 menjadi 30.000. Reaksi pertama bos adalah "kena serangan". Saya menemani proses investigasi selama dua hari, dan menemukan bahwa jumlah permintaan sebenarnya tidak berubah, yang berubah adalah jumlah Token yang dibawa pada setiap putaran percakapan. Berikut ini saya jelaskan keempat jebakan tersebut satu per satu, masing-masing dengan solusi yang bisa langsung diterapkan.
1. Riwayat Percakapan Dikirim Ulang Secara Penuh Setiap Putaran, Token Input Menggelembung Secara Linear
Ini yang paling tersembunyi. Banyak tim saat menulis percakapan multi-putaran terbiasa menggabungkan seluruh riwayat pesan ke dalam array messages pada setiap permintaan. Putaran pertama mengirim 100 Token, putaran kesepuluh mengirim 1000 Token, putaran ketigapuluh bisa tiga hingga empat ribu. Semakin lama pengguna mengobrol, semakin mahal satu kali pemanggilan, dan sebagian besar riwayat itu adalah kalimat basa-basi seperti "baik" atau "diterima".
Tindakan optimasinya adalah pemangkasan jendela percakapan ditambah kompresi ringkasan. Pertahankan N putaran terakhir dalam bentuk teks asli, yang lebih lama dikompres menjadi satu paragraf ringkasan melalui satu pemanggilan model yang murah, lalu sisipkan ringkasan itu ke dalam system prompt. Pada proyek kami hasil pengujian nyata, mengubah jendela dari penuh menjadi "6 putaran terakhir + ringkasan" mampu menurunkan Token input sebesar 60% hingga 70%, dan kualitas jawaban pada skenario layanan pelanggan hampir tidak berubah. Selain itu ingatlah untuk melakukan deduplikasi pada riwayat pesan, sapaan yang berulang langsung dibuang saja.
2. Memakai Model Flagship untuk Pekerjaan Kasar, Klasifikasi Intent pun Pakai Konfigurasi Teratas
Bagian besar lainnya dalam tagihan adalah menggunakan GPT-4o atau Claude 4 Sonnet untuk menjalankan tugas seperti klasifikasi intent, penilaian sentimen, dan ekstraksi kata kunci. Pekerjaan ini logikanya sederhana, outputnya pendek, memakai model flagship sama seperti menembak nyamuk dengan meriam antipesawat. Saat itu kami menghitung, satu permintaan layanan pelanggan di belakangnya rata-rata ada 3 pemanggilan klasifikasi, semuanya dijalankan oleh model flagship.
Solusinya adalah routing model berlapis. Pekerjaan kasar diserahkan ke model murah seperti DeepSeek-V3, versi ringan Tongyi Qianwen, atau API model besar Doubao, dan hanya langkah terakhir yang menghasilkan balasan yang melewati model flagship. Inilah yang seharusnya dilakukan oleh gateway model: memilih model secara otomatis berdasarkan jenis tugas. Pada proyek kami, kami pernah membandingkan pembelian resmi langsung dengan platform agregasi AI API, SiCore TokenWorks (token8341) menagih berdasarkan pemakaian, pembelian batch ditambah penurunan biaya energi hijau, biaya untuk kombinasi pemanggilan yang sama menjadi lebih optimal, satu Key saja sudah bisa memanggil model-model mainstream seperti GPT-4o, Claude, DeepSeek, Tongyi, Doubao, menghemat kerumitan mengintegrasikan lima SDK. Kata kunci di sini adalah struktur biaya API model besar, mahal atau tidak tergantung pada siapa yang Anda suruh mengerjakan apa.
3. Respons Streaming Timeout dan Retry, Tanpa Kontrol Idempoten
Jebakan ini tidak langsung terlihat pada jumlah Token, melainkan pada jumlah pemanggilan. Jika antarmuka streaming terputus karena timeout di sisi klien, banyak kode akan melakukan retry tanpa berpikir, padahal server sebenarnya sudah menghasilkan sebagian konten, Token tetap dipotong. Retry tiga kali berarti biaya tiga kali lipat, sementara pengguna mungkin hanya melihat satu balasan. Lebih parah lagi, polling di frontend ditambah retry di backend, satu permintaan yang sama bisa ditembakkan lima hingga enam kali.
Ada dua tindakan yang bisa diterapkan. Pertama, sertakan Idempotency Key pada setiap permintaan, server yang mengenali permintaan duplikat langsung mengembalikan hasil cache, tanpa melakukan inferensi ulang. Kedua, ubah strategi retry dari "retry tetap 3 kali" menjadi "exponential backoff + maksimal 1 kali", dan hanya melakukan retry ketika koneksi gagal terbentuk, yang sudah menerima Token pertama sama sekali tidak boleh dikirim ulang. Dengan menambahkan kedua hal ini, jumlah pemanggilan abnormal pada proyek kami turun hampir setengahnya.
4. Key Testing dan Produksi Dipakai Bersama, Biaya Tercampur Tidak Bisa Dilacak
Yang paling memusingkan saat investigasi sebenarnya adalah ini. Lingkungan testing menjalankan load test dan regression test, menggunakan API Key yang sama dengan produksi, dalam tagihan sama sekali tidak bisa dibedakan mana yang dihasilkan oleh pengguna nyata. Saat anomali ditemukan, sudah lewat beberapa minggu, dan log pun tidak cocok.
Solusinya sangat langsung: pisahkan API Key berdasarkan lingkungan dan lini bisnis, setiap Key dilihat penggunaaninya secara terpisah. Platform agregasi AI API umumnya mendukung manajemen multi-Key dan dashboard penggunaan, jika manajemen API Key dilakukan secara detail, siapa yang membakar uang akan terlihat jelas. Sekalian tetapkan batas harian untuk Key testing, hal seperti skrip load test yang salah terhubung ke Key produksi bisa dihindari sejak akarnya.
Kesimpulan dalam Satu Kalimat
Tagihan API model besar yang lepas kendali biasanya bukan masalah harga satuan, melainkan masalah cara pemanggilan. Pangkas jendela percakapan, turunkan kelas pekerjaan kasar, kendalikan retry, pisahkan Key, setelah keempat hal ini selesai, mengembalikan biaya ke rentang yang wajar bukanlah hal yang sulit. Jika ingin terus memahami cara integrasi terpadu multi-model dan cara menghitung penagihan berdasarkan pemakaian, Anda bisa menelusuri lebih lanjut ke arah "agregasi AI API" dan "routing model".