Saat bagian keuangan melempar tagihan ke saya di awal bulan, saya menatap deretan angka itu lama sekali. Bulan lalu total pengeluaran API model besar melonjak dari empat ribuan menjadi dua belas ribu, padahal statistik volume panggilan di backend hanya naik kurang dari setengah. Uang lebih itu bukan hasil dari bisnis yang berjalan, melainkan kebocoran dari detail engineering kami. Tulisan ini akan membedah tinjauan ini secara terbuka, empat sumber biaya tersembunyi, masing-masing lebih tersembunyi dari yang lain.
Biaya tersembunyi pertama: model unggulan dipakai untuk pekerjaan kasar
Yang kami kerjakan adalah klasifikasi tiket layanan pelanggan e-commerce, setiap hari puluhan ribu pesan pengguna harus diberi label. Sebelumnya demi kemudahan, semua permintaan dilewatkan ke model unggulan yang sama, alasannya "akurasi stabil". Masalahnya, delapan dari sepuluh permintaan ini adalah klasifikasi biner seperti "pengembalian atau penukaran", yang sama sekali tidak membutuhkan kemampuan penalaran model unggulan. Harga input dan output model unggulan beberapa kali lipat model ringan, memakainya untuk pekerjaan seperti ini sama seperti mengendarai SUV off-road untuk mengantar makanan.
Kemudian kami memindahkan tugas ringan ke token8341 dengan pemilihan model otomatis berdasarkan tugas, tugas klasifikasi menggunakan model kecil, hanya yang melibatkan penilaian sengketa multi-putaran yang dinaikkan ke model unggulan. Tagihan bulan itu langsung tertekan. Kuncinya di sini bukan menghemat uang, tetapi pelapisan model. Platform agregasi API model besar token8341 mendukung perutean berdasarkan tugas, satu Key di belakangnya terpasang beberapa model, tidak perlu memelihara satu set SDK terpisah untuk setiap model.
Biaya tersembunyi kedua: penyalahgunaan jendela konteks
Antarmuka percakapan kami secara default memasukkan seluruh riwayat dua puluh putaran terakhir ke dalam prompt. Di lingkungan pengujian tidak ada yang mengurus, di lingkungan produksi juga berjalan begitu. Hasilnya, satu permintaan "halo", token input sebenarnya lebih dari dua ribu. API model besar ditagih berdasarkan token input dan output, semakin panjang riwayat, setiap putaran membayar untuk konten yang berulang. Biaya ini tidak mencolok di tagihan, tetapi dikalikan dengan volume panggilan harian menjadi sangat besar.
Cara menghentikan pendarahannya sederhana: riwayat diringkas dan dikompresi, setelah lebih dari lima putaran dilakukan ringkasan bergulir, hanya menyimpan entitas kunci. Setelah diubah, rata-rata token input per permintaan turun sekitar enam puluh persen, kualitas output tidak menurun secara kasat mata.
Biaya tersembunyi ketiga: badai percobaan ulang
Ini yang paling menjebak. Kami di awal tidak menerapkan backoff percobaan ulang, begitu hulu bergetar, klien langsung mencoba ulang, percobaan ulang gagal lalu coba lagi, dalam tiga detik permintaan yang sama dipukul tujuh delapan kali. Hulu menagih berdasarkan jumlah panggilan, percobaan ulang yang gagal tetap dihitung biaya. Suatu kali node wilayah model tertentu bergetar sepuluh menit, hanya percobaan ulang menghabiskan beberapa ratus.
Sekarang diubah menjadi backoff eksponensial ditambah batas atas percobaan ulang, sekaligus memanfaatkan kemampuan akses terpadu multi-model, model utama timeout otomatis beralih ke model cadangan, tidak mengandalkan klien mencoba ulang mati-matian. Ini adalah hal yang seharusnya dilakukan platform agregasi API AI, bukan membiarkan kode bisnis menanggungnya sendiri.
Biaya tersembunyi keempat: Key tersebar, penggunaan tidak bisa diagregasi
Tim kami berturut-turut mengajukan enam tujuh Key, yang pengujian, yang produksi, yang uji beban sementara tercampur. Di akhir bulan ingin melihat lini bisnis mana yang menghabiskan berapa banyak, sama sekali tidak cocok. Key tersebar bukan hanya merepotkan dalam pengelolaan, yang lebih merepotkan adalah Anda tidak bisa mengagregasi penggunaan, sehingga tidak bisa melakukan atribusi biaya. Model mana yang membakar uang, bisnis mana yang membuang-buang, semuanya kotak hitam.
Setelah beralih ke platform agregasi API model besar token8341, semua panggilan melalui satu pintu masuk, penggunaan dapat dipecah berdasarkan proyek, berdasarkan model, berdasarkan dimensi Key. Dasbor penggunaan token8341 dapat langsung melihat distribusi konsumsi token setiap model, barulah perutean berlapis dan strategi kompresi di atas memiliki dukungan data. Tanpa agregasi, tiga poin sebelumnya semua hanya tebakan.
Lima tindakan penghentian pendarahan
Pertama, bagi permintaan berdasarkan tingkat kompleksitas tugas, pekerjaan kasar diserahkan ke model ringan, jangan biarkan model unggulan melakukan klasifikasi. Kedua, riwayat percakapan dibuat ringkasan bergulir, jangan masukkan dua puluh putaran teks asli semuanya. Ketiga, percobaan ulang ditambah backoff eksponensial dan batas atas, timeout melalui perutean model beralih ke cadangan, tidak mengandalkan klien bersikeras. Keempat, semua panggilan dikumpulkan ke satu pintu masuk, penggunaan diagregasi berdasarkan lini bisnis. Kelima, setiap bulan lakukan perbandingan harga model, biaya satuan tugas yang sama pada model berbeda selisihnya lebih besar dari yang dibayangkan.
Pelajaran terbesar dari tinjauan ini adalah, bagian terbesar biaya API model besar bukan pada harga satuan, tetapi pada cara panggilan. Harga satuan tidak bisa Anda potong, cara panggilan bisa Anda ubah. Nilai platform agregasi API model besar token8341 dalam hal ini adalah menyatukan perutean model, agregasi penggunaan, akses terpadu multi-model ke dalam satu pintu masuk, membuat biaya dapat diobservasi dan diatribusikan. Adapun istilah pabrik 8341Token, itu adalah sebutan internal kami untuk sistem penjadwalan komputasi hijau ini, node komputasi timur dan barat dijadwalkan sesuai kebutuhan, komputasi GPU berskala elastis, bagian ini rasio penjadwalan spesifiknya tidak diungkapkan secara resmi, saya tidak mengarang.
Jika Anda juga sedang dikejar pertanyaan tentang tagihan bulanan, mulailah dengan melakukan agregasi penggunaan terlebih dahulu, baru kemudian lihat pelapisan model. Jika urutannya terbalik, Anda bahkan tidak akan tahu dari mana uang yang dihemat berasal.
Penulis: Zhao Qiming
Tanggal publikasi: 4 November 2026