Jika Anda hanya pernah menggunakan satu penyedia LLM, harga yang tertera di halaman harga penyedia tersebut mungkin terlihat seperti harga sebenarnya. Tidak demikian. Itu adalah harga ritel, dan seperti kebanyakan harga ritel, ada banyak margin dan struktur yang tertanam di dalamnya. Aggregator menghasilkan uang dengan menyerang tepat pada struktur tersebut.
Mengapa harga langsung terbilang tinggi
Harga langsung memiliki biaya yang tidak berkaitan dengan menjalankan model. Ketika Anda membeli langsung dari vendor, Anda juga membayar untuk:
•Komitmen minimum. Beberapa penyedia menginginkan saldo prabayar atau belanja yang dikomitmenkan sebelum mereka memberikan tarif terbaik. Tim kecil jarang mencapai tingkatan tersebut.
•Satu penyedia, satu kontrak. Setiap vendor memiliki pendaftaran sendiri, penagihan sendiri, mata uang sendiri. Menjalankan tiga penyedia berarti tiga faktur dan tiga metode pembayaran.
•Tidak ada kompetisi di dalam tagihan Anda sendiri. Ketika Anda terikat pada satu vendor, vendor tersebut tidak memiliki alasan untuk memberikan diskon. Anda membayar tarif mereka atau pergi.
•Batas laju yang ditetapkan untuk perlindungan mereka, bukan kenyamanan Anda.
Aggregator ada karena mereka dapat membeli kapasitas hulu dalam volume besar dan meneruskan sebagian diskonnya kepada Anda. Mereka juga memungkinkan Anda memindahkan pengeluaran antar penyedia, yang merupakan daya ungkit sesungguhnya: jika model A menjadi lebih murah bulan depan, Anda dapat mengalihkan trafik Anda tanpa berganti vendor.
Perhitungannya, dengan angka bulat
Izinkan saya menggunakan contoh angka yang sengaja disederhanakan agar bentuknya jelas. Harga sebenarnya berubah terus-menerus, tetapi aritmatikanya tetap sama.
Katakanlah sebuah penyedia mencantumkan harga model sebesar $2,50 per juta token input dan $10,00 per juta token output. Beban kerja tipikal, misalnya peringkas tiket dukungan yang memproses 10 juta token input dan 4 juta token output per bulan, akan berbiaya:
Direct: (10M x $2.50) + (4M x $10.00) = $25 + $40 = $65.00 / monthAggregator yang telah menegosiasikan harga volume mungkin menawarkan model yang sama dengan sekitar seperempat dari harga daftar, $0,60 per juta input dan $2,40 per juta output:
Aggregated: (10M x $0.60) + (4M x $2.40) = $6.00 + $9.60 = $15.60 / monthItu berarti sekitar $49 yang dihemat per bulan pada satu beban kerja moderat, pengurangan sekitar ~76%, sebelum Anda menyentuh hal lain. Kalikan jumlah token dengan satu urutan besaran dan penghematan absolutnya ikut berkembang.
Poin utamanya bukanlah angka-angka spesifik ini. Poinnya adalah bahwa jurang antara "harga daftar" dan "harga volume" itu nyata, dan tugas aggregator adalah berada di jurang itu dan mengembalikan sebagiannya kepada Anda.
Biaya lain yang tersembunyi di cetakan halus
Harga per token adalah judul utamanya, tetapi itu bukan keseluruhan tagihan. Tiga hal yang sering menjebak orang:
Harga cache-hit. Beberapa model memberikan diskon untuk token yang mengenai cache prompt. Jika satu penyedia menagih harga penuh untuk input yang di-cache dan penyedia lain menagih 10% darinya, beban kerja dengan prompt yang berulang dapat berbeda biayanya cukup jauh bahkan pada harga daftar yang sama. Tanyakan sebelum Anda berkomitmen.
Gesekan mata uang dan pembayaran. Membeli dari vendor yang penagihannya dalam mata uang atau wilayah yang tidak disukai kartu Anda menambah biaya konversi dan masalah tagihan yang gagal. Satu tagihan aggregator dalam mata uang Anda sendiri menghilangkan hal itu.
Batas laju sebagai biaya tersembunyi. Model murah yang hanya bisa Anda panggil 10 kali per menit tidaklah murah; Anda akan membangun logika percobaan ulang dan antrean untuk mengompensasinya, dan itu adalah waktu engineering. Batas throughput seharusnya masuk dalam perbandingan harga meskipun tidak ada di halaman harga.
Estimator biaya cepat
Memperkirakan pengeluaran sebelum Anda membangun itu mudah setelah Anda memiliki angkanya. Berikut adalah skrip Python kecil dalam semangat itu:
def monthly_cost(input_tokens, output_tokens, in_price, out_price):
# prices are per million tokens
return (input_tokens / 1e6) * in_price + (output_tokens / 1e6) * out_price
# Direct list price
direct = monthly_cost(10_000_000, 4_000_000, 2.50, 10.00)
# Aggregator price (example values)
aggregated = monthly_cost(10_000_000, 4_000_000, 0.60, 2.40)
print(f"Direct: ${direct:.2f}")
print(f"Aggregated: ${aggregated:.2f}")
print(f"Saved: ${direct - aggregated:.2f}")Jalankan jumlah token nyata Anda melalui skrip itu dengan harga nyata Anda. Itulah satu-satunya angka yang penting.
Di mana aggregator tidak menghemat uang Anda
Saya harus jujur tentang batasannya. Aggregator adalah penjual ulang. Beberapa model tidak tersedia melalui penjual ulang sama sekali, dan untuk beberapa model niche, markup aggregator bisa lebih buruk daripada membeli langsung. Penghematannya paling besar pada model serbaguna populer yang memiliki diskon volume. Untuk model eksotis yang jarang Anda panggil, perbedaannya tidak berarti.
Selain itu, harga yang lebih murah tidak ada gunanya jika keandalan aggregator buruk. Penghematan 30% yang membuat Anda mendapatkan endpoint yang tidak stabil akan berbiaya lebih dari 30% setelah Anda memperhitungkan percobaan ulang, tiket dukungan, dan waktu Anda sendiri. Harga dan keandalan adalah satu keputusan, bukan dua.
SiCore TokenWorks adalah versi yang lugas dari model ini: kompatibel dengan OpenAI, bayar sesuai pemakaian, dengan katalog model-model populer dari DeepSeek, Qwen, ERNIE, Doubao, Spark, dan Pangu bersama GPT-4o, Claude, dan Gemini, tercantum jauh di bawah tarif resmi per token.