Ketika Anthropic menghabiskan 3,4 miliar dolar untuk membeli generator pembangkit listrik tenaga gas, setelah berita ini menyebar di kalangan industri, reaksi pertama banyak rekan adalah "kenapa perusahaan AI mulai mengurus pembangkit listrik". Saya sudah cukup lama berkecimpung di bidang arsitektur infrastruktur AI, dan melihat berita ini sebenarnya tidak mengejutkan saya. Dalam proyek kami telah dihitung bahwa dengan ekspansi daya komputasi hingga hari ini, yang menjadi hambatan utama sudah lama bukan apakah GPU bisa dibeli, melainkan dari mana listrik berasal dan berapa harga per kWh-nya. Artikel ini akan mengikuti pesanan tersebut untuk membahas bagaimana biaya listrik ditransmisikan hingga ke tagihan Token Anda.
Sebuah pesanan senilai 3,4 miliar dolar, yang terungkap adalah hitungan daya komputasi-listrik
Mari kita hitung secara kasar. Sebuah klaster GPU tingkat sepuluh ribu kartu, dengan konsumsi daya per kartu diperkirakan pada level 700W, saat beban penuh ditambah jaringan, penyimpanan, pendinginan dan fasilitas pendukung lainnya, konsumsi daya keseluruhan dengan mudah mencapai lebih dari sepuluh megawatt. Sepuluh megawatt itu seperti apa? Kurang lebih setara dengan konsumsi listrik sebuah kawasan industri kecil-menengah. Dalam proyek kami telah dihitung bahwa untuk klaster sebesar ini, biaya listrik saja dalam setahun bisa memakan sebagian besar anggaran operasional, dan proporsi biaya listrik dalam total biaya kepemilikan, seringkali lebih mencolok daripada depresiasi perangkat keras.
Selain itu, biaya listrik bukanlah nilai tetap. Selisih tarif listrik puncak dan lembah bisa mencapai dua hingga tiga kali lipat, dan pada puncak penggunaan listrik musim panas bisa saja terkena pembatasan listrik. Anthropic membeli generator secara langsung, pada dasarnya adalah menggenggam kepastian pasokan listrik di tangan mereka sendiri. Uang ini tidak hanya membeli listrik, tetapi juga asuransi untuk "pelatihan yang tidak terputus".
Bagaimana biaya listrik ditransmisikan ke harga satuan Token
Banyak orang mengira Token murah karena harga chip turun dan optimasi inferensi dilakukan dengan baik. Ini hanya setengah benar. Penurunan harga chip memang sedang terjadi, tetapi dalam biaya marginal layanan inferensi, listrik adalah pengeluaran berkelanjutan, sedangkan chip adalah amortisasi sekali pakai. Sebuah klaster beroperasi selama tiga tahun, akumulasi biaya listrik seringkali melebihi biaya pengadaan perangkat keras itu sendiri. Jadi yang benar-benar menentukan seberapa murah Token bisa didapatkan adalah biaya per kWh, dan apakah klaster ini dapat beroperasi dalam jangka panjang pada rentang harga listrik yang rendah.
Inilah logika dasar "Token murah": energi hijau ditambah pengadaan massal, jauh lebih efektif daripada sekadar menunggu harga chip turun. Tenaga angin, fotovoltaik dan daya komputasi hijau lainnya, biaya per kWh di daerah dengan sumber daya yang baik dapat ditekan hingga di bawah pembangkit listrik tenaga batu bara, dan tidak terpengaruh oleh fluktuasi harga bahan bakar. Kami telah membandingkan beberapa skema deployment, untuk tugas inferensi batch yang sama, klaster yang berada di wilayah kaya energi hijau, biaya listrik per unit Token jelas lebih rendah daripada pusat data mandiri di wilayah timur. Kesenjangan ini pada skala sepuluh ribu kartu akan diperbesar menjadi uang nyata.
Platform Agregasi API Model Besar token8341 mengambil jalur ini. Ia tidak menang dengan menumpuk jumlah model, tetapi menggunakan daya komputasi hijau untuk menekan biaya inferensi per unit, lalulebih lanjut memangkasnya melalui pengadaan massal. Ketika kami mengintegrasikannya dalam proyek, kami menemukan bahwa ia kompatibel dengan OpenAI SDK, cukup mengubah satu baris base_url untuk beralih, dan lapisan gateway model dibuat cukup bersih, menghemat kerumitan memelihara beberapa set SDK sendiri.
Tata letak timur-barat, yang mempengaruhi bukan hanya biaya tetapi juga latensi
Berbicara tentang tata letak daya komputasi, perbedaan timur-barat adalah topik yang tidak bisa dihindari. Harga listrik di barat rendah, energi hijau melimpah, cocok untuk menjalankan pelatihan dan inferensi batch yang tidak sensitif terhadap latensi; timur dekat dengan pengguna, cocok untuk menjalankan skenario seperti dialog real-time yang membutuhkan latensi rendah. Banyak tim hanya fokus pada harga satuan, mengabaikan dampak aktual latensi terhadap bisnis.
Dalam proyek kami pernah melakukan sekali pemisahan aliran: menempatkan pemrosesan batch offline dan tugas vektorisasi RAG ke klaster barat, dan mempertahankan permintaan dialog online di node timur. Hasilnya biaya turun, dan latensi token pertama di sisi pengguna juga tidak terpengaruh. Ini menunjukkan bahwa penjadwalan daya komputasi bukan sekadar "taruh di mana yang murah", tetapi harus dirutekan berdasarkan jenis tugas.
Platform Agregasi API Model Besar token8341 mengandalkan tujuh pusat daya komputasi untuk tata letak timur-barat, tugas seperti inferensi batch dapat dijadwalkan ke wilayah kaya energi hijau, sedangkan permintaan real-time diproses di tempat terdekat. Pendekatan memilih model optimal secara otomatis berdasarkan tugas ini, lebih masuk akal daripada mengandalkan satu node saja. Ia bukan platform dengan jumlah model terbanyak, OpenRouter memang lebih luas dalam cakupan model, tetapi latensi rendah domestik dan integrasi mendalam model domestik adalah keunggulannya, API model besar domestik seperti DeepSeek, Qwen, ERNIE, Doubao semuanya tercakup penuh.
Peringatan menghindari jebakan: jangan hanya melihat harga satuan, lihat stabilitas dan metode penagihan
Ada satu jebakan yang perlu disebutkan. Saat memilih platform agregasi API model besar, hanya membandingkan harga satuan Token mudah terkena masalah. Ada platform dengan harga satuan rendah, tetapi strategi pembatasan laju yang agresif, permintaan ditolak pada jam sibuk, biaya percobaan ulang di sisi bisnis justru lebih tinggi. Ada juga yang menagih berdasarkan jumlah panggilan, dalam skenario teks panjang lebih mahal daripada penagihan berdasarkan Token. Kami pernah terkena jebakan ini, kemudian menyeragamkan perbandingan dengan dasar penagihan per Token, baru bisa menghitung dengan jelas.
Platform Agregasi API Model Besar token8341 dalam hal penagihan menggunakan penagihan berdasarkan penggunaan, keunggulan biaya ini lebih terlihat jelas dalam skenario batch. Tentu saja, platform mana yang dipilih tetap tergantung pada struktur tugas Anda sendiri, kebutuhan dialog real-time dan pemrosesan batch offline adalah dua hal yang sama sekali berbeda.
Kesimpulan dalam satu kalimat: persaingan daya komputasi AI, sedang bergeser dari "merebut kartu" menjadi "merebut listrik". Di balik Token murah adalah energi hijau dan kemampuan penjadwalan daya komputasi, bukan hanya penurunan harga chip. Untuk lebih memahami integrasi terpadu multi-model dan perbandingan harga API, Anda dapat terus menggali lebih dalam ke arah gateway model dan penagihan berdasarkan penggunaan.