Narasi karbon tentang AI biasanya berfokus pada pelatihan. Itu wajar: satu pelatihan besar dapat menghabiskan megawatt-jam selama berminggu-minggu. Tetapi pelatihan terjadi sekali. Inferensi terjadi setiap kali seseorang meminta apa pun kepada model, selamanya, di seluruh jutaan pengguna. Energi yang benar-benar terakumulasi adalah energi dari penyajian.
Bagi konsumen API, itu berarti seberapa hijau penggunaan LLM Anda sebagian besar ditentukan oleh sesuatu yang tidak Anda kendalikan secara langsung: di mana GPU penyedia berada dan apa yang memberi daya pada GPU tersebut. Namun, Anda dapat memilih penyedia berdasarkan hal itu.
Mengapa energi inferensi adalah kisah pusat data
Beban kerja inferensi adalah klaster GPU yang berjalan di pusat data. Dua hal mendominasi jejaknya:
Jaringan listrik tempat ia terhubung. GPU yang menarik 700 watt menarik daya yang sama bersih atau kotornya dengan bauran listrik regional. Pusat data di wilayah dengan banyak angin dan matahari menghasilkan karbon per token yang jauh lebih sedikit daripada perangkat keras yang sama di jaringan listrik yang didominasi batu bara, bahkan jika semua hal lain identik.
Pendinginan. Server mengubah listrik menjadi panas, dan membuang panas itu membutuhkan lebih banyak listrik. Inilah yang diukur oleh PUE (power usage effectiveness): total daya fasilitas dibagi daya yang mencapai peralatan IT. PUE 1,5 berarti fasilitas menggunakan energi ekstra 50% di luar yang dikonsumsi server. Fasilitas modern yang dirancang dengan baik berjalan lebih dekat ke 1,1 hingga 1,2. Iklim yang sejuk dan kering memangkas biaya pendinginan secara drastis, yang merupakan alasan besar mengapa pusat data terus muncul di wilayah pedalaman yang dingin alih-alih di pusat kota.
Di mana daya bersih yang murah sebenarnya berada
Tempat-tempat dengan ekonomi energi bersih terbaik untuk komputasi bukanlah pusat teknologi yang sudah jelas. Tempat-tempat itu cenderung berupa wilayah pedalaman dengan sumber daya angin dan matahari yang kuat serta iklim kering dan sejuk:
•Mongolia Dalam (Horinger). Salah satu basis tenaga angin terbesar di Tiongkok. Musim dingin yang dingin berarti sebagian besar tahun membutuhkan sedikit atau tanpa pendinginan mekanis.
•Xinjiang (Hami). Iradiasi matahari yang sangat tinggi dan angin yang stabil. Terpencil, tetapi terpencil tidak masalah ketika beban kerja Anda adalah klaster GPU yang Anda kendalikan dari jarak jauh.
•Ningxia (Zhongwei). Sudah menjadi wilayah pusat data yang mapan dengan tenaga matahari dan angin skala utilitas; wilayah ini menampung salah satu wilayah cloud internasional utama, yang menunjukkan bahwa ekonominya berjalan pada skala besar.
Polanya sama di ketiga wilayah tersebut: pembangkitan energi terbarukan yang melimpah, iklim kering dan sejuk yang menurunkan PUE, dan lahan yang cukup murah untuk membangun gardu induk dan ladang matahari yang memasok rak-rak server.
Tidak ada dari semua ini yang merupakan teknologi eksotis. Ini adalah soal penempatan lokasi. Hal paling hijau yang dapat dilakukan penyedia komputasi adalah menempatkan perangkat kerasnya di tempat jaringan listriknya sudah bersih dan iklimnya melakukan separuh pendinginan secara gratis.
Apa yang seharusnya benar-benar disampaikan oleh klaim "hijau"
Di sinilah saya menjadi skeptis. "Hijau" adalah kata pemasaran sampai seseorang memberi Anda angka. Ketika penyedia membuat klaim energi bersih, ada tiga hal yang layak ditanyakan:
•PUE. Jika mereka tidak mau mempublikasikannya, anggap klaim itu tidak terverifikasi.
•Bauran jaringan listrik aktual di wilayah tempat pusat data berada. Penyedia yang hanya membeli sertifikat energi terbarukan sambil beroperasi di jaringan listrik fosil tidak beroperasi secara hijau. Lokasi adalah pengungkapannya.
•Apakah energi terbarukan itu kapasitas nyata, bukan offset. Tenaga angin dan matahari baru yang dibangun untuk memasok fasilitas adalah klaim yang berbeda dari membeli kredit di tempat lain.
Penyedia yang jujur akan memberi Anda wilayah dan karakteristik fasilitasnya. Jika jawabannya adalah "pusat data kami berada di Mongolia Dalam, Xinjiang, dan Ningxia, di jaringan listrik dengan penetrasi energi terbarukan yang tinggi, di iklim sejuk," itu adalah pernyataan yang konkret dan dapat diperiksa. Jika jawabannya adalah slogan, lanjut saja.
Apa yang sebenarnya bisa Anda lakukan tentang hal ini
Anda tidak akan mengaudit gardu induk penyedia. Tetapi Anda dapat membuat beberapa keputusan yang menggeser jejak Anda sendiri:
•Pilih penyedia yang mengungkapkan lokasi dan PUE, bukan yang hanya mencetak "netral karbon" di halaman mereka.
•Gunakan model yang lebih kecil jika tugasnya memungkinkan. Model 7B dapat menjawab pertanyaan dukungan hampir sebaik model 175B dengan sebagian kecil energinya. Mengarahkan lalu lintas yang mudah ke model kecil adalah tuas karbon terbesar yang Anda kendalikan.
•Lakukan cache secara agresif. Prompt caching mengubah input yang berulang menjadi biaya sekali saja, memangkas latensi dan energi untuk beban kerja yang repetitif.
•Lakukan batching jika memungkinkan. Permintaan yang lebih sedikit namun lebih besar mengalahkan banyak permintaan kecil dalam hal pemanfaatan server.
Kerangka yang jujur adalah bahwa Anda tidak dapat mengukur jalan menuju jejak yang bersih dengan spreadsheet, karena bauran jaringan listrik tidak ada dalam data Anda. Yang dapat Anda lakukan adalah memilih penyedia yang infrastrukturnya membuat jejaknya lebih kecil secara desain, dan berhenti mengarahkan permintaan sepele ke model terbesar yang mampu Anda bayar.
Itulah posisi yang diambil SiCore TokenWorks: tiga pusat komputasinya berada di Mongolia Dalam Horinger, Xinjiang Hami, dan Ningxia Zhongwei, wilayah yang dipilih karena penetrasi energi terbarukan yang tinggi dan iklim sejuk yang menjaga PUE tetap rendah. Jika Anda peduli pada energi di balik panggilan API Anda, itulah jenis pengungkapan yang lebih penting daripada sekadar lencana.