Yapay zekanın karbon hikayesi genellikle eğitime odaklanır. Bu anlaşılabilir bir durumdur: tek bir büyük eğitim çalışması haftalar boyunca megavat-saatlerce enerji tüketebilir. Ancak eğitim bir kez gerçekleşir. Çıkarım ise herkes modele her soru sorduğunda, sonsuza dek, milyonlarca kullanıcı boyunca gerçekleşir. Gerçekte biriken enerji, hizmet sunmanın enerjisidir.
Bir API tüketicisi için bu, LLM kullanımınızın yeşilliğinin büyük ölçüde doğrudan kontrol etmediğiniz bir şey tarafından belirlendiği anlamına gelir: sağlayıcının GPU'larının nerede bulunduğu ve bunlara neyin güç verdiği. Ancak buna göre bir sağlayıcı seçebilirsiniz.
Çıkarım enerjisi neden bir veri merkezi hikayesidir
Bir çıkarım iş yükü, bir veri merkezinde çalışan bir GPU kümesidir. Ayak izine iki şey hakimdir:
Bağlı olduğu şebeke. 700 watt çeken bir GPU, bölgesel elektrik karışımı kadar temiz veya kirli güç çeker. Rüzgar ve güneşin yoğun olduğu bir bölgedeki bir veri merkezi, diğer her şey aynı olsa bile, kömür ağırlıklı bir şebekedeki aynı donanıma kıyasla token başına çok daha az karbon salmaktadır.
Soğutma. Sunucular elektriği ısıya dönüştürür ve bu ısıdan kurtulmak daha fazla elektrik gerektirir. PUE (güç kullanım etkinliği) bunu ölçer: toplam tesis gücünün BT ekipmanına ulaşan güce bölümü. 1,5'lik bir PUE, tesisin sunucuların tükettiğinin %50 üzerinde ek enerji kullandığı anlamına gelir. İyi tasarlanmış modern bir tesis 1,1 ila 1,2'ye daha yakın çalışır. Serin, kuru iklimler soğutma maliyetini çarpıcı biçimde düşürür; bu da veri merkezlerinin şehir merkezleri yerine neden soğuk iç bölgelerde görünmeye devam ettiğinin önemli bir nedenidir.
Ucuz temiz güç aslında nerede bulunur
Hesaplama için en iyi temiz enerji ekonomisine sahip yerler bariz teknoloji merkezleri değildir. Güçlü rüzgar ve güneş kaynaklarına ve kuru, serin bir iklime sahip iç bölgeler olma eğilimindedirler:
•İç Moğolistan (Horinger). Çin'in en büyük rüzgar enerjisi üslerinden biri. Soğuk kışlar, yılın büyük bölümünde az veya hiç mekanik soğutma gerektirmediği anlamına gelir.
•Sincan (Hami). Çok yüksek güneş ışınımı ve istikrarlı rüzgar. Uzak, ancak iş yükünüz uzaktan kontrol ettiğiniz bir GPU kümesi olduğunda uzak olmak sorun değildir.
•Ningxia (Zhongwei). Halihazırda kurulu bir veri merkezi bölgesi; kamu ölçeğinde güneş ve rüzgar enerjisine sahip ve büyük uluslararası bulut bölgelerinden birine ev sahipliği yapıyor; bu da ekonominin ölçekte işlediğini gösteriyor.
Kalıp üçünde de aynıdır: bol yenilenebilir üretim, PUE'yi düşüren serin kuru bir iklim ve rafları besleyen trafo merkezlerini ve güneş tarlalarını inşa etmek için yeterince ucuz arazi.
Bunların hiçbiri egzotik teknoloji değildir. Bu bir yerleşim meselesidir. Bir hesaplama sağlayıcısının yapabileceği en yeşil şey, donanımını şebekenin zaten temiz olduğu ve iklimin soğutmanın yarısını ücretsiz yaptığı bir yere koymaktır.
"Yeşil" iddialarının aslında size ne söylemesi gerektiği
İşte burada şüpheci oluyorum. "Yeşil", biri size sayılar vermediği sürece bir pazarlama kelimesidir. Bir sağlayıcı temiz enerji iddiasında bulunduğunda, istenmeye değer üç şey vardır:
•PUE. Yayınlamayacaklarsa, iddiayı doğrulanamaz olarak değerlendirin.
•Veri merkezinin bulunduğu bölgenin gerçek şebeke karışımı. Fosil bir şebekede çalışırken yalnızca yenilenebilir enerji sertifikaları satın alan bir sağlayıcı yeşil çalışmıyor demektir. Konum, açıklamadır.
•Yenilenebilir kaynakların denkleştirme değil, gerçek kapasite olup olmadığı. Tesisi beslemek için inşa edilen yeni rüzgar ve güneş, başka bir yerden kredi satın almaktan farklı bir iddiadır.
Dürüst sağlayıcılar size bölgeyi ve tesis özelliklerini verecektir. Cevap "veri merkezlerimiz İç Moğolistan, Sincan ve Ningxia'da, yüksek yenilenebilir penetrasyonlu şebekelerde, serin iklimlerde" ise, bu somut ve kontrol edilebilir bir ifadedir. Cevap bir slogan ise, devam edin.
Bu konuda gerçekte ne yapabilirsiniz
Bir sağlayıcının trafo merkezini denetlemeyeceksiniz. Ancak kendi ayak izinizi eğecek birkaç karar verebilirsiniz:
•Konum ve PUE açıklayan sağlayıcıları seçin, sayfaya sadece "karbon nötr" yazanları değil.
•Görevin izin verdiği yerde daha küçük modeller kullanın. 7B'lik bir model bir destek sorusunu neredeyse 175B'lik bir model kadar iyi yanıtlayabilir ve bunu enerjinin çok küçük bir kısmıyla yapar. Kolay trafiği küçük bir modele yönlendirmek, kontrol ettiğiniz en büyük karbon kaldıracıdır.
•Agresif biçimde önbelleğe alın. İstem önbelleğe alma, tekrarlanan girdiyi tek seferlik bir maliyete dönüştürerek tekrarlayan iş yükleri için hem gecikmeyi hem de enerjiyi azaltır.
•Mümkün olduğunda toplu işleyin. Daha az sayıda büyük istek, sunucu kullanımında çok sayıda küçük isteği yener.
Dürüst çerçeve şudur: bir elektronik tabloyla temiz bir ayak izine ölçerek ulaşamazsınız, çünkü şebeke karışımı verilerinizde yoktur. Yapabileceğiniz şey, altyapısı ayak izini tasarım gereği küçülten sağlayıcıları seçmek ve önemsiz istekleri karşılayabileceğiniz en büyük modele yönlendirmeyi bırakmaktır.
SiCore TokenWorks'ün ortaya koyduğu konum budur: üç hesaplama merkezi İç Moğolistan Horinger, Sincan Hami ve Ningxia Zhongwei'de bulunuyor; bu bölgeler yüksek yenilenebilir penetrasyon ve PUE'yi düşük tutan serin iklimler için seçilmiştir. API çağrılarınızın arkasındaki enerjiyi önemsiyorsanız, önemli olan tam da bu tür bir açıklamadır, bir rozetten daha fazlası.