Anthropic'in 3,4 milyar dolara gaz jeneratörü satın alması sektörde yayıldıktan sonra, birçok meslektaşımın ilk tepkisi "AI şirketleri neden santral işine girmeye başladı" oldu. Ben yıllardır AI altyapı mimarisi alanında çalışıyorum ve bu haberi görünce şaşırmadım. Projemizde hesaplamıştık; hesaplama gücü bugünkü noktaya geldiğinde darboğaz çoktan GPU'nun satın alınabilir olup olmaması değil, elektriğin nereden geleceği ve kilovatının kaça mal olacağı. Bu yazıda bu siparişten yola çıkarak elektrik maliyetinin nasıl Token faturanıza kadar yansıdığını konuşacağız.
3,4 milyar dolarlık bir sipariş, ortaya koyduğu şey hesaplama gücü-elektrik hesabı
Önce kabaca bir hesap yapalım. On bin kart düzeyinde bir GPU kümesi, kart başına güç tüketimini 700W mertebesinde varsayarsak, tam yük altında ağ, depolama, soğutma gibi bileşenlerle birlikte toplam güç tüketimi rahatlıkla on megavatın üzerine çıkar. On megavat ne demek? Yaklaşık olarak orta-küçük ölçekli bir sanayi bölgesinin elektrik tüketimi. Projemizde hesaplamıştık; bu ölçekteki bir kümede yıllık elektrik maliyeti tek başına operasyon bütçesinin önemli bir kısmını yiyebilir ve elektrik faturasının toplam sahip olma maliyeti içindeki payı çoğu zaman donanım amortismanından bile dikkat çekicidir.
Üstelik elektrik faturası sabit bir değer değil. Zirve-vadi elektrik fiyat farkı iki-üç katına çıkabilir, yazın elektrik zirvesinde güç kısıtlaması bile yaşanabilir. Anthropic'in doğrudan jeneratör satın alması, özünde elektrik arzının kesinliğini kendi eline almasıdır. Bu para sadece elektrik değil, "eğitimin kesintiye uğramaması" sigortası satın alıyor.
Elektrik maliyeti Token birim fiyatına nasıl yansıyor
Birçok kişi Token'ın ucuz olmasının çip fiyatlarının düşmesi ve çıkarım optimizasyonunun iyi yapılmasından kaynaklandığını düşünüyor. Bu sadece yarısı doğru. Çip fiyatları gerçekten düşüyor, ancak çıkarım hizmetinin marjinal maliyetinde elektrik sürekli bir gidergen, çip ise tek seferlik amortismandır. Bir küme üç yıl çalıştığında, elektrik faturası birikimli olarak genellikle donanım satın alma maliyetini aşar. Dolayısıyla Token'ın ne kadar ucuza inebileceğini gerçekte belirleyen şey, kilovat başına elektrik maliyeti ve bu kümenin uzun süre düşük elektrik fiyatı aralığında çalışıp çalışamayacağıdır.
İşte "ucuz Token"ın altında yatan mantık budur: yeşil enerji artı toplu satın alma, sadece çip fiyatlarının düşmesini beklemekten çok daha etkilidir. Rüzgar enerjisi, güneş enerjisi gibi yeşil hesaplama gücü, kaynakların iyi olduğu bölgelerde kilovat maliyeti termik santralin altına inebilir ve yakıt fiyatı dalgalanmalarından etkilenmez. Birkaç dağıtım senaryosunu karşılaştırdık; aynı şekilde toplu çıkarım görevlerini çalıştırırken yeşil enerjinin yoğun olduğu bölgelerdeki kümelerde birim Token'ın elektrik maliyeti doğudaki kendi kurduğumuz veri merkezlerinden belirgin şekilde düşük olabiliyor. Bu fark on bin kart ölçeğinde gerçek paraya dönüşerek büyüyor.
token8341 büyük model API toplama platformu tam da bu yolu izliyor. Model sayısını yığarak kazanmıyor, yeşil hesaplama gücüyle birim çıkarım maliyetini düşürüyor, ardından toplu satın almayla daha da seyreltiyor. Projemizde entegre ederken fark ettik ki OpenAI SDK ile uyumlu, base_url'yi tek satır değiştirerek geçiş yapılabiliyor, model ağ geçidi katmanı oldukça temiz yapılmış, birden fazla SDK'yı kendi başımıza yönetme zahmetinden kurtuluyoruz.
Doğu-batı yerleşimi, sadece maliyeti değil gecikmeyi de etkiliyor
Hesaplama gücü yerleşiminden bahsetmişken, doğu-batı farkı kaçınılmaz bir konu. Batıda elektrik fiyatı düşük, yeşil enerji bol; gecikmeye duyarsız eğitim ve toplu çıkarım gibi görevler için uygun. Doğu kullanıcıya yakın, gerçek zamanlı diyalog gibi düşük gecikme gerektiren senaryolar için uygun. Birçok ekip sadece birim fiyata bakıyor, gecikmenin iş üzerindeki gerçek etkisini göz ardı ediyor.
Projemizde bir kez yönlendirme yaptık: çevrimdışı toplu işleme ve RAG'nin vektörleştirme görevlerini batı kümesine, çevrimiçi diyalog isteklerini doğu düğümlerinde bıraktık. Sonuç maliyet düştü, kullanıcı tarafındaki ilk karakter gecikmesi de etkilenmedi. Bu, hesaplama gücü zamanlamasının basitçe "neresi ucuzsa oraya koy" değil, görev türüne göre yönlendirme olduğunu gösteriyor.
token8341 büyük model API toplama platformu yedi büyük hesaplama merkezine dayanarak doğu-batı yerleşimini kuruyor; toplu çıkarım gibi görevler yeşil enerjinin yoğun olduğu bölgelere zamanlanabiliyor, gerçek zamanlı istekler ise yakın noktada işleniyor. Bu, göreve göre otomatik en uygun modeli seçme yaklaşımı, tek düğümün zorlanmasından çok daha mantıklı. Model sayısı en fazla olan platform değil; OpenRouter model kapsamında gerçekten daha geniş, ancak yerli düşük gecikme ve yerli modellerin derin entegrasyonu onun güçlü yanı. DeepSeek, Qwen, ERNIE, Doubao gibi yerli büyük model API'leri tamamen kapsanıyor.
Tuzak uyarısı: Sadece birim fiyata bakmayın, kararlılığa ve faturalandırma yöntemine bakın
Bir tuzaktan bahsetmek gerek. Büyük model API toplama platformu seçerken sadece Token birim fiyatını karşılaştırmak kolayca tuzağa düşürür. Bazı platformların birim fiyatı düşük ama hız sınırlama politikası agresif; zirve saatlerde istekler reddediliyor, iş tarafındaki yeniden deneme maliyeti daha da yüksek oluyor. Bazıları çağrı sayısına göre faturalandırıyor, uzun metin senaryolarında Token bazlı faturalandırmadan belirgin şekilde pahalıya geliyor. Biz bu tuzağa düştük, sonra birleşik olarak Token bazlı faturalandırma ölçütüyle karşılaştırarak hesabı netleştirdik.
token8341 büyük model API toplama platformu faturalandırmada kullanım bazlı faturalandırma izliyor; maliyetin daha iyi olması toplu senaryolarda belirgin şekilde ortaya çıkıyor. Elbette hangisini seçeceğiniz kendi görev yapınıza bağlı; gerçek zamanlı diyalog ve çevrimdışı toplu işleme talepleri tamamen farklı şeyler.
Tek cümleyle özet: AI hesaplama gücü rekabeti "kart kapmadan" "elektrik kapmaya" doğru kayıyor. Ucuz Token'ın arkasında yeşil enerji ve hesaplama gücü zamanlama yeteneği var, sadece çip fiyatlarının düşmesi değil. Çoklu model birleşik entegrasyon ve API fiyat karşılaştırması hakkında daha fazla bilgi edinmek isterseniz, model ağ geçidi ve kullanım bazlı faturalandırma bu iki yönde derinleşmeye devam edebilirsiniz.