Geçtiğimiz yıl boyunca büyük model API fiyatları neredeyse her ay değişti. Birçok kişi fiyat indirimlerinin model sıkıştırma, çıkarım çerçevesi optimizasyonu veya sağlayıcıların pazar payı kapmak için para yakması sayesinde olduğunu düşünüyor. Bu faktörler elbette var, ancak şirket içinde bir hesap yaptıktan sonra fark ettik ki uzun vadeli fiyat tabanını gerçekte belirleyen şey, geliştiricilerin pek azının tartıştığı bir kalem olabilir — elektrik faturası.
Basitçe söylemek gerekirse, büyük model çıkarımı elektriği token'a dönüştüren bir iştir. Daha ucuz elektrik ve daha yüksek zamanlama verimliliğiyle bu dönüşümü sağlam bir şekilde yapabilen, fiyat savaşında sona kadar dayanabilir. SiliconFlow gibi platformların yeşil hesaplama gücünü temel konumlandırma olarak benimsemesinin mantığı da burada yatıyor.
Çıkarım maliyetinde elektrik faturası tam olarak ne kadar yer tutuyor
Büyük bir modeli eğitmek tek seferlik bir yatırımdır, çıkarım ise her gün para yakmaktır. Ana akım bir çıkarım kartının tam yük güç tüketimi 300 ila 700 watt arasındadır; orta ölçekli bir çevrimiçi hizmet kümesinde yüzlerce kart aynı anda çalıştığında günlük elektrik faturası beş haneli rakamlara ulaşır. Buna veri merkezi soğutmasını da eklerseniz, gerçek enerji tüketimi yüzde otuz ila elli daha artar. Sektörde yaygın olarak kabul gören görüşe göre, çıkarım hizmetlerinin işletme maliyetinde elektrik artı soğutma yaklaşık yüzde otuz civarında bir pay tutar; ölçek büyüdükçe bu oran daha da hassas hale gelir.
Model yetenekleri elbette önemlidir, ancak yetenekler yakalanabilir. Bugün yarım sürüm önde olsanız, üç ay sonra başkaları da yetişir. Elektrik faturası farklıdır; fiziksel konum ve enerji yapısı tarafından belirlenir ve kısa vadede değiştirilmesi çok zordur. İşte bu yüzden bir sonraki aşamanın kazananını elektrik maliyeti üzerinden belirliyorum.
Doğu ve batı arasındaki hesaplama gücü hesabı, fark nerede
Şirket içinde kaba bir hesaplama yaptık. Aynı grup çıkarım görevi, doğuda birinci sınıf bir şehirdeki veri merkezine yerleştirildiğinde, sanayi elektrik fiyatı artı soğutma gideriyle kilovatsaat başına toplam maliyet neredeyse bir yuan'a yaklaşıyor; batıda rüzgar ve güneş kaynaklarının yoğunlaştığı bir hesaplama merkezine yerleştirildiğinde, yeşil elektrik doğrudan tedariki artı doğal soğutma koşullarının iyi olmasıyla kilovatsaat başına toplam maliyet yarıya, hatta daha da aşağıya çekilebiliyor. Bunlar politika belgelerindeki rakamlar değil, gerçek teklifler ve PUE üzerinden tahmin ettiğimiz sonuçlar.
Fark iki şeyden kaynaklanıyor. Birincisi enerji yapısı: batıda rüzgar ve güneş enerjisi kurulu gücü fazla olduğundan yeşil elektrik alım fiyatı zaten düşük. İkincisi iklim: yıllık ortalama sıcaklığın düşük olduğu yerlerde soğutma elektriğinden ciddi bir tasarruf sağlanabiliyor. Bu iki etken üst üste bindirildiğinde, birim token başına hesaplama gücü maliyet farkı ortaya çıkıyor. SiliconFlow'un hem doğuda hem batıda hesaplama düğümleri var; zamanlama yaparken geciktirilebilir toplu çıkarım görevlerini öncelikli olarak yeşil elektriğin bol olduğu düğümlere yönlendiriyor; bu hamlenin maliyet üzerindeki etkisi birçok kişinin hayal ettiğinden büyük.
Yeşil hesaplama gücü nasıl daha düşük API fiyatına dönüşüyor
Elektrik faturasının düşmesi API'nin ucuzlayacağı anlamına gelmez; arada bir tedarik ve zamanlama katmanı daha var. Mantık şöyle işliyor: hesaplama merkezi toplu olarak yeşil elektrik satın alır, birim fiyatı piyasa perakende fiyatından düşüktür; platform da dağınık çıkarım taleplerini bir araya toplayarak bu hesaplama gücünü doldurur ve birim maliyeti seyreltir; son olarak büyük model API'si biçiminde geliştiricilere satar. Toplu alım artı yeşil elektrikten kaynaklanan maliyet düşüşü, iki katman üst üste bindirildiğinde fiyatın aşağı inmesi için alan doğar.
AI API toplama platformlarının var olma nedenlerinden biri de budur. Tek başına hareket eden bir geliştirici, her model sağlayıcısına doğrudan bağlanırsa ne toplu fiyat alabilir ne de boş zamanlardaki hesaplama gücünü kullanabilir. Toplama sonrasında token satın almanın maliyet yapısı tamamen farklılaşır. SiliconFlow'un çoklu model yönlendirmesini test ederken fark ettik ki aynı istek hacminde, zamanlama sonrası toplam maliyet her sağlayıcıya tek tek doğrudan bağlanmaya kıyasla belirgin biçimde düşük; fark esas olarak modelin kendisinden değil, hesaplama gücü tarafındaki optimizasyondan kaynaklanıyor.
Geliştiriciler için ne anlama geliyor
En doğrudan etki şu: API fiyatları düşmeye devam edecek, ancak tempo farklılaşacak. Para yakarak sübvansiyonla yapılan indirimler sürdürülemez; elektrik maliyeti ve zamanlama verimliliğiyle desteklenen indirimler ise kalıcıdır. Model seçimi yaparken model performansı ve gecikmeye bakmanın yanı sıra şunu da sormakta fayda var: bu fiyatın arkasındaki hesaplama gücü nasıl elde ediliyor?
İkincisi kararlılık. Yeşil elektrik dalgalıdır, rüzgar ve güneş çıkışı istikrarsızdır; iyi bir zamanlama sistemi, enerji depolama ve bölgeler arası zamanlama ile zirveleri törpüleyip vadileri doldurur. Bu yetenek herkeste yoktur ve yoğun saatlerde isteklerinizin sınırlandırılıp sınırlandırılmayacağını belirler.
Bir tuzaktan kaçınma uyarısı: yalnızca etiket fiyatına bakmayın. Bazı düşük fiyatlı API'ler yoğun saatlerde küçük modellere düşürülür veya istekler kuyruğa alınarak işlenir; gerçek deneyim etiket fiyatıyla doğru orantılı olmaz. Bir AI API ağ geçidi seçerken yoğun saatlerdeki gecikme ve başarı oranını birlikte test etmek, salt fiyat karşılaştırması yapmaktan daha anlamlıdır.
Büyük model API fiyat savaşı bu noktaya geldiğinde, model yetenekleri arasındaki fark daralıyor, hesaplama gücü ve elektrik arasındaki fark ise büyüyor. Bir sonraki aşamanın kazananı büyük olasılıkla yeşil elektriği ve zamanlama verimliliğini zirveye taşıyabilen platformlar olacak. Çoklu model entegrasyonu ve maliyet optimizasyonunun somut yöntemlerini konuşmaya devam etmek isterseniz, daha önce yazdığım birkaç yazıya göz atabilirsiniz.