Yalnızca bir LLM sağlayıcısı kullandıysanız, o sağlayıcının fiyatlandırma sayfasındaki liste fiyatı muhtemelen fiyat gibi görünür. Değildir. Bu, perakende fiyatıdır ve çoğu perakende fiyatı gibi, içinde çok fazla marj ve yapı barındırır. Toplayıcılar tam da bu yapıya saldırarak para kazanır.
Doğrudan liste fiyatları neden yüksektir
Doğrudan fiyatlandırmanın modeli çalıştırmakla ilgisi olmayan maliyetleri vardır. Bir satıcıdan doğrudan satın aldığınızda aynı zamanda şunlar için de ödeme yaparsınız:
•Minimum taahhütler. Bazı sağlayıcılar size en iyi oranı vermeden önce ön ödemeli bakiye veya taahhüt edilmiş harcama ister. Küçük ekipler nadiren bu kademelere ulaşır.
•Tek sağlayıcı, tek sözleşme. Her satıcının kendi kaydı, kendi faturası, kendi para birimi vardır. Üç sağlayıcı çalıştırmak üç fatura ve üç ödeme yöntemi demektir.
•Kendi faturanız içinde rekabet yok. Tek bir satıcıya bağlı kaldığınızda, o satıcının indirim yapmak için hiçbir nedeni yoktur. Onların oranını ödersiniz ya da gidersiniz.
•Sizin rahatınız için değil, kendi korumaları için belirlenmiş hız limitleri.
Toplayıcılar, yukarı akış kapasitesini toplu olarak satın alıp indirimin bir kısmını aşağıya aktarabildikleri için vardır. Ayrıca harcamayı sağlayıcılar arasında taşımanıza olanak tanırlar ki asıl kaldıraç budur: gelecek ay model A ucuzlarsa, satıcı değiştirmeden trafiğinizi değiştirirsiniz.
Rakamlarla matematik
Şeklinin net olması için bilerek basit örnek sayılar kullanacağım. Gerçek fiyatlar sürekli değişir, ancak aritmetik aynıdır.
Diyelim ki bir sağlayıcı bir modeli milyon giriş token'ı başına $2.50 ve milyon çıkış token'ı başına $10.00 olarak listeliyor. Tipik bir iş yükü, diyelim ki ayda 10 milyon giriş token'ı ve 4 milyon çıkış token'ı yapan bir destek-talebi özetleyicisi, şu maliyete sahip olur:
Direct: (10M x $2.50) + (4M x $10.00) = $25 + $40 = $65.00 / monthToplu fiyatlandırma müzakere etmiş bir toplayıcı, aynı modeli liste fiyatının kabaca dörtte biri olan milyon başına $0.60 giriş ve $2.40 çıkış fiyatıyla sunabilir:
Aggregated: (10M x $0.60) + (4M x $2.40) = $6.00 + $9.60 = $15.60 / monthBu, tek bir mütevazı iş yükünde ayda yaklaşık $49 tasarruf, yani ~%76 azalma, başka hiçbir şeye dokunmadan önce. Token sayılarını bir büyüklük sırası yükseltin, mutlak tasarruf da onunla birlikte ölçeklenir.
Kilit nokta bu belirli sayılar değil. Kilit nokta, "liste fiyatı" ile "hacim fiyatı" arasındaki farkın gerçek olduğu ve bir toplayıcının işinin o farkın içinde oturup bir kısmını size geri vermek olduğudur.
İnce yazıda gizlenen diğer maliyetler
Token başına fiyat manşettir, ancak tüm fatura değildir. İnsanları yanıltan üç şey vardır:
Önbellek isabet fiyatlandırması. Bazı modeller bir prompt önbelleğine isabet eden token'larda indirim yapar. Bir sağlayıcı önbelleğe alınmış giriş için tam fiyat, başka biri bunun %10'unu ücretlendiriyorsa, tekrarlayan prompt'lara sahip bir iş yükü aynı liste fiyatında bile maliyet açısından çok farklı olabilir. Taahhüt etmeden önce sorun.
Para birimi ve ödeme sürtünmesi. Faturalandırması kartınızın sevmediği bir para biriminde veya bölgede olan bir satıcıdan satın almak, dönüşüm ücretleri ve başarısız ödeme sıkıntıları ekler. Kendi para biriminizde tek bir toplayıcı faturası bunu ortadan kaldırır.
Gizli maliyet olarak hız limitleri. Dakikada yalnızca 10 kez çağırabildiğiniz ucuz bir model ucuz değildir; telafi etmek için yeniden deneme ve kuyruklama mantığı kuracaksınız ve bu mühendislik zamanıdır. Verim limitleri, fiyatlandırma sayfasında olmasa bile fiyat karşılaştırmasına aittir.
Hızlı bir maliyet hesaplayıcı
Sayılara sahip olduğunuzda, inşa etmeden önce harcamayı tahmin etmek basittir. Bu ruhla yazılmış küçük bir Python betiği:
def monthly_cost(input_tokens, output_tokens, in_price, out_price):
# prices are per million tokens
return (input_tokens / 1e6) * in_price + (output_tokens / 1e6) * out_price
# Direct list price
direct = monthly_cost(10_000_000, 4_000_000, 2.50, 10.00)
# Aggregator price (example values)
aggregated = monthly_cost(10_000_000, 4_000_000, 0.60, 2.40)
print(f"Direct: ${direct:.2f}")
print(f"Aggregated: ${aggregated:.2f}")
print(f"Saved: ${direct - aggregated:.2f}")Gerçek token sayılarınızı gerçek fiyatlarınızla bunun içinden geçirin. Önemli olan tek sayı budur.
Toplayıcıların size para kazandırmadığı yerler
Sınırlar konusunda açık olmalıyım. Bir toplayıcı bir yeniden satıcıdır. Bazı modeller yeniden satıcılar aracılığıyla hiç mevcut değildir ve bazı niş modeller için bir toplayıcının marjı doğrudan gitmekten daha kötü olabilir. Tasarruflar, hacim indirimlerinin bulunduğu popüler genel amaçlı modellerde en büyüktür. Nadiren çağırdığınız egzotik bir model için fark gürültüdür.
Ayrıca, toplayıcının güvenilirliği kötüyse daha ucuz bir fiyat değersizdir. Size güvenilmez bir uç nokta kazandıran %30 tasarruf, yeniden denemeler, destek talepleri ve kendi zamanınızı hesaba kattığınızda %30'dan fazlaya mal olur. Fiyat ve güvenilirlik iki değil, tek bir karardır.
SiCore TokenWorks bu modelin basit bir versiyonudur: OpenAI uyumlu, kullandıkça öde, DeepSeek, Qwen, ERNIE, Doubao, Spark ve Pangu'dan popüler modellerin yanı sıra GPT-4o, Claude ve Gemini'yi içeren bir katalogla, resmi token başına oranların oldukça altında listelenmiş.