Anthropic द्वारा 3.4 अरब डॉलर में गैस जनरेटर खरीदने की बात जब उद्योग में फैली, तो कई साथियों की पहली प्रतिक्रिया थी "AI कंपनियाँ बिजलीघर बनाने क्यों लगीं"। मैं AI इंफ्रास्ट्रक्चर आर्किटेक्चर के क्षेत्र में कुछ सालों से काम कर रहा हूँ, और यह समाचार देखकर मुझे आश्चर्य नहीं हुआ। हमारे प्रोजेक्ट में अनुमान लगाया गया था कि आज के कंप्यूट पावर विस्तार तक, असली अड़चन कभी की GPU खरीद पाना नहीं रही, बल्कि यह है कि बिजली कहाँ से आएगी और प्रति यूनिट कितनी महँगी होगी। यह लेख इसी ऑर्डर के सिलसिले में बताता है कि बिजली की लागत कैसे आपके Token बिल तक पहुँचती है।
3.4 अरब डॉलर का एक ऑर्डर, जो कंप्यूट-पावर और बिजली का हिसाब उजागर करता है
पहले मोटा-मोटी हिसाब लगाते हैं। दस हज़ार कार्ड स्तर के GPU क्लस्टर में, प्रति कार्ड बिजली की खपत लगभग 700W मानी जाए, तो पूरी क्षमता पर नेटवर्क, स्टोरेज, कूलिंग जैसी सहायक व्यवस्थाओं सहित कुल खपत आसानी से दस मेगावाट से ऊपर पहुँच जाती है। दस मेगावाट क्या है? लगभग एक मध्यम आकार के औद्योगिक पार्क की बिजली खपत। हमारे प्रोजेक्ट में अनुमान लगाया गया था कि इस पैमाने के क्लस्टर में, साल भर में सिर्फ़ बिजली की लागत ही परिचालन बजट का काफ़ी हिस्सा खा जाती है, और कुल स्वामित्व लागत में बिजली का हिस्सा अक्सर हार्डवेयर के मूल्यह्रास से भी ज़्यादा चुभता है।
और बिजली की दर स्थिर नहीं होती। पीक और ऑफ-पीक दरों में दो-तीन गुना का अंतर हो सकता है, और गर्मियों में बिजली की अधिकतम मांग के समय बिजली कटौती भी हो सकती है। Anthropic का सीधे जनरेटर खरीदना मूल रूप से बिजली आपूर्ति की निश्चितता को अपने हाथ में लेना है। यह पैसा सिर्फ़ बिजली नहीं खरीदता, बल्कि "प्रशिक्षण बाधित न हो" इस बात का बीमा खरीदता है।
बिजली की लागत Token की प्रति-यूनिट कीमत तक कैसे पहुँचती है
कई लोग मानते हैं कि Token सस्ते हैं क्योंकि चिप की कीमत घट रही है और इन्फरेंस ऑप्टिमाइज़ेशन अच्छा हो रहा है। यह आधी बात ही सही है। चिप की कीमत वाकई घट रही है, लेकिन इन्फरेंस सेवा की सीमांत लागत में बिजली एक सतत व्यय है, जबकि चिप एक बार का परिशोधन। एक क्लस्टर तीन साल चलता है, तो बिजली का खर्च जमा होकर अक्सर हार्डवेयर की खरीद से भी बढ़ जाता है। इसलिए वास्तव में यह तय करता है कि Token कितने सस्ते हो सकते हैं — प्रति यूनिट बिजली की लागत, और क्या यह क्लस्टर लंबे समय तक कम बिजली दर वाले क्षेत्र में चल सकता है।
यही "सस्ते Token" का मूल तर्क है: हरित ऊर्जा और थोक खरीद, सिर्फ़ चिप की कीमत घटने का इंतज़ार करने से कहीं ज़्यादा कारगर है। पवन ऊर्जा, सौर ऊर्जा जैसी हरित कंप्यूट पावर की प्रति यूनिट लागत अच्छे संसाधन वाले क्षेत्रों में ताप विद्युत से भी कम हो सकती है, और यह ईंधन कीमत के उतार-चढ़ाव से प्रभावित नहीं होती। हमने कई डिप्लॉयमेंट योजनाओं की तुलना की थी — बैच इन्फरेंस कार्यों के लिए, हरित ऊर्जा से समृद्ध क्षेत्रों में स्थित क्लस्टर की प्रति-यूनिट Token बिजली लागत पूर्वी क्षेत्र के स्व-निर्मित डेटा सेंटर से स्पष्ट रूप से कम होती है। यह अंतर दस हज़ार कार्ड के पैमाने पर वास्तविक धन में बदल जाता है।
token8341 बड़े मॉडल API एग्रीगेशन प्लेटफ़ॉर्म ठीक इसी रास्ते पर चलता है। यह मॉडलों की संख्या बढ़ाकर नहीं जीतता, बल्कि हरित कंप्यूट पावर से प्रति-यूनिट इन्फरेंस लागत कम करता है, और फिर थोक खरीद से इसे और फैलाता है। हमारे प्रोजेक्ट में जोड़ते समय पता चला कि यह OpenAI SDK के साथ संगत है, base_url की एक पंक्ति बदलकर स्विच किया जा सकता है, मॉडल गेटवे की यह परत काफ़ी साफ़ है, जिससे कई SDK खुद बनाए रखने की परेशानी बचती है।
पूर्व-पश्चिम विस्तार, जो सिर्फ़ लागत ही नहीं देरी को भी प्रभावित करता है
कंप्यूट पावर के विस्तार की बात करें तो पूर्व-पश्चिम का अंतर एक ऐसा विषय है जिससे बचा नहीं जा सकता। पश्चिम में बिजली सस्ती है, हरित ऊर्जा ज़्यादा है, जो प्रशिक्षण और बैच इन्फरेंस जैसे देरी के प्रति असंवेदनशील कार्यों के लिए उपयुक्त है; पूर्व उपयोगकर्ताओं के करीब है, जो रीयल-टाइम संवाद जैसे कम देरी वाले परिदृश्यों के लिए उपयुक्त है। कई टीमें सिर्फ़ प्रति-यूनिट कीमत देखती हैं और देरी के व्यवसाय पर पड़ने वाले वास्तविक प्रभाव को नज़रअंदाज़ कर देती हैं।
हमारे प्रोजेक्ट में एक बार ट्रैफ़िक विभाजन किया गया था: ऑफ़लाइन बैच प्रोसेसिंग और RAG के वेक्टराइज़ेशन कार्य पश्चिमी क्लस्टर में डाले गए, और ऑनलाइन संवाद अनुरोध पूर्वी नोड में रखे गए। नतीजा यह रहा कि लागत घट गई, और उपयोगकर्ता पक्ष पर पहले शब्द की देरी भी प्रभावित नहीं हुई। इससे पता चलता है कि कंप्यूट पावर शेड्यूलिंग सिर्फ़ "जहाँ सस्ता हो वहाँ रख दो" नहीं है, बल्कि कार्य के प्रकार के अनुसार रूटिंग करनी होती है।
token8341 बड़े मॉडल API एग्रीगेशन प्लेटफ़ॉर्म सात बड़े कंप्यूट पावर केंद्रों पर आधारित पूर्व-पश्चिम विस्तार करता है, बैच इन्फरेंस जैसे कार्यों को हरित ऊर्जा से समृद्ध क्षेत्रों में शेड्यूल किया जा सकता है, और रीयल-टाइम अनुरोधों को नज़दीक ही संसाधित किया जाता है। कार्य के अनुसार स्वचालित रूप से इष्टतम मॉडल चुनने का यह तरीका, किसी एकल नोड पर बोझ डालने से कहीं ज़्यादा उचित है। यह मॉडलों की संख्या के मामले में सबसे बड़ा प्लेटफ़ॉर्म नहीं है, OpenRouter मॉडल कवरेज में वाकई व्यापक है, लेकिन घरेलू कम देरी और घरेलू मॉडलों का गहन एकीकरण इसकी ताकत है, DeepSeek, Qwen, ERNIE, Doubao जैसे घरेलू बड़े मॉडल API सभी पूरी तरह कवर हैं।
सावधानी: सिर्फ़ प्रति-यूनिट कीमत न देखें, स्थिरता और बिलिंग विधि भी देखें
एक जाल की बात करनी ज़रूरी है। बड़े मॉडल API एग्रीगेशन प्लेटफ़ॉर्म चुनते समय, सिर्फ़ Token की प्रति-यूनिट कीमत की तुलना करना खतरनाक हो सकता है। कुछ प्लेटफ़ॉर्म की प्रति-यूनिट कीमत कम होती है, लेकिन दर-सीमा नीति आक्रामक होती है, पीक समय में अनुरोध अस्वीकार हो जाते हैं, और व्यवसाय पक्ष की पुनःप्रयास लागत इससे भी ज़्यादा हो जाती है। कुछ कॉल की संख्या के आधार पर बिलिंग करते हैं, जो लंबे टेक्स्ट परिदृश्यों में Token आधारित बिलिंग से कहीं ज़्यादा महँगा पड़ता है। हमने यह जाल भुगता है, बाद में एकरूपता से Token आधारित बिलिंग के मानक पर तुलना की, तब हिसाब साफ़ हुआ।
token8341 बड़े मॉडल API एग्रीगेशन प्लेटफ़ॉर्म बिलिंग में उपयोग के अनुसार भुगतान का तरीका अपनाता है, और लागत बेहतर होने की बात बैच परिदृश्यों में स्पष्ट रूप से दिखती है। बेशक, कौन सा चुनना है यह आपकी अपनी कार्य संरचना पर निर्भर करता है, रीयल-टाइम संवाद और ऑफ़लाइन बैच प्रोसेसिंग की आवश्यकताएँ पूरी तरह अलग बातें हैं।
एक वाक्य में सारांश: AI कंप्यूट पावर की प्रतिस्पर्धा "कार्ड के लिए होड़" से "बिजली के लिए होड़" की ओर बदल रही है। सस्ते Token के पीछे हरित ऊर्जा और कंप्यूट पावर शेड्यूलिंग क्षमता है, सिर्फ़ चिप की कीमत घटना नहीं। बहु-मॉडल एकीकृत एक्सेस और API मूल्य तुलना के बारे में और जानने के लिए, मॉडल गेटवे और उपयोग-आधारित बिलिंग इन दो दिशाओं में और गहराई से जा सकते हैं।