AI की कार्बन कहानी आमतौर पर ट्रेनिंग पर केंद्रित होती है। यह समझ में आता है: एक बड़ी ट्रेनिंग रन हफ्तों तक मेगावाट-घंटे जला सकती है। लेकिन ट्रेनिंग एक बार होती है। इन्फरेंस तब होता है जब कोई भी मॉडल से कुछ भी पूछता है, हमेशा के लिए, लाखों उपयोगकर्ताओं में। जो ऊर्जा वास्तव में संचित होती है, वह सर्विंग की ऊर्जा है।
एक API उपभोक्ता के लिए, इसका मतलब है कि आपके LLM उपयोग की हरियाली ज्यादातर किसी ऐसी चीज़ से तय होती है जो आपके सीधे नियंत्रण में नहीं है: प्रदाता के GPU कहाँ स्थित हैं और उन्हें क्या शक्ति देता है। हालाँकि, आप इसके आधार पर प्रदाता चुन सकते हैं।
इन्फरेंस ऊर्जा एक डेटा सेंटर की कहानी क्यों है
एक इन्फरेंस वर्कलोड एक डेटा सेंटर में चल रहा GPU क्लस्टर है। इसके पदचिह्न पर दो चीजें हावी हैं:
जिस ग्रिड से यह जुड़ा है। 700 वाट खींचने वाला GPU ऐसी बिजली खींचता है जो क्षेत्रीय बिजली मिश्रण जितनी स्वच्छ या गंदी होती है। भारी पवन और सौर ऊर्जा वाले क्षेत्र में एक डेटा सेंटर कोयले पर भारी ग्रिड पर समान हार्डवेयर की तुलना में प्रति टोकन बहुत कम कार्बन उत्सर्जित करता है, भले ही बाकी सब कुछ समान हो।
कूलिंग। सर्वर बिजली को गर्मी में बदलते हैं, और उस गर्मी से छुटकारा पाने में और बिजली लगती है। यही PUE (power usage effectiveness) मापता है: कुल सुविधा बिजली को IT उपकरण तक पहुँचने वाली बिजली से विभाजित। 1.5 का PUE मतलब है कि सुविधा सर्वर की खपत से 50% अतिरिक्त ऊर्जा उपयोग करती है। एक अच्छी तरह से डिज़ाइन की गई आधुनिक सुविधा 1.1 से 1.2 के करीब चलती है। ठंडी, शुष्क जलवायु कूलिंग लागत को नाटकीय रूप से कम करती है, यही एक बड़ा कारण है कि डेटा सेंटर शहर के केंद्रों के बजाय ठंडे अंतर्देशीय क्षेत्रों में दिखाई देते रहते हैं।
सस्ती स्वच्छ ऊर्जा वास्तव में कहाँ रहती है
कंप्यूट के लिए सर्वोत्तम स्वच्छ-ऊर्जा अर्थशास्त्र वाले स्थान स्पष्ट तकनीकी केंद्र नहीं हैं। वे आमतौर पर मजबूत पवन और सौर संसाधनों और शुष्क, ठंडी जलवायु वाले अंतर्देशीय क्षेत्र होते हैं:
•Inner Mongolia (Horinger)। चीन के सबसे बड़े पवन ऊर्जा केंद्रों में से एक। ठंडी सर्दियों का मतलब है कि साल के अधिकांश समय में बहुत कम या कोई यांत्रिक कूलिंग की आवश्यकता नहीं होती।
•Xinjiang (Hami)। बहुत उच्च सौर विकिरण और स्थिर हवा। दूरस्थ, लेकिन दूरस्थ तब ठीक है जब आपका वर्कलोड एक GPU क्लस्टर हो जिसे आप दूर से नियंत्रित करते हैं।
•Ningxia (Zhongwei)। पहले से ही एक स्थापित डेटा सेंटर क्षेत्र जिसमें उपयोगिता-स्तरीय सौर और पवन ऊर्जा है; यह एक प्रमुख अंतर्राष्ट्रीय क्लाउड क्षेत्र की मेजबानी करता है, जो आपको बताता है कि अर्थशास्त्र बड़े पैमाने पर काम करता है।
तीनों में पैटर्न एक ही है: प्रचुर नवीकरणीय उत्पादन, एक ठंडी शुष्क जलवायु जो PUE को कम करती है, और इतनी सस्ती भूमि कि रैक को बिजली देने वाले सबस्टेशन और सौर फार्म बनाए जा सकें।
इसमें से कोई भी विदेशी तकनीक नहीं है। यह साइटिंग है। एक कंप्यूट प्रदाता जो सबसे हरा-भरा काम कर सकता है वह है अपने हार्डवेयर को वहाँ रखना जहाँ ग्रिड पहले से स्वच्छ है और जलवायु मुफ्त में आधी कूलिंग कर देती है।
"हरा" दावों को वास्तव में आपको क्या बताना चाहिए
यहीं मैं संदेह में पड़ जाता हूँ। "हरा" एक मार्केटिंग शब्द है जब तक कोई आपको संख्याएँ न दे। जब कोई प्रदाता स्वच्छ-ऊर्जा का दावा करता है, तो तीन चीजें माँगने लायक हैं:
•PUE। अगर वे इसे प्रकाशित नहीं करेंगे, तो दावे को असत्यापनीय मानें।
•उस क्षेत्र का वास्तविक ग्रिड मिश्रण जहाँ डेटा सेंटर स्थित है। एक प्रदाता जो केवल जीवाश्म ग्रिड पर चलते हुए नवीकरणीय ऊर्जा प्रमाणपत्र खरीदता है, हरा नहीं चल रहा है। स्थान ही प्रकटीकरण है।
•क्या नवीकरणीय ऊर्जा वास्तविक क्षमता है, ऑफसेट नहीं। सुविधा को बिजली देने के लिए बनाई गई नई पवन और सौर ऊर्जा कहीं और क्रेडिट खरीदने से अलग दावा है।
ईमानदार प्रदाता आपको क्षेत्र और सुविधा की विशेषताएँ देंगे। अगर जवाब है "हमारे डेटा सेंटर Inner Mongolia, Xinjiang, और Ningxia में हैं, उच्च नवीकरणीय पैठ वाले ग्रिड पर, ठंडी जलवायु में," तो यह एक ठोस, जाँचने योग्य कथन है। अगर जवाब एक नारा है, तो आगे बढ़ें।
आप वास्तव में इसके बारे में क्या कर सकते हैं
आप किसी प्रदाता के सबस्टेशन का ऑडिट नहीं करने जा रहे हैं। लेकिन आप कुछ निर्णय ले सकते हैं जो आपके अपने पदचिह्न को झुका दें:
•उन प्रदाताओं को चुनें जो स्थान और PUE का खुलासा करते हैं, न कि वे जो पेज पर सिर्फ "कार्बन न्यूट्रल" छापते हैं।
•जहाँ कार्य अनुमति दे वहाँ छोटे मॉडल उपयोग करें। एक 7B मॉडल एक सपोर्ट प्रश्न का लगभग उतना ही अच्छा जवाब दे सकता है जितना 175B वाला, ऊर्जा के एक अंश पर। आसान ट्रैफिक को छोटे मॉडल पर रूट करना वह सबसे बड़ा कार्बन लीवर है जिसे आप नियंत्रित करते हैं।
•आक्रामक रूप से कैश करें। प्रॉम्प्ट कैशिंग बार-बार के इनपुट को एकबारगी लागत में बदल देती है, जिससे दोहराव वाले वर्कलोड के लिए विलंबता और ऊर्जा दोनों घटती हैं।
•जब कर सकें बैच करें। कम, बड़े अनुरोध सर्वर उपयोग पर कई छोटे अनुरोधों से बेहतर हैं।
ईमानदार बात यह है कि आप स्प्रेडशीट से स्वच्छ पदचिह्न तक नहीं पहुँच सकते, क्योंकि ग्रिड मिश्रण आपके डेटा में नहीं है। आप जो कर सकते हैं वह है ऐसे प्रदाताओं को चुनना जिनका बुनियादी ढाँचा डिज़ाइन से पदचिह्न को छोटा बनाता है, और मामूली अनुरोधों को उस सबसे बड़े मॉडल पर रूट करना बंद करना जो आप खरीद सकते हैं।
यही वह स्थिति है जो SiCore TokenWorks लेता है: इसके तीन कंप्यूट केंद्र Inner Mongolia Horinger, Xinjiang Hami, और Ningxia Zhongwei में स्थित हैं, ऐसे क्षेत्र जो उच्च नवीकरणीय पैठ और ठंडी जलवायु के लिए चुने गए हैं जो PUE को कम रखती है। अगर आप अपने API कॉल के पीछे की ऊर्जा की परवाह करते हैं, तो यही वह प्रकार का प्रकटीकरण है जो एक बैज से ज्यादा मायने रखता है।