داستان کربنی هوش مصنوعی معمولاً بر آموزش تمرکز دارد. این قابل درک است: یک اجرای بزرگ آموزش می‌تواند در طول چند هفته مگاوات‌ساعت انرژی مصرف کند. اما آموزش یک بار اتفاق می‌افتد. استنتاج هر بار که کسی از مدل چیزی می‌پرسد، برای همیشه، توسط میلیون‌ها کاربر اتفاق می‌افتد. انرژی‌ای که واقعاً انباشته می‌شود، انرژی سرویس‌دهی است.
برای مصرف‌کننده API، این یعنی سبز بودن استفاده شما از LLM بیشتر توسط چیزی تعیین می‌شود که مستقیماً کنترل نمی‌کنید: اینکه GPUهای ارائه‌دهنده کجا قرار دارند و چه چیزی آن‌ها را تغذیه می‌کند. با این حال، می‌توانید ارائه‌دهنده را بر این اساس انتخاب کنید.
چرا انرژی استنتاج یک داستان مرکز داده است
یک بار کاری استنتاج، یک خوشه GPU است که در یک مرکز داده اجرا می‌شود. دو چیز بر ردپای آن غالب است:
شبکه‌ای که به آن متصل است. یک GPU که ۷۰۰ وات مصرف می‌کند، برقی می‌کشد که به همان اندازه ترکیب برق منطقه‌ای پاک یا آلوده است. یک مرکز داده در منطقه‌ای با باد و خورشید فراوان، کربن بسیار کمتری به ازای هر توکن نسبت به همان سخت‌افزار روی یک شبکه مملو از زغال‌سنگ منتشر می‌کند، حتی اگر همه چیز دیگر یکسان باشد.
خنک‌سازی. سرورها برق را به گرما تبدیل می‌کنند و خلاص شدن از آن گرما برق بیشتری می‌طلبد. این همان چیزی است که PUE (کارایی مصرف برق) اندازه‌گیری می‌کند: کل برق تأسیسات تقسیم بر برقی که به تجهیزات فناوری اطلاعات می‌رسد. PUE برابر ۱.۵ یعنی تأسیسات ۵۰٪ انرژی اضافی فراتر از مصرف سرورها استفاده می‌کند. یک تأسیسات مدرن با طراحی خوب به ۱.۱ تا ۱.۲ نزدیک‌تر عمل می‌کند. اقلیم‌های سرد و خشک هزینه خنک‌سازی را به‌طور چشمگیری کاهش می‌دهند، که دلیل بزرگی است برای اینکه مراکز داده همچنان در مناطق سرد داخلی ظاهر می‌شوند نه در مراکز شهرها.
انرژی پاک ارزان واقعاً کجاست
مکان‌هایی با بهترین اقتصاد انرژی پاک برای محاسبات، قطب‌های فناوری آشکار نیستند. آن‌ها تمایل دارند مناطق داخلی با منابع قوی باد و خورشید و اقلیم خشک و سرد باشند:
•مغولستان داخلی (هورینگر). یکی از بزرگ‌ترین پایگاه‌های انرژی بادی چین. زمستان‌های سرد یعنی بیشتر سال نیاز به خنک‌سازی مکانیکی کم یا صفر دارد.
•سین‌کیانگ (هامی). تابش خورشیدی بسیار بالا و باد پایدار. دورافتاده، اما دورافتادگی اشکالی ندارد وقتی بار کاری شما یک خوشه GPU است که از راه دور کنترل می‌کنید.
•نینگ‌شیا (ژونگوی). در حال حاضر یک منطقه مرکز داده تثبیت‌شده با خورشید و باد در مقیاس خدمات شهری؛ میزبان یکی از مناطق اصلی ابری بین‌المللی است، که نشان می‌دهد اقتصاد در مقیاس کار می‌کند.
الگو در هر سه یکسان است: تولید تجدیدپذیر فراوان، اقلیم سرد و خشک که PUE را پایین می‌آورد، و زمینی به‌قدر کافی ارزان برای ساخت پست‌ها و مزارع خورشیدی که قفسه‌ها را تغذیه می‌کنند.
هیچ‌کدام از این‌ها فناوری عجیب و غریبی نیست. این مکان‌یابی است. سبزترین کاری که یک ارائه‌دهنده محاسبات می‌تواند انجام دهد این است که سخت‌افزارش را جایی قرار دهد که شبکه از قبل پاک است و اقلیم نیمی از خنک‌سازی را رایگان انجام می‌دهد.
ادعاهای «سبز» واقعاً باید چه چیزی به شما بگویند
اینجاست که من شک‌گرا می‌شوم. «سبز» یک کلمه بازاریابی است تا زمانی که کسی اعداد به شما بدهد. وقتی یک ارائه‌دهنده ادعای انرژی پاک می‌کند، سه چیز ارزش درخواست دارد:
•PUE. اگر آن را منتشر نکنند، ادعا را غیرقابل تأیید در نظر بگیرید.
•ترکیب واقعی شبکه منطقه‌ای که مرکز داده در آن قرار دارد. ارائه‌دهنده‌ای که صرفاً گواهی‌های انرژی تجدیدپذیر می‌خرد در حالی که روی شبکه فسیلی کار می‌کند، سبز کار نمی‌کند. مکان همان افشاگری است.
•اینکه آیا تجدیدپذیرها ظرفیت واقعی هستند، نه جبران‌ها. باد و خورشید جدیدی که برای تغذیه تأسیسات ساخته شده، ادعایی متفاوت از خرید اعتبار در جای دیگر است.
ارائه‌دهندگان صادق منطقه و ویژگی‌های تأسیسات را به شما می‌دهند. اگر پاسخ این است «مراکز داده ما در مغولستان داخلی، سین‌کیانگ و نینگ‌شیا هستند، روی شبکه‌هایی با نفوذ بالای تجدیدپذیر، در اقلیم‌های سرد»، این یک بیانیه مشخص و قابل بررسی است. اگر پاسخ یک شعار است، رد شوید.
کاری که واقعاً می‌توانید در این باره انجام دهید
شما قرار نیست پست یک ارائه‌دهنده را حسابرسی کنید. اما می‌توانید چند تصمیم بگیرید که ردپای خودتان را تغییر دهد:
•ارائه‌دهندگانی را انتخاب کنید که مکان و PUE را افشا می‌کنند، نه آن‌هایی که فقط «کربن خنثی» روی صفحه چاپ می‌کنند.
•از مدل‌های کوچک‌تر جایی که وظیفه اجازه می‌دهد استفاده کنید. یک مدل 7B می‌تواند به یک سؤال پشتیبانی تقریباً به خوبی یک مدل 175B پاسخ دهد با کسری از انرژی. مسیریابی ترافیک آسان به یک مدل کوچک، بزرگ‌ترین اهرم کربنی است که کنترل می‌کنید.
•به‌طور تهاجمی کش کنید. کش کردن پرامپت ورودی تکراری را به یک هزینه یک‌باره تبدیل می‌کند، هم تأخیر و هم انرژی را برای بارهای کاری تکراری کاهش می‌دهد.
•وقتی می‌توانید دسته‌بندی کنید. درخواست‌های کمتر و بزرگ‌تر از درخواست‌های کوچک و متعدد بر بهره‌وری سرور برتری دارند.
قالب‌بندی صادقانه این است که نمی‌توانید با یک صفحه گسترده راه خود را به یک ردپای پاک اندازه‌گیری کنید، زیرا ترکیب شبکه در داده‌های شما نیست. کاری که می‌توانید انجام دهید انتخاب ارائه‌دهندگانی است که زیرساخت‌شان ردپا را به‌طور طراحی‌شده کوچک‌تر می‌کند، و متوقف کردن مسیریابی درخواست‌های بی‌اهمیت به بزرگ‌ترین مدلی که می‌توانید بپردازید.
این همان موضعی است که SiCore TokenWorks اتخاذ می‌کند: سه مرکز محاسباتی آن در هورینگر مغولستان داخلی، هامی سین‌کیانگ و ژونگوی نینگ‌شیا قرار دارند، مناطقی که برای نفوذ بالای تجدیدپذیر و اقلیم‌های سرد که PUE را پایین نگه می‌دارند انتخاب شده‌اند. اگر به انرژی پشت فراخوانی‌های API خود اهمیت می‌دهید، این نوع افشاگری است که بیشتر از یک نشان اهمیت دارد.