AIのカーボンに関する議論は、通常トレーニングに焦点を当てます。それは理解できます。1回の大規模なトレーニング実行は、数週間にわたってメガワット時を消費することがあります。しかし、トレーニングは一度きりです。推論は、誰かがモデルに何かを尋ねるねるたびに、何百万人ものユーザーにわたって、永遠に発生します。実際に積み上がるエネルギーは、サービングのエネルギーです。
API利用者にとって、これはLLM利用のグリーン度が、直接的には自分が制御できないもの——プロバイダーのGPUがどこにあり、何で動いているか——によってほとんど決まることを意味します。ただし、それを基準にプロバイダーを選ぶことはできます。
なぜ推論エネルギーはデータセンターの話になるのか
推論ワークロードとは、データセンターで稼働するGPUクラスタです。そのフットプリントを支配するのは2つの要素です。
接続されている電力網。 700ワットを消費するGPUは、地域の電力構成と同じだけクリーン、あるいは汚い電力を引き込みます。風力と太陽光が豊富な地域のデータセンターは、他のすべてが同じであっても、石炭依存の電力網上の同じハードウェアよりもトークンあたりの炭素排出量がはるかに少なくなります。
冷却。 サーバーは電力を熱に変え、その熱を排出するにはさらに電力が必要です。これがPUE（電力使用効率）が測定するものです：施設全体の電力÷IT機器に届く電力。PUEが1.5とは、施設がサーバーの消費を超えて50%余分にエネルギーを使うことを意味します。設計の良い現代の施設は1.1から1.2に近づきます。冷涼で乾燥した気候は冷却コストを劇的に削減します。これが、データセンターが都市中心部ではなく寒冷な内陸地域に次々と現れる大きな理由です。
安価なクリーン電力が実際に存在する場所
コンピュートにとって最良のクリーンエネルギー経済性を持つ場所は、明白なテックハブではありません。強い風力と太陽光資源、そして乾燥した冷涼な気候を備えた内陸地域である傾向があります。
•内モンゴル（和林格尔）。 中国最大の風力発電基地の一つ。寒い冬は、一年の大半で機械冷却をほとんど、あるいはまったく必要としません。
•新疆（ハミ）。 非常に高い太陽照射量と安定した風。遠隔地ですが、ワークロードが遠隔で制御するGPUクラスタであれば、遠隔地であることは問題ありません。
•寧夏（中衛）。 すでに確立されたデータセンター地域で、事業規模の太陽光と風力があり、主要な国際クラウドリージョンの一つを擁しています。これは、経済性が規模で成り立つことを示しています。
パターンは3つすべてで同じです：豊富な再生可能エネルギー発電、PUEを下げる冷涼で乾燥した気候、そしてラックに電力を供給する変電所や太陽光発電所を建設するのに十分安い土地。
これはどれも exotic な技術ではありません。立地です。コンピュートプロバイダーができる最もグリーンなことは、電力網がすでにクリーンで、気候が冷却の半分をただでやってくれる場所にハードウェアを置くことです。
「グリーン」という主張が実際に教えてくれるべきこと
ここで私は懐疑的になります。「グリーン」は、誰かが数字を示すまではマーケティング用語です。プロバイダーがクリーンエネルギーの主張をするとき、尋ねるねる価値のあることが3つあります。
•PUE。 公表しなければ、その主張は検証不能として扱ってください。
•データセンターが位置する地域の実際の電力構成。 化石燃料の電力網で稼働しながら再生可能エネルギー証書を購入するだけのプロバイダーは、グリーンに稼働していません。立地が開示です。
•再生可能エネルギーがオフセットではなく実際の設備容量かどうか。 施設に電力を供給するために建設された新しい風力と太陽光は、他所でクレジットを購入するのとは別の主張です。
誠実なプロバイダーは、地域と施設の特性を教えてくれます。答えが「当社のデータセンターは内モンゴル、新疆、寧夏にあり、再生可能エネルギーの比率が高い電力網で、冷涼な気候に位置しています」であれば、それは具体的で検証可能な記述です。答えがスローガンなら、次に進みましょう。
実際にできること
プロバイダーの変電所を監査することはないでしょう。しかし、自分のフットプリントを傾けるいくつかの決定はできます。
•立地とPUEを開示するプロバイダーを選ぶ。ページに「カーボンニュートラル」と印刷するだけのところではありません。
•タスクが許す場合は小さいモデルを使う。 7Bモデルは、サポートの質問に175Bモデルとほぼ同じくらい良く答え、エネルギーはほんの一部です。簡単なトラフィックを小さいモデルにルーティングすることは、あなたが制御できる最大の炭素レバーです。
•積極的にキャッシュする。 プロンプトキャッシュは、繰り返される入力を一度きりのコストに変え、反復的なワークロードのレイテンシとエネルギーの両方を削減します。
•可能なときはバッチ処理する。 より少なく大きなリクエストは、多くの小さなリクエストよりもサーバー利用率で優れています。
正直なところ、スプレッドシートでクリーンなフットプリントを測定することはできません。なぜなら、電力構成はあなたのデータの中にはないからです。できることは、インフラが設計によってフットプリントを小さくするプロバイダーを選び、手頃な範囲で最大のモデルに些細なリクエストをルーティングするのをやめることです。
それがSiCore TokenWorksが打ち出す立場です：3つのコンピュートセンターは内モンゴル和林格尔、新疆ハミ、寧夏中衛にあり、再生可能エネルギー比率が高くPUEを低く保つ冷涼な気候のために選ばれた地域です。API呼び出しの背後にあるエネルギーを気にするなら、バッジよりもこうした開示のほうが重要です。