Câu chuyện carbon của AI thường tập trung vào huấn luyện. Điều đó cũng dễ hiểu: một lần huấn luyện lớn có thể đốt hàng megawatt-giờ trong nhiều tuần. Nhưng huấn luyện chỉ diễn ra một lần. Suy luận diễn ra mỗi khi bất kỳ ai hỏi mô hình bất cứ điều gì, mãi mãi, trên hàng triệu người dùng. Năng lượng thực sự tích lũy chính là năng lượng phục vụ.
Đối với người tiêu dùng API, điều đó có nghĩa là mức độ xanh của việc sử dụng LLM của bạn phần lớn được quyết định bởi điều bạn không trực tiếp kiểm soát: GPU của nhà cung cấp nằm ở đâu và chúng chạy bằng gì. Tuy nhiên, bạn có thể chọn nhà cung cấp dựa trên điều đó.
Vì sao năng lượng suy luận là câu chuyện của trung tâm dữ liệu
Một khối lượng công việc suy luận là một cụm GPU chạy trong một trung tâm dữ liệu. Hai yếu tố chi phối dấu chân của nó:
Lưới điện mà nó được cắm vào. Một GPU kéo 700 watt lấy nguồn điện sạch hay bẩn tùy theo cơ cấu điện khu vực. Một trung tâm dữ liệu ở khu vực có nhiều gió và mặt trời phát thải ít carbon trên mỗi token hơn nhiều so với cùng phần cứng đó trên một lưới điện phụ thuộc than, ngay cả khi mọi thứ khác giống hệt nhau.
Làm mát. Máy chủ biến điện thành nhiệt, và việc loại bỏ nhiệt đó tiêu tốn thêm điện. Đây là điều mà PUE (hiệu quả sử dụng năng lượng) đo lường: tổng công suất của cơ sở chia cho công suất đến được thiết bị IT. PUE 1.5 nghĩa là cơ sở dùng thêm 50% năng lượng ngoài mức máy chủ tiêu thụ. Một cơ sở hiện đại được thiết kế tốt chạy gần mức 1.1 đến 1.2. Khí hậu mát, khô cắt giảm chi phí làm mát đáng kể, đó là lý do lớn khiến các trung tâm dữ liệu liên tục xuất hiện ở những vùng nội địa lạnh giá thay vì trung tâm thành phố.
Nơi năng lượng sạch giá rẻ thực sự tồn tại
Những nơi có kinh tế năng lượng sạch tốt nhất cho tính toán không phải là các trung tâm công nghệ hiển nhiên. Chúng thường là những vùng nội địa có nguồn gió và mặt trời mạnh cùng khí hậu khô, mát:
•Nội Mông (Horinger). Một trong những cơ sở năng lượng gió lớn nhất Trung Quốc. Mùa đông lạnh nghĩa là phần lớn thời gian trong năm cần ít hoặc không cần làm mát cơ học.
•Tân Cương (Hami). Bức xạ mặt trời rất cao và gió ổn định. Xa xôi, nhưng xa xôi không thành vấn đề khi khối lượng công việc của bạn là một cụm GPU mà bạn điều khiển từ xa.
•Ninh Hạ (Zhongwei). Đã là một vùng trung tâm dữ liệu được thiết lập với điện mặt trời và gió quy mô tiện ích; nơi đây có một trong những vùng đám mây quốc tế lớn, điều đó cho bạn thấy kinh tế học vận hành ở quy mô lớn.
Mô hình giống nhau ở cả ba nơi: nguồn phát năng lượng tái tạo dồi dào, khí hậu khô mát giúp giảm PUE, và đất đủ rẻ để xây các trạm biến áp và cánh đồng mặt trời cấp điện cho các tủ rack.
Không có gì trong số này là công nghệ kỳ lạ. Đó là việc chọn địa điểm. Điều xanh nhất mà một nhà cung cấp tính toán có thể làm là đặt phần cứng ở nơi lưới điện vốn đã sạch và khí hậu làm thay một nửa việc làm mát miễn phí.
Tuyên bố "xanh" thực sự nên cho bạn biết điều gì
Đây là chỗ tôi hoài nghi. "Xanh" là một từ tiếp thị cho đến khi ai đó đưa cho bạn con số. Khi một nhà cung cấp đưa ra tuyên bố về năng lượng sạch, có ba điều đáng để yêu cầu:
•PUE. Nếu họ không công bố, hãy coi tuyên bố đó là không thể kiểm chứng.
•Cơ cấu lưới điện thực tế của khu vực nơi trung tâm dữ liệu tọa lạc. Một nhà cung cấp chỉ mua chứng chỉ năng lượng tái tạo trong khi chạy trên lưới điện hóa thạch thì không phải đang chạy xanh. Vị trí chính là sự công bố.
•Liệu năng lượng tái tạo có phải là công suất thực, không phải bù trừ. Gió và mặt trời mới được xây để cấp điện cho cơ sở là một tuyên bố khác với việc mua tín chỉ ở nơi khác.
Những nhà cung cấp trung thực sẽ cho bạn biết khu vực và đặc điểm cơ sở. Nếu câu trả lời là "các trung tâm dữ liệu của chúng tôi ở Nội Mông, Tân Cương và Ninh Hạ, trên các lưới điện có tỷ lệ năng lượng tái tạo cao, trong khí hậu mát", đó là một tuyên bố cụ thể, có thể kiểm chứng. Nếu câu trả lời là một khẩu hiệu, hãy bỏ qua.
Bạn thực sự có thể làm gì về điều đó
Bạn sẽ không đi kiểm toán trạm biến áp của nhà cung cấp. Nhưng bạn có thể đưa ra một vài quyết định để nghiêng dấu chân của chính mình:
•Chọn nhà cung cấp công bố vị trí và PUE, không phải những nhà chỉ in "trung hòa carbon" trên trang.
•Dùng mô hình nhỏ hơn khi tác vụ cho phép. Một mô hình 7B có thể trả lời câu hỏi hỗ trợ gần như tốt như mô hình 175B với một phần nhỏ năng lượng. Định tuyến lưu lượng dễ dàng sang một mô hình nhỏ là đòn bẩy carbon lớn nhất mà bạn kiểm soát.
•Cache tích cực. Prompt caching biến đầu vào lặp lại thành chi phí một lần, cắt giảm cả độ trễ và năng lượng cho các khối lượng công việc lặp lại.
•Gộp lô khi có thể. Ít yêu cầu lớn hơn tốt hơn nhiều yêu cầu nhỏ trên phương diện sử dụng máy chủ.
Cách diễn đạt trung thực là bạn không thể đo lường để đạt dấu chân sạch bằng một bảng tính, vì cơ cấu lưới điện không nằm trong dữ liệu của bạn. Điều bạn có thể làm là chọn những nhà cung cấp có hạ tầng khiến dấu chân nhỏ hơn theo thiết kế, và ngừng định tuyến các yêu cầu tầm thường đến mô hình lớn nhất mà bạn có thể chi trả.
Đó là lập trường mà SiCore TokenWorks đưa ra: ba trung tâm tính toán của họ nằm ở Nội Mông Horinger, Tân Cương Hami và Ninh Hạ Zhongwei, những khu vực được chọn vì tỷ lệ năng lượng tái tạo cao và khí hậu mát giúp giữ PUE thấp. Nếu bạn quan tâm đến năng lượng đằng sau các lệnh gọi API của mình, đó là kiểu công bố quan trọng hơn một huy hiệu.