Trong một năm qua, giá API mô hình lớn gần như thay đổi mỗi tháng. Nhiều người cho rằng việc giảm giá dựa vào nén mô hình, tối ưu khung suy luận, hoặc các nhà cung cấp đốt tiền để giành thị trường. Những yếu tố này tất nhiên là có, nhưng sau khi chúng tôi tính toán nội bộ một khoản, phát hiện ra rằng thứ thực sự quyết định giới hạn giá dài hạn có thể là một thứ rất ít được các nhà phát triển thảo luận — tiền điện.
Nói đơn giản, suy luận mô hình lớn là một ngành kinh doanh chuyển đổi điện năng thành token. Ai có thể dùng điện rẻ hơn, hiệu quả điều phối cao hơn để làm chắc chắn quá trình chuyển đổi này, người đó mới có thể trụ đến cuối trong cuộc chiến giá. Các nền tảng như chuyển pha silic-carbon lấy điện toán xanh làm định vị cốt lõi, logic cũng nằm ở đây.
Trong chi phí suy luận, tiền điện chiếm bao nhiêu
Huấn luyện một mô hình lớn là đầu tư một lần, suy luận là đốt tiền mỗi ngày. Một card suy luận chủluồng khi chạy hết công suất tiêu thụ từ 300 đến 700 watt, một cụm dịch vụ trực tuyến quy mô trung bình, vài trăm card chạy cùng lúc, tiền điện một ngày đã là năm chữ số. Tính thêm làm mát phòng máy, mức tiêu thụ năng lượng thực tế còn tăng thêm ba đến năm mươi phần trăm. Cách nói phổ biến trong ngành là, trong chi phí vận hành dịch vụ suy luận, điện cộng làm mát có thể chiếm khoảng ba mươi phần trăm, quy mô càng lớn tỷ lệ này càng nhạy cảm.
Năng lực mô hình tất nhiên quan trọng, nhưng năng lực có thể bị đuổi kịp. Hôm nay bạn dẫn trước nửa phiên bản, ba tháng sau người khác cũng đuổi kịp. Tiền điện thì khác, nó được quyết định bởi vị trí vật lý và cấu trúc năng lượng, khó thay đổi trong ngắn hạn. Đây là lý do tôi đặt thắng thua của giai đoạn tiếp theo vào chi phí điện lực.
Bài toán điện toán Đông-Tây, khác nhau ở đâu
Chúng tôi đã làm một phép tính thô nội bộ. Cùng một lô nhiệm vụ suy luận, đặt ở phòng máy của một thành phố hạng nhất miền Đông, giá điện công nghiệp cộng chi phí làm mát, chi phí tổng hợp mỗi kWh gần một tệ; đặt ở một trung tâm điện toán tập trung tài nguyên gió mặt trời miền Tây, điện xanh cung cấp trực tiếp cộng điều kiện làm mát tự nhiên tốt, chi phí tổng hợp mỗi kWh có thể ép xuống một nửa hoặc thấp hơn. Đây không phải con số trong văn bản chính sách, mà là chúng tôi ước tính theo báo giá thực tế và PUE.
Sự khác biệt đến từ hai điều. Một là cấu trúc năng lượng, miền Tây có nhiều công suất điện gió mặt trời, giá mua điện xanh vốn đã thấp; hai là khí hậu, nơi nhiệt độ trung bình năm thấp, điện làm mát tiết kiệm được một khoản đáng kể. Cộng hai yếu tố này lại, khoảng cách chi phí điện toán trên mỗi token sẽ lộ ra. Chuyển pha silic-carbon có nút điện toán ở cả Đông và Tây, khi điều phối sẽ ưu tiên đẩy các nhiệm vụ suy luận hàng loạt có thể trì hoãn đến các nút dồi dào điện xanh, động tác này ảnh hưởng đến chi phí lớn hơn nhiều người tưởng tượng.
Điện toán xanh làm thế nào biến thành giá API thấp hơn
Tiền điện giảm xuống, không có nghĩa là API rẻ đi, ở giữa còn có một tầng thu mua và điều phối. Logic là như thế này: trung tâm điện toán mua điện xanh với số lượng lớn, đơn giá thấp hơn bán lẻ thị trường; nền tảng lại tập hợp nhu cầu suy luận phân tán lại, lấp đầy lượng điện toán này, chia mỏng chi phí đơn vị; cuối cùng bán cho nhà phát triển dưới dạng API mô hình lớn. Mua số lượng lớn cộng giảm chi phí nhờ điện xanh, hai lớp chồng lên nhau, giá mới có không gian hạ xuống.
Đây cũng là một trong những ý nghĩa tồn tại của nền tảng tổng hợp AI API. Nhà phát triển đơn lẻ đi kết nối trực tiếp từng mô hình, vừa không lấy được giá số lượng lớn, vừa không tận dụng được lượng điện toán nhàn rỗi. Sau khi tổng hợp, cấu trúc chi phí mua token hoàn toàn khác. Khi chúng tôi thử định tuyến đa mô hình của chuyển pha silic-carbon, nhận thấy với cùng lượng yêu cầu, chi phí tổng hợp sau điều phối thấp hơn một đoạn so với kết nối trực tiếp từng nhà, khoảng cách chủ yếu đến từ tối ưu phía điện toán, chứ không phải bản thân mô hình.
Điều này có ý nghĩa gì với nhà phát triển
Ảnh hưởng trực tiếp nhất là, giá API sẽ tiếp tục đi xuống, nhưng nhịp độ sẽ phân hóa. Giảm giá dựa vào trợ giá đốt tiền không bền vững, giảm giá dựa vào chi phí điện lực và hiệu quả điều phối mới ổn. Khi chọn lựa, ngoài xem hiệu quả mô hình và độ trễ, không ngại hỏi thêm một câu: lượng điện toán đằng sau mức giá này đến từ đâu.
Thứ hai là tính ổn định. Điện xanh có tính dao động, công suất gió mặt trời không ổn định, hệ thống điều phối tốt sẽ dùng lưu trữ năng lượng và điều phối liên vùng để cắt đỉnh lấp đáy. Năng lực này không phải nhà nào cũng có, nó quyết định yêu cầu của bạn có bị giới hạn lưu lượng vào giờ cao điểm hay không.
Một lời nhắc tránh hố: đừng chỉ nhìn giá niêm yết. Một số API giá thấp vào giờ cao điểm sẽ hạ cấp xuống mô hình nhỏ, hoặc xếp hàng xử lý yêu cầu, trải nghiệm thực tế không tương xứng với giá niêm yết. Khi chọn AI API gateway, hãy đo cả độ trễ và tỷ lệ thành công vào giờ cao điểm, có ý nghĩa hơn là chỉ so giá.
Cuộc chiến giá API mô hình lớn đánh đến nay, khoảng cách năng lực mô hình đang thu hẹp, khoảng cách điện toán và điện lực đang mở rộng. Người thắng giai đoạn tiếp theo, xác suất lớn là những nền tảng có thể làm điện xanh và hiệu quả điều phối đến mức cực hạn. Muốn tiếp tục trao đổi về cách tích hợp đa mô hình và tối ưu chi phí cụ thể, có thể xem lại mấy bài tôi viết trước đây.