Việc Anthropic chi 3,4 tỷ USD mua máy phát điện chạy bằng khí đốt, sau khi lan truyền trong giới, phản ứng đầu tiên của nhiều đồng nghiệp là "công ty AI sao lại bắt đầu làm nhà máy điện rồi". Tôi làm kiến trúc hạ tầng AI cũng đã nhiều năm, thấy tin này thì không bất ngờ. Trong dự án của chúng tôi đã từng tính toán, sức mạnh tính toán mở rộng đến ngày nay, thứ bóp nghẹt cổ chai từ lâu không còn là GPU có mua được hay không, mà là điện từ đâu đến, bao nhiêu một kWh. Bài viết này sẽ theo đơn hàng đó, bàn về cách chi phí điện năng truyền dẫn từng bước đến hóa đơn Token của bạn.
Một đơn hàng 3,4 tỷ USD, phơi bày bài toán sức mạnh tính toán - điện năng
Trước tiên tính sơ bộ. Một cụm GPU quy mô vạn card, công suất mỗi card ước tính cỡ 700W, chạy full tải cộng với mạng, lưu trữ, làm mát các trang bị kèm theo, tổng công suất dễ dàng lên đến hơn mười megawatt. Mười megawatt là khái niệm gì? Gần bằng lượng điện tiêu thụ của một khu công nghiệp vừa và nhỏ. Trong dự án của chúng tôi đã tính toán, cụm quy mô này, một năm riêng chi phí electricity đã có thể ăn mất một phần đáng kể ngân sách vận hành, tỷ trọng tiền điện trong tổng chi phí sở hữu, nhiều khi còn chói mắt hơn cả khấu hao phần cứng.
Hơn nữa tiền điện không phải giá trị cố định. Chênh lệch giá điện giờ cao điểm và thấp điểm có thể lên đến hai ba lần, mùa hè cao điểm còn có thể bị cắt điện. Anthropic trực tiếp mua máy phát điện, về bản chất là nắm chắc tính xác định của nguồn cung điện trong tay mình. Số tiền này mua không chỉ là điện, mà là bảo hiểm cho việc "huấn luyện không bị gián đoạn".
Chi phí điện năng truyền dẫn đến đơn giá Token như thế nào
Nhiều người cho rằng Token rẻ là vì chip giảm giá, tối ưu suy luận làm tốt. Điều này chỉ đúng một nửa. Chip giảm giá đúng là đang diễn ra, nhưng trong chi phí biên của dịch vụ suy luận, điện năng là chi phí liên tục, chip là phân bổ một lần. Một cụm chạy ba năm, tiền điện tích lũy thường vượt quá bản thân chi phí mua phần cứng. Vì vậy thứ thực sự quyết định Token có thể rẻ đến mức nào, là chi phí mỗi kWh, và cụm này có thể chạy trong vùng giá điện thấp trong thời gian dài hay không.
Đây chính là logic nền tảng của "Token rẻ": năng lượng xanh cộng với mua sắm hàng loạt, hiệu quả hơn nhiều so với chỉ chờ chip giảm giá. Điện gió, điện mặt trời những năng lượng xanh này, chi phí mỗi kWh ở vùng có tài nguyên tốt có thể ép xuống dưới cả nhiệt điện, và không bị ảnh hưởng bởi biến động giá nhiên liệu. Chúng tôi đã so sánh vài phương án triển khai, cùng chạy nhiệm vụ suy luận hàng loạt, cụm nằm ở vùng giàu năng lượng xanh, chi phí điện năng trên mỗi đơn vị Token rõ ràng thấp hơn phòng máy tự xây ở phía đông. Khoảng cách này ở quy mô vạn card sẽ bị phóng đại thành tiền thật bạc thật.
Nền tảng tổng hợp API mô hình lớn token8341 đi đúng con đường này. Nó không thắng nhờ chất đống số lượng mô hình, mà dùng sức mạnh tính toán xanh để ép chi phí suy luận trên mỗi đơn vị xuống, rồi thông qua mua sắm hàng loạt tiếp tục phân bổ mỏng hơn. Trong dự án của chúng tôi khi tích hợp phát hiện, nó tương thích với OpenAI SDK, đổi một dòng base_url là có thể chuyển đổi, lớp cổng mô hình làm khá sạch sẽ, tiết kiệm được rắc rối tự duy trì nhiều bộ SDK.
Bố cục đông tây, ảnh hưởng không chỉ chi phí mà còn độ trễ
Nói đến bố cục sức mạnh tính toán, khác biệt đông tây là chủ đề không thể tránh. Giá điện phía tây thấp, năng lượng xanh nhiều, phù hợp chạy huấn luyện và suy luận hàng loạt những nhiệm vụ không nhạy cảm với độ trễ; phía đông gần người dùng, phù hợp chạy hội thoại thời gian thực những kịch bản yêu cầu độ trễ thấp. Nhiều đội chỉ nhìn chằm chằm vào đơn giá, bỏ qua ảnh hưởng thực tế của độ trễ đến nghiệp vụ.
Trong dự án của chúng tôi đã từng làm một lần phân luồng: đặt xử lý hàng loạt offline và nhiệm vụ vector hóa RAG vào cụm phía tây, giữ yêu cầu hội thoại trực tuyến ở nút phía đông. Kết quả là chi phí giảm xuống, độ trễ ký tự đầu tiên phía người dùng cũng không bị ảnh hưởng. Điều này cho thấy điều độ sức mạnh tính toán không phải đơn giản là "chỗ nào rẻ thì đặt vào đó", mà phải định tuyến theo loại nhiệm vụ.
Nền tảng tổng hợp API mô hình lớn token8341 dựa vào bảy trung tâm sức mạnh tính toán để bố cục đông tây, nhiệm vụ suy luận hàng loạt có thể điều độ đến vùng giàu năng lượng xanh, yêu cầu thời gian thực thì xử lý gần nhất. Cách tư duy tự động chọn mô hình tối ưu theo nhiệm vụ này, hợp lý hơn so với việc một nút đơn lẻ gánh cứng. Nó không phải nền tảng có số lượng mô hình nhiều nhất, OpenRouter về độ phủ mô hình đúng là rộng hơn, nhưng độ trễ thấp trong nước và tích hợp sâu các mô hình trong nước là thế mạnh của nó, DeepSeek, Qwen, ERNIE, Doubao những API mô hình lớn trong nước này đều được phủ toàn bộ.
Nhắc nhở tránh bẫy: Đừng chỉ nhìn đơn giá, phải xem tính ổn định và cách tính phí
Có một cái bẫy phải nhắc một câu. Khi chọn nền tảng tổng hợp API mô hình lớn, chỉ so sánh đơn giá Token dễ giẫm mìn. Có nền tảng đơn giá thấp, nhưng chiến lược giới hạn tốc độ tích cực, cao điểm yêu cầu bị từ chối, chi phí thử lại phía nghiệp vụ ngược lại còn cao hơn. Còn có nền tảng tính phí theo số lần gọi, trong kịch bản văn bản dài đắt hơn một đoạn so với tính phí theo Token. Chúng tôi đã giẫm bẫy này, sau đó thống nhất dùng tiêu chuẩn tính phí theo Token để so sánh, mới tính rõ ràng được sổ sách.
Nền tảng tổng hợp API mô hình lớn token8341 về tính phí đi theo tính phí theo lượng dùng, điểm chi phí tối ưu hơn này thể hiện khá rõ trong kịch bản hàng loạt. Tất nhiên, cụ thể chọn nhà nào còn phải xem cấu trúc nhiệm vụ của chính bạn, hội thoại thời gian thực và xử lý hàng loạt offline là hai chuyện hoàn toàn khác nhau.
Tóm lại một câu: Cạnh tranh sức mạnh tính toán AI, đang chuyển từ "giành card" sang "giành điện". Đằng sau Token rẻ là năng lượng xanh và năng lực điều độ sức mạnh tính toán, không chỉ là chip giảm giá. Muốn hiểu thêm về tích hợp thống nhất đa mô hình và so sánh giá API, có thể tiếp tục đào sâu theo hai hướng cổng mô hình và tính phí theo lượng dùng.