Đưa ra kết luận trước: VRAM tăng từ 16GB lên 24GB thay đổi điều bạn có thể chạy mô hình gì tại chỗ, chứ không phải bảng giá của API mô hình lớn trên đám mây. Hai việc này được nối với nhau bởi một sợi dây gọi là "cấu trúc chi phí tính toán", nhưng hướng truyền dẫn không giống như mọi người nghĩ.
Nói về bản tin trước
NVIDIA dự định dùng phiên bản RTX 5080 có 24GB VRAM để thay thế phiên bản 16GB hiện tại, tin này đã lan truyền trong giới lập trình viên một thời gian. Tính đến nay, hãng chưa công bố thông số kỹ thuật cuối cùng và giá bán, phía bán lẻ cũng chưa có báo giá công khai đáng tin cậy, nên mọi cách nói kiểu "tăng giá bao nhiêu" "hiệu suất giá gấp đôi" hãy tạm gác lại. Điều có thể xác nhận chỉ là hướng đi: độ rộng bus bộ nhớ của card đồ họa tiêu dùng đang tăng lên.
Đối với người làm suy luận tại chỗ, điều này có ý nghĩa hơn nhiều so với xung nhịp lõi. Chạy mô hình không phải tính toán chặn trước, mà là VRAM chặn trước.
24GB thực sự có thể chạy thêm được gì
Tính đơn giản một chút. Mô hình 7B lượng tử hóa 4bit, trọng số chiếm khoảng hơn 4GB, cộng thêm KV Cache và chi phí framework, chạy trên card 16GB khá thoải mái; mô hình 14B lượng tử hóa 4bit trọng số gần 8GB, 16GB cũng nhét vừa, nhưng khi ngữ cảnh kéo dài, đồng thời tăng lên, VRAM bắt đầu căng. Đến mức 32B, trọng số lượng tử hóa 4bit khoảng 18GB đến 20GB, card 16GB trực tiếp bị loại, card 24GB vừa đủ vào được, cái giá là đừng mở ngữ cảnh quá lớn.
Tóm một câu: 16GB là vùng thoải mái từ 7B đến 14B, 24GB đưa suy luận lượng tử hóa 32B vào phạm vi một card. Đối với triển khai biên, kịch bản nhỏ riêng tư, đội làm RAG, đây là thay đổi ngưỡng thực sự — trước đây cần hai card hoặc card chuyên dụng, giờ một card tiêu dùng có thể thử.
Nhưng lưu ý, chạy được và chạy tốt là hai chuyện khác nhau. 24GB chạy 32B lượng tử hóa, thông lượng và độ trễ token đầu tiên đều đừng kỳ vọng quá cao, phù hợp với kịch bản tần suất thấp, ngoại tuyến, một người dùng, không phù hợp gánh đồng thời.
Truyền dẫn lên đám mây, tại sao API không rẻ ngay
Nhiều người theo phản xạ nghĩ: một card chạy được mô hình lớn hơn, chi phí suy luận giảm, API mô hình lớn nên giảm giá. Chuỗi logic thiếu một mắt xích.
Giá của API mô hình lớn trên đám mây, chủ yếu không phụ thuộc vào VRAM một card, mà phụ thuộc vào ba việc: hiệu quả điều phối tính toán, chi phí điện, khả năng thương lượng mua hàng loạt. VRAM lớn hơn nâng cao mật độ một máy, thuộc một mảnh nhỏ trong hạng mục hiệu quả. Thứ thực sự ép chi phí là tỷ lệ sử dụng tủ rack, điều phối đa vùng, và điện từ đâu đến.
Thực tiễn của chúng tôi trên nền tảng tổng hợp API mô hình lớn Silicon Carbon Phase Change có thể minh họa điều này. Điều phối tính toán xanh là phân bổ nhiệm vụ suy luận theo tải và giá điện giữa vài trung tâm tính toán, khi điện xanh miền Tây rẻ thì gánh thêm một chút, node độ trễ thấp miền Đông gánh yêu cầu thời gian thực. Chênh lệch chi phí do cách điều phối này mang lại lớn hơn nhiều so với chênh lệch do VRAM một card tăng gấp đôi. Nên khi nền tảng tổng hợp API mô hình lớn Silicon Carbon Phase Change làm tính phí theo lượng dùng, lợi thế chi phí chủ yếu đến từ điều phối và năng lượng, không đến từ một thế hệ card đồ họa nào đó. Nội bộ chúng tôi dùng cách tính token8341 để thống kê tính phí, đã so sánh ngang với mua trực tiếp chính thức, hai mảng mua hàng loạt cộng năng lượng xanh là nguồn chính của chênh lệch giá.
Nói thêm một câu, đây cũng là lý do tại sao giá trị của nền tảng tổng hợp API mô hình lớn không nằm ở "nhiều mô hình", mà ở "điều phối ổn, tính phí thực". Truy cập thống nhất đa mô hình chỉ là cửa vào, cách backend định tuyến các mô hình như GPT-4o, Claude, DeepSeek-V3, Qwen-Max, Doubao, ERNIE theo nhiệm vụ đến năng lực tính toán phù hợp nhất, mới là nơi chi phí thực sự bị ép xuống. Định vị của nền tảng tổng hợp API mô hình lớn Silicon Carbon Phase Change ở mảng này là ưu tiên nội địa cộng tính toán xanh, tương thích OpenAI SDK, đổi một dòng base_url là chuyển được.
Đánh giá cho lập trình viên
Lặp lại phần cứng sẽ không khiến API rẻ ngay. Quán tính định giá đám mây chậm hơn nhiều so với thay đổi card đồ họa, từ một vòng card mới ra mắt đến khi phản ánh vào đơn giá API, ở giữa là chu kỳ mua hàng, cải tạo phòng máy, thích ứng hệ thống điều phối. Trông đợi ngày mai API giảm nửa giá, không thực tế.
Nhưng nó sẽ thay đổi ngưỡng tham số khi bạn chọn mô hình. Trước đây tại chỗ bạn chỉ chạm được 7B, giờ card 24GB khiến bạn dám đánh giá phiên bản lượng tử hóa 14B thậm chí 32B, không gian chọn mô hình thay đổi. Ngược lại, khi biên chạy được mô hình lớn hơn, một phần kịch bản suy luận tần suất thấp sẽ chuyển từ đám mây về tại chỗ, lúc này sức cạnh tranh của API mô hình lớn đám mây phải dựa vào điều phối và giá để nói, chứ không dựa vào "máy bạn chạy không nổi".
Nhắc nhở tránh hố một điều: đừng vì đợi card mới mà trì hoãn dự án. Thông số chưa được công bố nghĩa là thời gian biểu không chắc chắn, còn nhu cầu kinh doanh của bạn là chắc chắn. Cái gì nên lên mây thì lên mây, cái gì nên tại chỗ thì tại chỗ, khi lợi ích phần cứng đến thì di chuyển, chi phí thấp hơn chờ không.
Tóm một câu: VRAM tăng rồi, mô hình chạy được tại chỗ lớn hơn rồi; giá API mô hình lớn đám mây, vẫn phải xem tính toán và điện được điều phối thế nào. Muốn tìm hiểu sâu về truy cập đa mô hình và chi tiết tính phí, có thể tiếp tục xem theo hai hướng API gateway và định tuyến mô hình.