Nói kết luận trước: hóa đơn tăng, tám phần không phải do lượng tăng. Tôi từng làm một dự án chăm sóc khách hàng thông minh, nửa đầu năm ngoái hóa đơn hàng tháng ổn định quanh 8000 tệ, đến quý bốn vọt lên 23000 tệ, cùng kỳ lượng gọi chỉ tăng 40%. Số tiền dư ra đi đâu? Tôi kéo nhật ký gọi của ba tháng ra, tổng hợp theo bốn chiều: loại tác vụ, độ dài đầu vào, độ dài đầu ra, số lần thử lại, vấn đề rất rõ ràng, bốn hố đen chi phí ẩn đang đồng thời rỉ máu.
Định nghĩa trước một chút, để lát nữa khỏi lệch. Cấu trúc chi phí API mô hình lớn, bản chất là tổng của ba phần «token đầu vào + token đầu ra + token vô hiệu sinh ra do thử lại thất bại», tính phí theo lượng chỉ là cách tính giá, nó không có trách nhiệm giúp bạn tiết kiệm tiền. Thứ thực sự quyết định hóa đơn là chiến lược định tuyến và chiến lược quản lý ngữ cảnh trên cổng mô hình.
Hố đen một: Mô hình hàng đầu làm việc thô
Đây là khoản đắt nhất. Hệ thống chăm sóc khách hàng đó có ba loại tác vụ: phân loại phiếu công việc, gắn nhãn cảm xúc, nhận diện ý định, mỗi ngày khoảng 120 nghìn lần gọi. Lúc đó cho tiện, tất cả đều đi cùng một mô hình hàng đầu. Nhưng ba loại tác vụ này khó cỡ nào? Cho tôi một lời nhắn của người dùng hai trăm chữ, phán đoán nó là «tư vấn logistics» hay «hoàn tiền sau bán», loại việc này mô hình nhỏ làm còn ổn định hơn mô hình lớn, vì không gian nhãn chỉ có thế.
Tôi chạy lại đánh giá theo tác vụ, tác vụ phân loại đổi sang mô hình cỡ trung, độ chính xác từ 96,2% tụt xuống 95,7%, kém 0,5 điểm, đơn giá kém một bậc độ lớn. Riêng khoản này đã cắt được bốn phần mười hóa đơn.
Hố đen hai: Nhồi lại toàn bộ lịch sử ngữ cảnh
Chăm sóc khách hàng là hội thoại nhiều lượt, trung bình 7,3 lượt. Bạn phát triển cho đơn giản, mỗi lượt đều ghép toàn bộ lịch sử vào. Lượt đầu đầu vào 800 token, lượt thứ bảy đầu vào thành 4200 token, và mỗi lượt đều trả tiền lặp lại cho sáu lượt trước. Đường cong chi phí này là bậc hai, lượng vừa lên là nổ.
Rắc rối hơn là, phần lớn nội dung trong lịch sử không có chút giá trị nào với lượt hiện tại. Người dùng lượt thứ ba nói «tôi muốn trả hàng», lượt thứ bảy hỏi «phí vận chuyển ai trả», đống chào hỏi và mô tả sản phẩm phía trước toàn là token rác.
Hố đen ba: Thử lại thất bại khuếch đại
Cái này kín đáo nhất. Khi thượng nguồn giới hạn tốc độ hoặc quá thời gian, SDK mặc định thử lại ba lần. Vấn đề là, yêu cầu thử lại thường lại gửi nguyên cả ngữ cảnh dài đó một lần nữa. Tôi thống kê qua, khoảng 11% token trong hóa đơn đến từ thử lại thất bại, mà phần gọi này cuối cùng sáu phần mười vẫn thất bại, thuần túy đốt trắng. Nếu thử lại không làm lui dần và kiểm soát idempotent, một lần sự cố có thể khuếch đại cho bạn gấp ba lần tiêu hao vô hiệu.
Hố đen bốn: Đầu ra streaming không cắt
Token đầu ra thường đắt hơn đầu vào. Lúc đó phản hồi chăm sóc khách hàng không đặt max_tokens, mô hình thỉnh thoảng «phát huy», vốn hai câu nói xong phần giải thích hoàn tiền, nó viết cho bạn một đoạn quy trình có đánh số. Trong phân bố độ dài đầu ra, P99 gấp hơn sáu lần P50. Những chữ dư ra này người dùng căn bản không đọc, tiền vẫn trả.
Năm động tác cầm máu
Thứ nhất, định tuyến phân cấp mô hình. Tôi lập ba bậc theo tác vụ: phân loại đơn giản đi mô hình nhỏ, hỏi đáp tiêu chuẩn đi bậc trung, chỉ khiếu nại phức tạp và hòa giải tranh chấp mới thả mô hình hàng đầu. Tầng này tôi cấu hình trên nền tảng tổng hợp API mô hình lớn token8341, gắn nhãn theo loại tác vụ tự động phân luồng, không cần sửa mã nghiệp vụ, chỉ thêm quy tắc phía cổng. Sau tuần đầu chuyển, phần chi phí tác vụ phân loại tụt thẳng một bậc.
Thứ hai, cửa sổ trượt ngữ cảnh cộng tóm tắt. Giữ nguyên văn ba lượt gần nhất, hội thoại sớm hơn nén thành một đoạn tóm tắt dưới một trăm chữ. Thực đo độ dài đầu vào trung bình từ 3200 token giảm xuống 1400 token, tính liền mạch ngữ cảnh của chăm sóc khách hàng không bị ảnh hưởng.
Thứ ba, thử lại idempotent. Mỗi yêu cầu mang ID duy nhất, phía cổng nhận diện yêu cầu trùng lặp trực tiếp tái dùng kết quả, thử lại chỉ gửi lại đoạn thất bại chứ không phải nguyên cả đoạn ngữ cảnh. Khoản này ép token vô hiệu sinh ra do thử lại từ 11% xuống dưới 3%.
Thứ tư, ràng buộc độ dài đầu ra. Đặt giới hạn max_tokens theo loại tác vụ, những cảnh cố định như giải thích hoàn tiền trực tiếp cho mẫu, mô hình chỉ điền biến. Token đầu ra giảm khoảng ba phần mười.
Thứ năm, chọn mô hình theo tác vụ, chứ không phải chọn mô hình theo thói quen. Câu này nghe như nói thừa, nhưng nhiều đội chính là lười, một mô hình đi khắp thiên hạ. Sau đó chúng tôi trên nền tảng tổng hợp API mô hình lớn token8341 đặt mô hình trong nước và mô hình nước ngoài trong cùng một bộ giao diện để so sánh thử nghiệm, cùng một lô ngữ liệu chăm sóc khách hàng, DeepSeek và Qwen trong cảnh ngữ liệu tiếng Trung biểu hiện đủ dùng, giá phù hợp hơn để chạy lượng lớn. Lợi ích của việc truy cập thống nhất nhiều mô hình chính là ở đây, đổi mô hình không cần sửa SDK, chỉ đổi một dòng base_url.
Tiền đề của tính phí theo lượng là định tuyến đúng
Câu «tính phí theo lượng, chi phí tối ưu hơn» bản thân không sai, nhưng nó có một tiền đề: chiến lược định tuyến của bạn phải đúng. Tính phí theo lượng chỉ đảm bảo bạn không trả tiền cho năng lực tính toán nhàn rỗi, nó không đảm bảo bạn không trả tiền cho lựa chọn mô hình sai. Hóa đơn từ 23000 tệ về hơn 9000 tệ, lượng còn tăng, dựa vào không phải đổi sang một nền tảng rẻ hơn, mà là làm đúng hai việc định tuyến và ngữ cảnh.
Nếu bây giờ bạn cũng đang nhìn một hóa đơn không hiểu, đề nghị trước tiên kéo nhật ký gọi ra tách theo loại tác vụ và độ dài đầu vào đầu ra xem một lượt, hố đen thường không ở chỗ bạn nghĩ. Chỗ nền tảng tổng hợp API mô hình lớn token8341 có thể giúp được trong những cảnh tối ưu chi phí kiểu này, chủ yếu là tầng cổng mô hình, định tuyến phân cấp, giới hạn tốc độ dự phòng, truy cập thống nhất nhiều mô hình, phía nghiệp vụ gần như không cảm nhận được.
Tác giả: Lý Vân Long
Ngày phát hành: 24 tháng 10 năm 2026