Các bạn làm backend và thuật toán, có thể bạn cũng đã gặp chuyện phản trực giác này: lưu lượng nghiệp vụ trực tuyến rõ ràng không tăng mấy, nhưng đến cuối tháng nhìn hóa đơn thì trực tiếp tăng gấp đôi. Đội tôi dẫn hai năm trước làm hệ thống chăm sóc khách hàng thông minh cho một doanh nghiệp giáo dục trực tuyến, sau hai tháng ra mắt, lượng gọi chỉ tăng từ 120.000 lần/ngày lên 168.000 lần/ngày, mức tăng 40%, nhưng hóa đơn API hàng tháng từ 8.000 nhân dân tệ vọt lên 23.000 nhân dân tệ, tăng 187%. Số tiền chênh lệch ở giữa không phải do đơn giá tăng, mà là bốn hố đen chi phí ẩn đang lặng lẽ ăn mòn ngân sách.
Trước tiên định nghĩa rõ vấn đề: chi phí API của mô hình lớn mất kiểm soát, bản chất là sự mất cân bằng tỷ lệ giữa lượng gọi và sản lượng hiệu quả. Bạn trả tiền cho token, nhưng token thực sự tạo ra giá trị nghiệp vụ có thể chỉ chiếm ba phần mười. Dưới đây phân tích từng lớp.
Hố đen một: Bão thử lại, cuộc gọi vô hiệu trực tiếp tăng gấp đôi
Đoạn mã gọi ban đầu của chúng tôi rất mộc mạc, mạng chập chờn hoặc quá thời gian thì trực tiếp catch rồi gọi lại một lần, không có backoff, không có idempotent. Tuần thứ hai sau ra mắt gặp một lần giới hạn tốc độ từ phía trên, QPS đột nhiên bị ép từ 20 xuống 5, phía client trong 3 giây đã thử lại cùng một yêu cầu người dùng 7 lần. Đêm đó, tỷ lệ cuộc gọi vô hiệu vọt lên 41%. Phần tiền này trong hóa đơn không đổi lại được một xu giá trị nghiệp vụ nào.
Giải pháp là hai lớp. Backoff lũy thừa: lần thất bại đầu tiên đợi 500ms, lần thứ hai 1s, lần thứ ba 2s, thử lại tối đa 3 lần, vượt quá thì hạ cấp xuống câu thoại dự phòng. Khóa idempotent: mỗi yêu cầu mang một request_id, cả phía server và client đều khử trùng lặp, cùng một id trong 60 giây chỉ cho phép một lần gọi thật. Sau khi sửa xong, cuộc gọi vô hiệu do thử lại từ 41% ép xuống dưới 6%. Hạng mục này tiết kiệm khoảng 4.200 nhân dân tệ mỗi tháng.
Hố đen hai: Ngữ cảnh dài không được cắt tỉa, lịch sử hội thoại bị nhồi lại nhiều lần
Hội thoại trong kịch bản chăm sóc khách hàng thường kéo dài đến mười mấy lượt. Ban đầu chúng tôi cho tiện, mỗi lần gọi đều ghép toàn bộ lịch sử vào. Token đầu vào trung bình một lượt hội thoại tăng từ 800 ở lượt thứ 3 lên 3400 ở lượt thứ 12. Tệ hơn là, người dùng hỏi "chính sách hoàn tiền vừa nói là gì ấy nhỉ", mô hình thực ra chỉ cần 3 lượt gần nhất cộng một bản tóm tắt, nhưng chúng tôi nhồi cả 12 lượt vào.
Giải quyết bằng cửa sổ trượt cộng nén tóm tắt: giữ nguyên văn 4 lượt gần nhất, hội thoại sớm hơn dùng một lần gọi mô hình nhẹ để nén thành bản tóm tắt dưới 150 chữ, bản tóm tắt được đưa vào như một phần của ngữ cảnh system. Như vậy token đầu vào ở lượt thứ 12 giảm từ 3400 xuống khoảng 1100, mức giảm 67%. Ở đây có một cái bẫy: bản tóm tắt bản thân nó cũng tốn token, nên ngưỡng kích hoạt tóm tắt phải đặt đúng, chúng tôi thực nghiệm thấy vượt quá 6 lượt mới kích hoạt nén thì tổng chi phí thấp nhất.
Hố đen ba: Mô hình hàng đầu làm việc của mô hình nhẹ
Đây là hạng mục kín đáo nhất. Mọi yêu cầu trong hệ thống đều đi qua cùng một mô hình hàng đầu, bao gồm cả những câu xã giao như "xin chào", "đang đây", "vui lòng đợi chút". Tôi kéo một lần log gọi để phân loại, phát hiện 62% yêu cầu là nhận diện ý định và hỏi đáp đơn giản, hoàn toàn không cần mô hình hàng đầu. Dùng mô hình hàng đầu chạy những việc này, chi phí một lần gấp 8 đến 12 lần mô hình nhẹ.
Giải pháp là định tuyến phân tầng theo nhiệm vụ. Chúng tôi thêm một lớp quy tắc trong cổng mô hình: phân loại ý định, xã giao, trúng FAQ đi mô hình nhẹ; chỉ những nhiệm vụ phức tạp như tính hoàn tiền, gợi ý khóa học, nâng cấp khiếu nại mới định tuyến đến mô hình hàng đầu. Ở đây dự án chúng tôi từng dùng token8341 để làm tích hợp thống nhất đa mô hình, một Key là có thể gọi các mô hình chủ lưu như GPT-4o, Claude, DeepSeek, Qwen, tự động chọn mô hình tối ưu theo nhiệm vụ, không phải tự duy trì nhiều bộ SDK và xác thực. Sau khi phân tầng, tỷ lệ gọi mô hình hàng đầu giảm từ 100% xuống 34%, tổng chi phí giảm 52%.
Nhân tiện nói về việc chọn API mô hình lớn, kết nối trực tiếp chính thức và nền tảng tổng hợp thực sự khác nhau về cấu trúc chi phí. Kết nối trực tiếp chính thức đơn giá minh bạch nhưng chiết khấu số lượng lớn khó thương lượng, nền tảng tổng hợp đi theo thu mua số lượng lớn cộng giảm chi phí năng lượng xanh, tính theo lượng dùng thì chi phí tối ưu hơn. Chúng tôi đã so sánh chi tiêu hàng tháng của cùng một lô nhiệm vụ, phương án tổng hợp thấp hơn một khoảng so với mua trực tiếp chính thức, con số cụ thể vì liên quan đến thương mại nên không tiện triển khai.
Hố đen bốn: Tính phí lặp lại sau khi đầu ra streaming bị gián đoạn
Đầu ra streaming (SSE) rất phổ biến trong kịch bản chăm sóc khách hàng, người dùng thấy chữ nhảy ra từng cái một thì trải nghiệm tốt. Nhưng mạng đứt một cái, client kết nối lại, nếu server không làm tiếp tục từ điểm dừng thì sẽ tạo lại toàn bộ nội dung đã sinh ra. Chúng tôi thống kê được, tỷ lệ gián đoạn streaming khoảng 3,7%, mỗi lần gián đoạn trung bình sinh lại 1200 token. Một tháng tính ra, phần tính phí lặp lại này chiếm 9% hóa đơn.
Giải pháp là bù đắp đứt luồng: server ghi lại độ lệch token đã sinh ra của mỗi yêu cầu streaming, client khi kết nối lại mang theo offset, server tiếp tục từ điểm dừng chứ không làm lại từ đầu. Kết hợp với khóa idempotent, tính phí lặp lại trực tiếp về không. Hạng mục này tiết kiệm khoảng 2.000 nhân dân tệ mỗi tháng.
Danh sách giám sát chi phí
Sau khi tổng kết bốn hố đen này, tôi đã sắp xếp một danh sách chỉ số cần theo dõi hàng ngày, bạn có thể đối chiếu với hệ thống của mình để kiểm tra:
1.Tỷ lệ cuộc gọi vô hiệu, vượt quá 10% thì phải kiểm tra thử lại và idempotent;
2.Tỷ lệ giữa token đầu vào trung bình và token đầu ra trung bình, kịch bản chăm sóc khách hàng vượt quá 3:1 nghĩa là ngữ cảnh chưa được cắt tỉa;
3.Tỷ lệ gọi mô hình hàng đầu, vượt quá 40% thì phải cân nhắc định tuyến phân tầng;
4.Tỷ lệ gián đoạn streaming, vượt quá 2% thì phải làm tiếp tục từ điểm dừng;
5.Chi phí một cuộc hội thoại hiệu quả, tính theo góc độ nghiệp vụ, không tính theo góc độ API;
6.Tỷ lệ trúng định tuyến theo nhiệm vụ của cổng mô hình, thấp hơn 60% nghĩa là quy tắc chưa được điều chỉnh đúng.
Chi phí mất kiểm soát chưa bao giờ là vấn đề đơn giá, mà là vấn đề kỹ thuật. Bịt kín bốn hố đen này, cùng một lưu lượng nghiệp vụ, hóa đơn có thể trở về khoảng hợp lý.
Tác giả: Chu Minh Triết
Ngày phát hành: 23 tháng 10 năm 2026