Tháng trước khi phòng tài chính ném hóa đơn qua, tôi tưởng cô ấy nhìn nhầm. Lượng gọi so với tháng trước tăng 40%, nhưng hóa đơn lại từ hơn sáu chữ số nhảy thẳng lên gần gấp ba. Tính theo tuyến tính, cùng lắm chỉ tốn thêm bốn mươi phần trăm, phần dư ra đó từ đâu chui ra?
Tôi kéo log gọi của gần ba mươi ngày xuống, cắt theo mô hình, theo API, theo số lần thử lại một lượt, vấn đề không nằm ở "lượng", mà nằm ở "cấu trúc". Bốn điểm chảy máu ngầm, cái sau càng khó phát hiện hơn cái trước.
Nói trước cái chướng mắt nhất: mô hình hàng đầu đang làm việc thô. Chúng tôi có một module nhận diện ý định, vốn dĩ dùng mô hình nhẹ là đủ, giai đoạn đầu vì tiện nên gắn thẳng vào mô hình hàng đầu đắt nhất, không ai động tới. Loại lưu lượng này chiếm hơn sáu mươi phần trăm tổng số yêu cầu, nhưng giá trị nghiệp vụ mang lại cực thấp. Chạy lại theo phân tầng mô hình, đẩy các việc phân loại, trích xuất, kiểm tra định dạng xuống mô hình nhỏ, chỉ để những yêu cầu thực sự cần suy luận cho mô hình hàng đầu, chi phí phần này có thể ép xuống còn một phần ba đến một nửa. Đừng xem nhẹ động tác này, nó không cần sửa logic nghiệp vụ, chỉ sửa định tuyến.
Cụ thể phân tầng thế nào? Tôi cắt theo loại tác vụ thành ba bậc: bậc một là phân loại và nhận diện ý định, đầu vào ngắn, đầu ra ngắn, logic đơn giản, mô hình nhỏ hoàn toàn gánh được; bậc hai là trích xuất thông tin và kiểm tra định dạng, cần một chút hiểu ngữ nghĩa nhưng không cần suy luận nhiều bước, dùng mô hình tầm trung; bậc ba mới là suy luận nhiều bước phức tạp, sinh văn bản dài, hoàn thiện mã, để cho mô hình hàng đầu. Sau khi cắt xong tôi đối chiếu, độ chính xác của tác vụ bậc một trên mô hình nhỏ chỉ giảm chưa tới hai điểm phần trăm, nhưng chi phí mỗi lần gọi giảm gần chín mươi phần trăm. Bậc hai còn tinh tế hơn, khoảng cách F1 giữa mô hình tầm trung và mô hình hàng đầu trên tác vụ trích xuất chưa tới 0.03, nhưng chi phí chênh nhau năm lần. Tính khoản này là hiểu ngay, tiền tiêu thêm trước đây thuần túy là do lười cho tiện.
Cái hố thứ hai còn âm hiểm hơn. Bão thử lại. Ngưỡng thời gian chờ của một API thượng nguồn nào đó đặt quá chặt, mạng rung một cái là client thử lại, thử lại lại quá giờ, lại thử lại. Trong log có thể thấy cùng một yêu cầu bị đánh bốn năm lần, mỗi lần đều đốt Token, mà phía người dùng chỉ thấy một lần thất bại. Kiểu tiêu hao vô ích này không lộ ra trong hóa đơn, nhưng tỷ trọng có thể lên tới khoảng hai mươi phần trăm. Động tác rất đơn giản: đổi thử lại thành thử lại idempotent có lùi bước, nới rộng ngưỡng thời gian chờ, phía máy chủ làm khử trùng lặp yêu cầu. Làm xong Token vô ích có thể cắt được phần lớn.
Ở đây nói rõ vài tham số then chốt. Chúng tôi nới ngưỡng thời gian chờ từ 3 giây ban đầu lên 15 giây, số lần thử lại từ không giới hạn đổi thành tối đa hai lần, chiến lược lùi bước dùng lùi bước hàm mũ cộng jitter — lần thử lại đầu chờ 1 giây, lần thứ hai chờ 2 giây, cộng jitter ngẫu nhiên để tránh hiệu ứng bầy đàn. Phía máy chủ thêm một dấu vân tay yêu cầu, cùng một dấu vân tay trong 60 giây chỉ xử lý một lần, các yêu cầu sau trả thẳng kết quả cache. Sửa xong tôi theo dõi riêng một tuần, tỷ lệ thử lại từ 18% ban đầu giảm xuống dưới 4%, tiêu hao Token vô ích cắt thẳng hơn bảy mươi phần trăm. Còn một thu hoạch bất ngờ: khiếu nại quá giờ phía người dùng ngược lại giảm đi, vì sau khi nới ngưỡng, những yêu cầu vốn có thể thành công nhưng bị cắt ngang quá sớm giờ đều trả về bình thường.
Cái thứ ba là ngữ cảnh dài không cắt tỉa. API hội thoại của chúng tôi mặc định nhét toàn bộ lịch sử vào, người dùng trò chuyện đến vòng thứ hai mươi, Token đầu vào gấp mười mấy lần vòng đầu. Nhưng thực tế phần lớn lịch sử không có ích cho câu trả lời hiện tại. Dùng cửa sổ trượt cộng nén tóm tắt, chỉ giữ nguyên văn vài vòng gần nhất cộng một bản tóm tắt cuộn, phía đầu vào có thể giảm bốn đến sáu mươi phần trăm. Ở đây có một chi tiết, bản thân tóm tắt cũng tốn Token, nên cửa sổ không thể ép quá mạnh, phải tìm ra điểm uốn đó.
Chúng tôi thử vài bộ tham số, cuối cùng chốt ở tổ hợp "nguyên văn năm vòng gần nhất + tóm tắt cuộn". Tóm tắt cuộn không phải vòng nào cũng tạo lại, mà cứ ba vòng cập nhật một lần, nén hội thoại sớm hơn thành một đoạn tóm tắt trong hai trăm chữ. Như vậy lượng Token phía đầu vào từ hơn tám nghìn ở vòng thứ hai mươi giảm xuống còn hơn ba nghìn, mức giảm vượt sáu mươi phần trăm. Nhưng tôi cũng thử ép xuống chỉ giữ hai vòng gần nhất, kết quả là chất lượng câu trả lời rõ ràng giảm sút, khi người dùng hỏi tiếp ngữ cảnh mô hình thường trả lời lạc đề. Nên điểm uốn này đúng là tồn tại, phải tự đo theo kịch bản nghiệp vụ của mình. Kinh nghiệm của chúng tôi là: kích thước cửa sổ không nên thấp hơn ba vòng gần nhất, tần suất cập nhật tóm tắt không nên cao hơn một lần mỗi hai vòng, nếu không số tiền Token tiết kiệm được không đủ bù cho trải nghiệm người dùng.
Cái thứ tư, tỷ lệ trúng cache thấp. Các yêu cầu giống nhau hoặc rất tương đồng đánh vào lặp đi lặp lại, mà chúng tôi lần nào cũng suy luận lại. Các nội dung hoàn toàn có thể cache như system prompt, template cố định, hỏi đáp tần suất cao, tỷ lệ trúng khi đó chưa tới một phần mười. Thêm tầng cache ngữ nghĩa vào, yêu cầu lặp lại trả thẳng, tỷ lệ tiết kiệm được phần này phụ thuộc vào độ lặp của nghiệp vụ, phía chúng tôi khoảng hai đến ba mươi phần trăm.
Phần cache ngữ nghĩa đáng nói thêm vài câu. Cache chính xác chỉ trúng được yêu cầu hoàn toàn giống nhau, nhưng trong kịch bản thực tế có rất nhiều yêu cầu "ý gần giống nhưng cách diễn đạt khác". Ví dụ người dùng hỏi "làm sao hoàn tiền" và "quy trình hoàn tiền là gì", khớp chính xác không trúng được, cache ngữ nghĩa thì có thể. Giải pháp chúng tôi dùng là: vector hóa đầu vào, tìm kiếm láng giềng gần nhất xấp xỉ trong kho cache, độ tương đồng vượt ngưỡng thì trả thẳng kết quả cache. Đặt ngưỡng bao nhiêu rất then chốt, đặt quá cao tỷ lệ trúng không lên được, đặt quá thấp dễ trả về câu trả lời không liên quan. Cuối cùng chúng tôi chốt ở 0.92, tỷ lệ trúng từ dưới 10% kéo lên 34%, và không nhận được khiếu nại nào của người dùng nói trả lời lạc đề. Phần system prompt và template cố định còn đơn giản hơn, làm thẳng cache tiền tố, tỷ lệ trúng gần 100%.
Bốn động tác cộng lại, sau đó chúng tôi chạy lại theo tính phí theo lượng cộng phân tầng mô hình, hóa đơn hạ xuống còn khoảng 1.2 lần trước khi tăng, mà lượng gọi vẫn là mức tăng 40% đó. Tiện nói thêm, ở giữa có thử token8341 để làm truy cập thống nhất đa mô hình, một Key chuyển giữa mấy nhà mô hình, sau khi định tuyến và cách tính phí thống nhất, việc truy vết loại vấn đề cấu trúc này tiết kiệm được khá nhiều công.
Nói thêm một điểm dễ bị bỏ qua: giám sát và quy trách nhiệm. Bốn vấn đề này kéo dài lâu như vậy mới bị phát hiện, nguyên nhân gốc là hóa đơn của chúng tôi chỉ xuất theo chiều mô hình và API, không cắt theo chiều "loại tác vụ" và "dấu vân tay yêu cầu". Sau đó tôi thêm một tầng nhãn gọi, mỗi yêu cầu đánh mấy nhãn loại tác vụ, có thử lại hay không, có trúng cache hay không, số vòng ngữ cảnh, khi hóa đơn ra lại, mắt xích nào đang đốt tiền thấy rõ ngay. Bản thân hệ thống nhãn này không tiết kiệm tiền, nhưng không có nó, bạn căn bản không biết tiền tiêu ở đâu.
Nhắc nhở tránh hố: đừng vừa vào đã đổi sang mô hình rẻ hơn. Trước tiên tách cấu trúc gọi ra xem, nhiều khi tiền không tiêu ở đơn giá, mà tiêu ở chỗ lặp lại và dư thừa mà bạn căn bản không ý thức được. Tối ưu đơn giá là bước cuối cùng, không phải bước đầu tiên.
Tác giả: Zhao Qiming
Ngày phát hành: 9 tháng 11 năm 2026