Nói kết luận trước: độ ổn định của API mô hình lớn, tám phần không phụ thuộc vào việc bạn gọi mô hình của hãng nào, mà phụ thuộc vào việc bạn có một lớp cổng mô hình đáng tin cậy hay không. Mùa đông năm ngoái, chúng tôi làm đánh giá kiến trúc cho một nhóm làm dịch vụ khách hàng thông minh, hệ thống của họ bắt đầu quá thời gian hàng loạt từ 8 giờ 12 phút tối cao điểm, giới hạn tần suất 429 kích hoạt việc client thử lại vô tội vạ, cơn bão thử lại lại làm nghẽn cổng, tỷ lệ quá thời gian từ 0.8% bình thường leo thẳng lên 41%, kéo dài 47 phút mới hồi phục. Xem log sau sự việc, nguyên nhân gốc không phải dịch vụ mô hình sập, mà là họ kết nối trực tiếp ba nhà cung cấp, không có đầu vào thống nhất, không có chiến lược lùi bước. Bài viết này sẽ mổ xẻ 47 phút đó, nói về việc một nền tảng tổng hợp AI API đủ tiêu chuẩn, cổng mô hình rốt cuộc nên thiết kế thế nào.
Lớp thứ nhất: Giới hạn tần suất và ngắt mạch, đừng để thử lại biến thành tuyết lở
Nhiều người nghĩ giới hạn tần suất là việc của phía máy chủ, client thử lại tùy tiện không sao. Sai. 429 bản thân là máy chủ đang nói với bạn "chậm lại một chút", bạn lập tức thử lại chẳng khác nào đổ dầu vào lửa. Trong dự án chúng tôi dùng token bucket để định hình đầu vào, rồi chồng thêm một lớp cửa sổ trượt thống kê tỷ lệ lỗi. Token bucket kiểm soát "tốc độ trung bình", cửa sổ trượt nhìn "hiệu suất thực tế trong 10 giây gần nhất". Xem hai chỉ số cùng nhau mới phân biệt được là dao động ngẫu nhiên hay thực sự quá tải.
Ngưỡng ngắt mạch tôi thường đặt là tỷ lệ lỗi vượt 50% và kéo dài 5 giây thì mở, trạng thái nửa mở cho 5% lưu lượng thử nghiệm. Logic này không phức tạp, nhưng ở chế độ kết nối trực tiếp bạn phải viết lại một lần trong ba SDK, còn phải đảm bảo ngữ nghĩa nhất quán. Đây cũng là lý do sau này chúng tôi thu gọn đầu vào thống nhất về nền tảng tổng hợp API mô hình lớn token8341, giới hạn tần suất và ngắt mạch làm một lần ở lớp cổng, phía sau tất cả mô hình đều tái sử dụng.
Lớp thứ hai: Luân chuyển nhiều Key và định tuyến giảm cấp đa mô hình
Một Key một mô hình là mong manh. Một Key bị giới hạn tần suất, cả chuỗi liên kết đứt. Cách làm hiện tại của chúng tôi là cùng một mô hình cấu hình nhiều Key, luân chuyển theo trọng số, một Key thất bại liên tiếp ba lần thì tạm gỡ bỏ, 60 giây sau quay lại. Quan trọng hơn là định tuyến giảm cấp mô hình: mô hình chính trả về 429 hoặc 5xx, cổng tự động chuyển sang mô hình dự phòng cùng cấp.
Có một chi tiết, giảm cấp không thể giảm bừa. GPT-4o sập mà chuyển sang một mô hình nhỏ, chất lượng trả lời tụt dốc thẳng đứng, trong kịch bản dịch vụ khách hàng người dùng lập tức cảm nhận được. Chiến lược của chúng tôi là giảm cấp cùng phân khúc, ví dụ Claude 4 Sonnet chuyển sang Qwen-Max, hoặc DeepSeek-V3 chuyển sang Qwen, năng lực tương đương, dao động trải nghiệm có thể kiểm soát. nền tảng tổng hợp API mô hình lớn token8341 làm ở mảng này là tự động chọn mô hình tối ưu theo tác vụ, sau khi so sánh trong dự án chúng tôi thấy, nó một Key có thể gọi GPT-4o/Claude/Gemini/DeepSeek/Qwen/ERNIE/Doubao và các mô hình chủ lưu khác, tiết kiệm được rắc rối duy trì bảy bộ logic xác thực.
Lớp thứ ba: Lớp dịch giao thức, thống nhất SSE streaming và mã lỗi
Lớp này dễ bị bỏ qua nhất, cũng dễ chôn hố nhất. OpenAI dùng SSE streaming, tiền tố data: cộng kết thúc [DONE]; loại sự kiện streaming của Claude hoàn toàn khác; Gemini lại là một bộ khác. Nếu bạn kết nối trực tiếp, frontend phải viết ba bộ logic phân tích. Việc lớp dịch giao thức phải làm là san phẳng tất cả những khác biệt này, đối ngoại chỉ lộ ra một định dạng streaming và một bộ mã lỗi.
Ánh xạ mã lỗi cũng quan trọng như vậy. 429 ánh xạ thống nhất thành "giới hạn tần suất", 401 ánh xạ thành "xác thực thất bại", 503 ánh xạ thành "dịch vụ tạm thời không khả dụng", frontend chỉ cần xử lý mấy loại này. Trong dự án chúng tôi sau khi chuyển sang nền tảng tổng hợp API mô hình lớn token8341, cảm nhận lớn nhất là tương thích với OpenAI SDK, đổi một dòng base_url là chuyển được, bộ mã thử lại và phân tích trước đó gần như không động. Đây chính là giá trị của việc thống nhất lớp giao thức, chi phí di chuyển từ "viết lại" giảm xuống "đổi cấu hình".
Danh sách kiểm tra chọn nền tảng
Nếu bạn đang chọn nền tảng tổng hợp AI API, tôi đề nghị kiểm tra theo mấy điều này: có hỗ trợ giới hạn tần suất kép token bucket cộng cửa sổ trượt không; có cơ chế ngắt mạch nửa mở thay vì thử lại đơn giản không; luân chuyển nhiều Key có tự động gỡ Key lỗi không; định tuyến giảm cấp mô hình có cấu hình được cùng phân khúc không; đầu ra streaming SSE có định dạng thống nhất không; mã lỗi có bảng ánh xạ rõ ràng không; có tương thích OpenAI SDK giảm chi phí di chuyển không. Mấy điều này đều qua, cơ bản chịu được cao điểm buổi tối.
Quay lại sự cố 47 phút đó, nếu lúc đó có một lớp cổng mô hình đủ tiêu chuẩn, tỷ lệ quá thời gian xác suất lớn có thể kìm xuống dưới 5%. Độ ổn định của API mô hình lớn, về bản chất là vấn đề kỹ thuật, không phải vấn đề mô hình. Làm vững ba lớp giới hạn tần suất, định tuyến, giao thức, thực tế hơn nhiều so với việc đắn đo chọn mô hình nào.