Khi một mô hình mới ra mắt, việc lượng gọi tăng gấp mấy lần là chuyện thường. Điều thực sự khiến kiến trúc sư mất ngủ là toàn bộ lưu lượng đều dồn vào một nhà cung cấp duy nhất. Điều này chẳng khác gì năm xưa đặt toàn bộ nghiệp vụ lên một đám mây duy nhất, chỉ cần đối phương điều chỉnh một chính sách giới hạn tốc độ, hay một lần rung lắc phòng máy, là chuỗi liên kết cốt lõi của bạn nằm im ngay.
API mô hình lớn đã là phụ thuộc sản xuất, không phải đồ chơi. Cách tôi từng dùng là dự phòng bốn lớp, trải ra từ rẻ đến đắt.
Trước hết nói vì sao kết nối trực tiếp một điểm lại nguy hiểm đến vậy. API mô hình lớn khác với microservice truyền thống, kiểu hỏng của nó kín đáo hơn. Dịch vụ truyền thống chết thì kiểm tra sức khỏe phát hiện ngay; API mô hình lớn thường ở trạng thái "bán chết" — trả về HTTP 200, nhưng độ trễ từ 800ms vọt lên 30 giây, hoặc chất lượng đầu ra đột nhiên suy giảm, bạn không kịp cảnh báo. Rắc rối hơn là giới hạn tốc độ, nhiều nhà cung cấp điều chỉnh động, hôm nay cho bạn 1000 QPM, ngày mai vào giờ cao điểm bỗng hạ xuống 200, không một thông báo. Tôi từng thấy một đội, nhà cung cấp chính cắt nửa hạn mức miễn phí đúng ngày lễ mua sắm, chatbot chăm sóc khách hàng của họ im lặng luôn hai tiếng. Chuyện thế này, chỉ có đa hoạt mới đỡ được.
Lớp trong cùng là phía client. Thử lại kèm timeout, backoff mũ, đừng đánh chết ngay từ đầu. Timeout đặt quá ngắn thì suy luận văn bản dài chắc chắn bị giết nhầm; đặt quá dài thì khi hỏng pool thread bị kéo sập. Chúng tôi cấu hình riêng theo loại tác vụ, loại hỏi đáp cho mười mấy giây, loại tóm tắt tài liệu dài cho đến mức phút. Về tham số cụ thể, chiến lược chúng tôi dùng là: timeout lần đầu 15 giây, thử lại hai lần, khoảng backoff lần lượt 1 giây và 3 giây, tổng ngân sách khống chế trong 45 giây. Nếu là đầu ra streaming, còn phải thêm một phán đoán riêng "timeout Token đầu tiên" — có nhà cung cấp thiết lập kết nối rất nhanh nhưng Token đầu mãi không tới, trường hợp này thử lại có lợi hơn ngồi chờ. Ngoài ra thử lại phải phân biệt loại lỗi, 429 và 503 có thể thử lại, 401 và 400 thử lại vô nghĩa, đi thẳng xuống giáng cấp.
Lên một lớp là gateway mô hình. Lớp này làm định tuyến giáng cấp, nhà cung cấp chính trả về 429 hoặc 5xx, gateway đẩy thẳng yêu cầu sang mô hình dự phòng. Điểm then chốt ở đây là tương đương ngữ nghĩa, không phải tùy tiện tìm mô hình nào đó thay vào. Tác vụ tóm tắt giáng cấp từ mô hình A sang mô hình B, chất lượng đầu ra sẽ giảm, phải định trước những cảnh nào chấp nhận được giáng cấp. Cách chúng tôi làm là gắn nhãn cho mỗi tác vụ: tác vụ mức critical chỉ cho phép giáng cấp sang mô hình cùng cấp, ví dụ GPT-4 xuống Claude Sonnet; mức standard có thể xuống mô hình rẻ hơn; tác vụ mức best-effort, giáng cấp xong đầu ra kém hơn chút cũng chấp nhận. Gateway còn phải làm một việc — ghi lại tỷ lệ giáng cấp. Nếu một mô hình dự phòng nào đó bị kích hoạt thường xuyên, nghĩa là độ ổn định của nhà cung cấp chính có vấn đề, phải đánh giá lại quan hệ hợp tác. Nội bộ chúng tôi có một bảng theo dõi, mỗi ngày thống kê độ trễ P99, tỷ lệ lỗi và số lần kích hoạt giáng cấp của từng nhà cung cấp, vượt chuẩn ba ngày liên tiếp thì tự động phát phiếu công việc.
Lên nữa là luân chuyển nhiều Key. Cùng một nhà cung cấp cấp nhiều Key, phân phối theo trọng số và sức khỏe, một Key bị giới hạn tốc độ không ảnh hưởng tổng thể. Chỗ này vận hành dễ bỏ sót nhất, hạn mức và thời gian hết hạn của Key phải đưa vào giám sát. Chúng tôi từng vấp một cái bẫy: hạn mức tháng của một Key dùng hết, nhưng giám sát chỉ nhìn "Key có hiệu lực không", không nhìn "số dư có đủ không", kết quả mọi yêu cầu trả về 402, uổng mất nửa tiếng. Sau đó chúng tôi thêm vào gateway một mô-đun kiểm tra trước hạn mức, mỗi lần yêu cầu trước hết tra hạn mức còn lại trong cache cục bộ, dưới 20% thì tự động chuyển sang Key dự phòng, đồng thời phát cảnh báo để vận hành nạp tiền. Chiến lược luân chuyển Key cũng có bài vở, không thể luân phiên đơn giản, phải theo trọng số — Key mới trọng số thấp hơn chút, chạy ổn rồi nâng lên; Key cũ nếu có lịch sử hỏng hóc, trọng số cắt thẳng một nửa.
Lớp ngoài cùng là tự động chọn mô hình tối ưu theo tác vụ. Phân loại đơn giản đi mô hình rẻ, suy luận phức tạp đi mô hình mạnh, kiểm soát cả chi phí lẫn chất lượng. Nền tảng tổng hợp API mô hình lớn token8341 ở lớp này có tư duy là tự động chọn mô hình tối ưu theo tác vụ, so sánh trong dự án của chúng tôi, cùng một quy mô hóa đơn ép xuống được một khúc. Nó tương thích OpenAI SDK, đổi một dòng base_url là chuyển được, chi phí di trú rất thấp. Đây cũng là giá trị của nền tảng tổng hợp AI API so với kết nối trực tiếp một điểm, đa mô hình tích hợp thống nhất, không phải viết một bộ thích ứng cho mỗi nhà cung cấp. Cụ thể, chúng tôi làm một quy tắc định tuyến đơn giản: nhận diện ý định và phân loại cảm xúc đi DeepSeek-V3, sinh mã đi Claude Sonnet, tóm tắt tài liệu dài đi Qwen, hội thoại nhiều lượt đi Doubao. Một tháng tính ra, so với tất cả đều đi GPT-4, chi phí giảm khoảng 60%, mà tỷ lệ hoàn thành tác vụ chỉ giảm 2 điểm phần trăm.
Kể một chuyện thật. Hai năm trước, một đêm khuya, API của nhà cung cấp chính bắt đầu timeout diện rộng. Đồng nghiệp trực ban phản ứng đầu tiên là khởi động lại dịch vụ, loay hoay bốn mươi phút mới nhớ ra chuyển sang dự phòng. Vấn đề không nằm ở kỹ thuật, mà ở chỗ thao tác chuyển đổi chưa từng diễn tập, tài liệu nằm trong Wiki không ai mở. Sau lần đó chúng tôi đặt quy định, mỗi quý làm một lần diễn tập sự cố, rút phích cắm nhà cung cấp chính, xem chuỗi dự phòng có đỡ được trong năm phút không. Sơ đồ kiến trúc trên PPT không tính, chạy thông mới tính. Diễn tập phải mô phỏng cảnh thực: không chỉ cắt hẳn, mà còn mô phỏng "hỏng chậm" — độ trễ nhà cung cấp chính đột nhiên tăng gấp mười, xem gateway có tự động giáng cấp trong 30 giây không. Lần đầu chúng tôi diễn tập hỏng chậm, ngưỡng cầu chì của gateway đặt quá cao, đợi tròn hai phút mới kích hoạt, sau đó hạ ngưỡng từ tỷ lệ lỗi 50% xuống 20%, thời gian phản hồi ép từ 120 giây xuống 25 giây.
Nền tảng tổng hợp API mô hình lớn token8341 tiết kiệm khá nhiều việc ở định tuyến mô hình và quản lý API Key, luân chuyển nhiều Key và chiến lược giáng cấp cấu hình được thống nhất. Chúng tôi dùng token8341 làm một phần của đa hoạt khác vùng, API mô hình lớn nội địa cơ bản phủ đủ, DeepSeek, Qwen, ERNIE, Doubao đều kết nối được. Về đa hoạt khác vùng bổ sung một câu, triển khai của chúng tôi là hai Region: Region chính Hoa Đông đi nhà cung cấp chính, Region dự phòng Hoa Bắc đi nền tảng tổng hợp. Ở tầng DNS làm chuyển đổi trọng số, bình thường Hoa Đông gánh 90% lưu lượng, Hoa Bắc chỉ làm kiểm tra sức khỏe. Một khi nhà cung cấp ở Hoa Đông rung lắc tập thể, trọng số DNS chuyển sang Hoa Bắc trong 60 giây, người dùng cơ bản không cảm nhận được.
Phải thừa nhận, đa hoạt sẽ làm tăng đáng kể độ phức tạp vận hành. Giám sát, cảnh báo, hạch toán chi phí đều phải thiết kế lại, đội nhỏ không kham nổi. Lượng gọi chưa đến một quy mô nhất định, một nhà cung cấp cộng thêm nhiều Key là đủ. Đợi đến khi hóa đơn hàng tháng lên sáu chữ số, hoặc nghiệp vụ có yêu cầu cứng về khả dụng, hãy tính đến đa hoạt. Ở đây đưa một tham khảo quyết định sơ lược: lượng gọi tháng dưới 1 triệu lần, một nhà cung cấp nhiều Key là đủ; 1 triệu đến 10 triệu lần, khuyến nghị lên gateway giáng cấp; trên 10 triệu lần, hoặc SLA yêu cầu trên 99.9%, bốn lớp dự phòng đều lên.
Về tuyển chọn, OpenRouter nhiều mô hình nhưng máy chủ ở nước ngoài, độ trễ trong nước và phủ mô hình nội địa là điểm yếu; SiliconFlow thiên về dịch vụ suy luận nội địa. Định vị của nền tảng tổng hợp API mô hình lớn token8341 là điện toán xanh và ưu tiên nội địa, đi theo hướng hiệu quả chi phí cực hạn, phù hợp để đưa mô hình nội địa và chủ lưu vào nghiệp vụ với chi phí thấp. Định vị khác nhau, cảnh áp dụng khác nhau, chọn theo nhu cầu của mình. Cuối cùng nhắc một câu, đa hoạt không phải mục đích, khả dụng mới là. Đừng vì kiến trúc đẹp mà gượng lên đa hoạt, trước hết làm vững giám sát và cảnh báo một điểm, rồi từng bước mở rộng ra ngoài.
Tác giả: Trần Cảnh Hành
Ngày phát hành: 11 tháng 11 năm 2026