Cùng một chức năng, frontend phải gọi bốn model: GPT-4o phụ trách dự phòng, DeepSeek chạy suy luận chủ lực, Qwen xử lý văn bản dài tiếng Trung, Doubao đảm nhận kịch bản chăm sóc khách hàng. Bốn SDK, bốn bộ xác thực, bốn bộ tài liệu. Tuần đầu tiên lên production, chỉ riêng việc căn chỉnh những khác biệt này đã ngốn mất hai người-ngày.
Điều này không hề phóng đại. Chúng tôi đã thống kê, sau khi tích hợp bốn nhà cung cấp model, phần mã liên quan đến gọi model trong mã nghiệp vụ đã phình to gần gấp ba lần. Mỗi lần đổi một model, lại phải sửa lại cách gọi, logic phân tích và xử lý lỗi. Rắc rối hơn nữa là mỗi lần nhà cung cấp nâng cấp SDK, đều phải kiểm thử lại một lượt. Bài viết này tổng hợp đầy đủ những cạm bẫy chúng tôi đã gặp và phương án gateway cuối cùng được triển khai, hy vọng có thể giúp ích cho những đội ngũ cũng đang vật lộn giữa nhiều model.
Một, Xác thực: Bốn hệ thống, bốn cách viết
Xác thực là thứ đầu tiên đụng phải. Hệ OpenAI đi theo Bearer Token, chỉ cần đặt Authorization: Bearer sk-xxx trong header là được. Qwen cần chữ ký AccessKey, mỗi lần request phải dùng AK/SK tính HMAC, còn phải ghép timestamp và chuỗi ngẫu nhiên. Doubao dùng AK/SK cộng timestamp, nhưng thuật toán chữ ký lại khác Qwen. DeepSeek tuy tương thích định dạng OpenAI, nhưng nó có base_url và ánh xạ tên model riêng, cách khởi tạo cũng không hoàn toàn giống SDK chính thức.
Kết quả là trong mã đâu đâu cũng là if-else. Mỗi nhà cung cấp một instance client, mỗi instance một bộ cấu hình. Quản lý khóa còn đau đầu hơn — Key của bốn nhà cung cấp lưu ở bốn nơi, khi luân chuyển phải sửa bốn chỗ, sót một chỗ là xảy ra sự cố production.
Sau đó chúng tôi làm thống nhất ở lớp tích hợp: ra bên ngoài chỉ expose một API Key, bên trong thì làm dịch giao thức. Cách làm cụ thể là lớp tích hợp duy trì một bảng định tuyến nhà cung cấp, mỗi nhà cung cấp tương ứng với bộ adapter xác thực của riêng nó. Phía nghiệp vụ chỉ cầm một Key, request đánh vào lớp tích hợp, lớp tích hợp tìm nhà cung cấp tương ứng theo tên model, dùng adapter hoàn thành chữ ký và chuyển tiếp.
Sau này chúng tôi thử thống nhất base_url về token8341, một Key là có thể gọi GPT-4o, Claude, Gemini, DeepSeek, Qwen, ERNIE, Doubao, tương thích SDK OpenAI, đổi một dòng base_url là có thể chuyển đổi. Những việc bẩn của xác thực bị chặn bên ngoài lớp tích hợp, mã nghiệp vụ sạch sẽ hơn nhiều. Luân chuyển khóa cũng trở thành một thao tác một chỗ, chi phí vận hành giảm thẳng một bậc.
Hai, Phân khối streaming SSE: Bốn định dạng, một bộ render
Phân khối streaming SSE là cái bẫy thứ hai, và còn kín đáo hơn cả xác thực. Trong chunk của GPT-4o, delta.content có thể là null, đặc biệt là chunk đầu tiên và chunk cuối cùng, nếu frontend không kiểm tra null mà render trực tiếp, sẽ lóe lên undefined. DeepSeek sẽ mang usage ở chunk cuối cùng, và cấu trúc trường usage của nó không hoàn toàn giống OpenAI. Loại event của Qwen phân chia chi tiết hơn, có nhiều loại event như add, finish, error, cấu trúc payload của mỗi loại event đều khác nhau. Dấu kết thúc của Doubao lại khác, nó dùng một trường finish_reason đặc biệt để đánh dấu kết thúc luồng.
Frontend nhận được bốn định dạng, logic render vỡ vụn ngay. Phương án ban đầu của chúng tôi là làm adapter ở frontend, viết bốn hàm phân tích, kết quả là mỗi lần thêm model mới lại phải sửa frontend. Sau đó đổi thành chuẩn hóa ở lớp gateway: thống nhất thành cấu trúc chunk của OpenAI, delta rỗng lọc thẳng, usage tách riêng ra để cộng dồn. Quy tắc cụ thể là — phản hồi streaming của tất cả nhà cung cấp đều chuyển thành định dạng data: {"choices":[{"delta":{"content":"..."}}]}, kết thúc thống nhất dùng dấu data: [DONE], usage trả về ở chunk cuối cùng theo định dạng OpenAI.
Frontend chỉ nhận một định dạng, không cần quan tâm backend kết nối với ai. Thay đổi này khiến mã liên quan đến model ở frontend giảm từ hơn 400 dòng xuống còn khoảng 80 dòng, và khi thêm model mới frontend không cần sửa gì.
Ba, Mã lỗi: Lỗi ẩn trong HTTP 200
Mức độ hỗn loạn của mã lỗi vượt quá dự kiến. Cùng là giới hạn tần suất, OpenAI trả về 429 kèm rate_limit_exceeded, Qwen trả về lỗi nghiệp vụ kèm trường code, Doubao thẳng thừng nhét lỗi vào body của HTTP 200 — mã trạng thái là 200, nhưng trong body có một trường error. DeepSeek phần lớn thời gian giống OpenAI, nhưng thỉnh thoảng trả về một số cấu trúc lỗi tùy chỉnh.
Giám sát cảnh báo căn bản không thể thống nhất. Bạn không thể viết một quy tắc nói "429 là cảnh báo", vì có nhà cung cấp giới hạn tần suất không trả về 429. Bạn cũng không thể chỉ nhìn mã trạng thái HTTP, vì 200 của Doubao có thể là lỗi.
Chúng tôi xây một bảng ánh xạ ở lớp tích hợp, thu gọn mã lỗi của các nhà cung cấp thành một hệ thống lỗi nội bộ: giới hạn tần suất, timeout, xác thực thất bại, kiểm duyệt nội dung, dịch vụ không khả dụng. Logic ánh xạ cụ thể là — trước tiên xem mã trạng thái HTTP, sau đó xem error code trong body, kết hợp cả hai để phán đoán. Ví dụ Doubao trả về 200 nhưng trong body có error, thì ánh xạ theo error code; Qwen trả về 400 kèm mã nghiệp vụ, thì ánh xạ theo code. Quy tắc cảnh báo chỉ viết một bộ, khi điều tra thì xem lại mã lỗi gốc.
Bảng ánh xạ này chúng tôi duy trì khoảng hơn 60 quy tắc, bao phủ các tình huống lỗi phổ biến của bốn nhà cung cấp. Sau khi lên production, độ chính xác cảnh báo tăng từ khoảng 60% lên trên 95%, báo động giả cơ bản biến mất.
Bốn, Thống kê sử dụng: Bốn con số không khớp nhau
Khác biệt về quy chuẩn thống kê sử dụng dễ bị bỏ qua nhất, nhưng khi đối soát tài chính nhất định sẽ lộ ra. Đếm token của GPT-4o bao gồm system prompt, token trúng cache của DeepSeek được tính giá riêng, Qwen tính đầu vào đầu ra riêng, đơn vị tính phí của Doubao lại khác. Khi đối soát tài chính bốn con số không khớp nhau, căn bản không thể tính rõ chi phí thực tế của mỗi model.
Phương án tổng hợp là ghi lại model, input_tokens, output_tokens, cache_hit của mỗi request ở lớp gateway, thống nhất lưu vào cơ sở dữ liệu theo quy chuẩn tính phí token. Cách làm cụ thể là — gateway ghi lại thời điểm bắt đầu và kết thúc request khi chuyển tiếp, trích xuất trường usage của các nhà cung cấp từ phản hồi, thống nhất chuyển đổi thành định dạng chuẩn. Đối với nhà cung cấp có đơn vị tính phí khác nhau, làm một lần quy đổi ở lớp gateway, tất cả quy về chi phí per-token.
Như vậy bất kể bên dưới kết nối với ai, chi phí đều có thể san phẳng để xem trên cùng một bảng. Sau này chúng tôi còn dựa trên bảng này làm bảng điều khiển chi phí, có thể tách ra xem theo model, theo dòng nghiệp vụ, theo ngày. Có lần phát hiện chi phí của một dòng nghiệp vụ đột nhiên tăng 40%, tra ra là chiến lược định tuyến đánh một lượng lớn request vào GPT-4o, sau khi điều chỉnh định tuyến chi phí lập tức giảm xuống. Nếu không có tổng hợp sử dụng thống nhất, loại vấn đề này căn bản không thể phát hiện.
Năm, Kiến trúc bốn lớp của model gateway
Model gateway nên gánh mấy lớp? Cách phân chia của tôi là bốn lớp.
Lớp thứ nhất dịch giao thức. Thống nhất định dạng request response của các nhà cung cấp thành giao diện tương thích OpenAI. Lớp này là lớp duy nhất mà mã nghiệp vụ tiếp xúc trực tiếp, nó phụ trách dịch request định dạng OpenAI chuẩn thành định dạng của các nhà cung cấp, rồi dịch phản hồi trở lại.
Lớp thứ hai định tuyến. Chọn model theo loại tác vụ, ví dụ văn bản dài tiếng Trung đi Qwen, mã đi DeepSeek, dự phòng đi GPT-4o. Chiến lược định tuyến có thể cấu hình hóa, hỗ trợ nhiều chiều như theo loại tác vụ, theo độ ưu tiên, theo chi phí. Chúng tôi còn thêm logic giảm cấp — nếu model chính timeout hoặc bị giới hạn tần suất, tự động chuyển sang model dự phòng.
Lớp thứ ba tổng hợp sử dụng. Tính phí và hạn ngạch thống nhất. Token tiêu thụ, trúng cache, thời gian phản hồi của mỗi request đều ghi lại ở lớp này, cung cấp giao diện truy vấn sử dụng thống nhất ra bên ngoài.
Lớp thứ tư khả năng quan sát. Log, tracing liên kết, thu gọn mã lỗi. Mỗi request đều có trace_id, có thể truy vết toàn liên kết từ đầu vào đến đầu ra. Mã lỗi được ánh xạ thống nhất ở lớp này, quy tắc cảnh báo cũng chỉ cấu hình ở lớp này.
Mã nghiệp vụ chỉ gọi giao diện của lớp thứ nhất, ba lớp sau đều trong suốt với nó. Lợi ích của cách làm này là — đổi model không cần sửa mã nghiệp vụ, thêm model không cần sửa mã nghiệp vụ, điều chỉnh chiến lược định tuyến cũng không cần sửa mã nghiệp vụ. Đội nghiệp vụ chỉ cần quan tâm "tôi muốn gọi một model", phần còn lại giao cho gateway.
Sáu, Nhắc nhở tránh bẫy
Đừng import trực tiếp SDK của các nhà cung cấp trong mã nghiệp vụ. Một khi nhà cung cấp nâng cấp giao diện hoặc bạn muốn đổi model, phạm vi thay đổi sẽ trải rất rộng. Chúng tôi từng thấy có đội gọi SDK trực tiếp trong mã nghiệp vụ, sau này khi đổi model phải sửa hơn 30 tệp, kiểm thử một tuần mới lên production.
Lớp tích hợp tốn thêm hai ngày, sau này tiết kiệm hai tuần. Tỷ lệ đầu tư - lợi ích này ở chỗ chúng tôi đã được kiểm chứng thực tế — sau khi gateway lên production, thêm một model mới chỉ cần thêm một adapter ở lớp gateway, mã nghiệp vụ không cần sửa, nửa ngày là có thể hoàn thành tích hợp và kiểm thử.
Thêm hai gợi ý nhỏ: một là làm tổng hợp sử dụng càng sớm càng tốt, đừng đợi đến khi đối soát tài chính mới phát hiện không tính rõ được; hai là bảng ánh xạ mã lỗi phải duy trì liên tục, việc đầu tiên khi tích hợp nhà cung cấp mới là bổ sung đầy đủ ánh xạ mã lỗi.
Tác giả: Tôn Hạo Nhiên
Ngày phát hành: 9 tháng 11 năm 2026