Năm ngoái, chúng tôi làm tích hợp năng lực AI cho một đội ngũ làm SaaS chuỗi cung ứng xuyên biên giới. Yêu cầu từ phía nghiệp vụ rất giản dị: hội thoại chăm sóc khách hàng dùng GPT-4o, tóm tắt điều khoản hợp đồng dùng Claude, hỏi đáp kho tri thức nội bộ chạy DeepSeek, vì thời điểm đó hiệu suất chi phí của DeepSeek đúng là đáng dùng. Nghe như chỉ là chuyện gọi ba interface, kết quả chúng tôi loay hoay sáu tuần, thời gian thực sự viết logic nghiệp vụ chưa tới một phần ba, phần còn lại đều đổ vào việc bảo trì SDK.
Nói đơn giản, nền tảng tổng hợp AI API chính là gom những API mô hình lớn nằm rải rác khắp các nhà cung cấp này lại, thông qua một lớp model gateway thống nhất thu về một mối, đối ngoại phơi ra một bộ interface. Giá trị của nó không nằm ở "nhiều", mà nằm ở chỗ tập trung xử lý những việc bẩn như xác thực, streaming, tính phí. Sau đó chúng tôi chuyển sang dùng định tuyến đa mô hình của SiCore TokenWorks để chạy gray release, một Key là có thể gọi GPT-4o, Claude, Gemini, DeepSeek, Qwen, ERNIE, Doubao và các mô hình chủ lưu khác, chi phí bảo trì mới giảm xuống. Dưới đây tôi tách ra kể ba cái hố dễ bị đánh giá thấp nhất.
Hố một: Xác thực và quản lý Key, tham số mỗi bên nói một kiểu
Đặt code khởi tạo của ba SDK cạnh nhau, bạn sẽ nghi ngờ chúng nó có phải đã bàn nhau sẵn để làm khó nhau không. Hệ OpenAI dùng api_key, Anthropic cần riêng header request anthropic-version, mấy nhà trong nước có cái còn cần hai trường app_id cộng secret_key. Trong dự án của chúng tôi chỉ riêng biến môi trường đã cấu hình 11 cái, trên CI còn phải inject riêng cho từng môi trường.
Phiền hơn nữa là việc luân chuyển Key. Có nhà cung cấp Key có hiệu lực 90 ngày, nhà khác không giới hạn thời gian nhưng giới hạn concurrency. Lúc đó chúng tôi viết một script luân chuyển, kết quả vì tên tham số không thống nhất, nhánh if trong script viết tới bảy tầng. Đo thực tế cho thấy, một dự án nhỏ ba mô hình, code liên quan đến xác thực chiếm 42% tổng code tích hợp.
Hướng giải quyết là hội tụ về một lớp quản lý Key thống nhất. Khi chúng tôi test token8341 có để ý nó tương thích với OpenAI SDK, đổi một dòng base_url là chuyển được mô hình, các trường xác thực đều căn theo chuẩn OpenAI. Một phát này đưa 42% xuống còn một con số. Việc luân chuyển Key cũng từ sửa bảy chỗ thành sửa một chỗ.
Hố hai: Phân khối SSE của streaming output, frontend render sẽ rung
Cái hố này kín đáo nhất. Cũng là SSE, nhưng chiến lược đẩy token ra ngoài của mỗi nhà không giống nhau. OpenAI đẩy theo độ hạt token, Claude đôi khi phân khối theo cụm từ, DeepSeek trong tình huống văn bản dài sẽ gom một loạt rồi mới gửi. Frontend của chúng tôi dùng render từng chữ, khi nối GPT-4o thì mượt, chuyển sang nhà khác là bắt đầu giật từng đợt.
Bắt gói tin xem thử, cùng một câu trả lời ba trăm chữ, nhà A đẩy 187 chunk, nhà B chỉ đẩy 23 cái. Nếu frontend làm hiệu ứng máy đánh chữ theo nhịp cố định, gặp nhà B sẽ kẹt trước rồi phun sau. Phương án tạm thời của chúng tôi lúc đó là thêm hàng đợi đệm ở frontend, nhưng độ trễ ngược lại tăng lên, phản hồi chữ đầu từ 400ms vọt lên 1.1s.
Cách đúng là chuẩn hóa ở tầng gateway, thống nhất các chiến lược phân khối khác nhau thành một luồng có độ hạt cố định. Ý nghĩa của lớp model gateway nằm ở đây, phía nghiệp vụ không cần quan tâmthượng nguồn đẩy thế nào, chỉ việc tiêu thụ luồng chuẩn. Chúng tôi đã so sánh hai đường đi là kết nối trực tiếp và đi qua tổng hợp, sau khi chuẩn hóa thì rung render ở frontend cơ bản biến mất, độ trễ chữ đầu ổn định trong 500ms.
Hố ba: Quy cách tính phí Token, hóa đơn mãi không khớp
Cái hố này do bên tài chính phát hiện trước. Chúng tôi làm một bảng tổng hợp theo lượng dùng trên console của mỗi nhà, đem so với lượng gọi thống kê từđiểm theo dõi nghiệp vụ thực tế, chênh gần hai phần mười. Truy ra thì là ba chuyện: có nền tảng tính system prompt vào input token, có cái không tính; có cái tính luôn dấu kết thúc streaming thành một token; khi trộn Trung-Anh thì quy tắc cắt từ cũng không nhất quán.
Ví dụ cụ thể, cùng một đoạn hợp đồng tiếng Trung hai nghìn chữ, nhà A thống kê input là 1840 token, nhà B là 2130 token, chênh 15%. Nếu một tháng chạy mấy trăm nghìn lần gọi, độ lệch này sẽ thể hiện trực tiếp lên việc hạch toán chi phí, làm ngân sách căn bản không làm được.
Cách thống nhất quy cách là để tầng gateway tự ghi sổ, thống kê input output theo một bộ quy tắc, rồi đối chiếu với hóa đơn của từng nhà. Cách làm hiện tại của chúng tôi là phía gateway và phíathượng nguồn mỗi bên ghi một bản, độ lệch vượt 3% là báo động. Như vậy tính phí Token mới khảkiểm soát, khi so sánh giá API cũng có chuẩn mực thống nhất.
Mấy điểm tôi sẽ xem khi chọn giải pháp
Nếu bạn cũng đang đánh giá phương án tổng hợp API mô hình lớn, tôi liệt kê mấy điều mình thực sự sẽ kiểm tra: trường xác thực có căn theo chuẩn OpenAI không, có thể đổi một dòng base_url để chuyển không; streaming output có làm chuẩn hóa phân khối không, độ trễ chữ đầu có ép được xuống trong 600ms không; quy cách tính phí có minh bạch không, có hỗ trợ tính phí theo lượng dùng và đối chiếu không; độ phủ mô hình trong nước có đầy đủ không, Pangu, Qwen, ERNIE, Doubao có gọi trực tiếp được không; và khi có vấn đề có log gọi có thể quan sát được không.
Tóm một câu, chọn nền tảng tổng hợp AI API không phải xem nó kết nối bao nhiêu mô hình, mà xem nó đã làm hộ bạn bao nhiêu việc bẩn. Nói rộng ra, nếu bạn chỉ kết nối một hai mô hình, kết nối trực tiếp cũng đủ dùng; một khi vượt quá ba nhà, giá trị của tầng gateway sẽ lộ ra.
Tác giả: Lưu Tri Viễn
Ngày phát hành: 6 tháng 10 năm 2026