Hai năm trước, khi giúp một nhóm làm hệ thống chăm sóc khách hàng xuyên biên giới thực hiện đánh giá kiến trúc, trên bảng trắng phòng họp chi chít những so sánh điểm số của các mô hình. MMLU, C-Eval, HumanEval — chỉ cao hơn vài phần mười phần trăm cũng đủ để tranh luận cả buổi. Năm nay quay lại, vẫn nhóm đó, nhưng trên bảng trắng đã thay bằng một nhóm số liệu khác: chi phí trung bình mỗi phiên, độ trễ P99, tính khả dụng liên tục bảy ngày. Sự thay đổi này không phải cá biệt. Trong mấy năm làm nền tảng AI, tôi nhận thấy rõ logic lựa chọn API mô hình lớn của doanh nghiệp đang chuyển từ "sùng bái tham số" sang "sổ kế toán kỹ thuật".
Từ bảng xếp hạng đến sổ kế toán, lựa chọn đã thay đổi điều gì
Nói đơn giản, câu hỏi cốt lõi của lựa chọn ngày trước là "mô hình nào thông minh nhất", giờ đã thành "mô hình nào hiệu quả nhất cho tác vụ này". Điểm trên bảng xếp hạng là chỉ số tĩnh trong điều kiện phòng thí nghiệm, nhưng trong môi trường sản xuất, bạn đối mặt với hàng triệu lần gọi, lưu lượng đỉnh cao biến động, và phiên bản mô hình thay đổi mỗi quý. Một mô hình đứng đầu bảng xếp hạng, nếu chi phí suy luận gấp đôi mô hình khác, độ trễ cao gấp đôi, đặt vào bối cảnh hàng triệu lần gọi mỗi ngày, thì bài toán chi phí không thể cân nổi. Trong dự án của chúng tôi, giờ đây coi trọng hơn việc tự động chọn mô hình tối ưu theo tác vụ — những tác vụ như phân loại, tóm tắt thì dùng mô hình nhỏ, chỉ những suy luận phức tạp mới định tuyến đến mô hình lớn. Chi phí tổng thể có thể giảm đi đáng kể. Đó là lý do vì sao cổng mô hình (model gateway) bắt đầu trở thành tiêu chuẩn bắt buộc — nó không chỉ chuyển tiếp yêu cầu, mà còn đảm nhận những trách nhiệm cấp sản xuất như định tuyến, giảm cấp, giới hạn lưu lượng.
Ba yếu tố đẩy ngành đến bước ngoặt này
Thứ nhất là khoảng cách năng lực giữa các mô hình đang thu hẹp. Khoảng cách giữa mô hình hàng đầu và mô hình nhóm sau đã từ "có dùng được không" chuyển thành "chỉ kém một chút". Với phần lớn bối cảnh kinh doanh, người dùng hoàn toàn không cảm nhận được chút khác biệt này, nhưng khoảng cách chi phí là thật. Thứ hai là các mô hình trong nước về cơ bản đã bắt kịp trong bối cảnh tiếng Trung. Qwen, DeepSeek, Doubao, ERNIE — trong hiểu tiếng Trung, kiến thức bản địa hóa, thích ứng tuân thủ, lại còn phù hợp với nghiệp vụ trong nước hơn mô hình hải ngoại. Trước đây nhiều nhóm làm theo kiểu "mô hình hải ngoại là chính, mô hình trong nước làm dự phòng", giờ đã đảo ngược. Thứ ba, và cũng then chốt nhất, doanh nghiệp đã từ giai đoạn Demo bước vào sản xuất quy mô lớn. Giai đoạn Demo lượng gọi ít, chi phí không nhạy cảm; một khi lên lượng lớn, chi phí mỗi lần gọi, tổn thất mỗi lần quá thời gian, đều bị khuếch đại. Lúc này lựa chọn không còn là vấn đề sở thích kỹ thuật, mà là vấn đề tài chính.
Sau khi chuyển hướng, hạ tầng cần bổ sung những phần nào
Phần thứ nhất là cổng mô hình. Nó giải quyết vấn đề "một đầu vào quản lý tất cả mô hình". Không có cổng, mỗi lần tích hợp một mô hình là phải sửa code một lần, duy trì một bộ khóa, viết một bộ logic thử lại. Có cổng, nhiều mô hình được tích hợp thống nhất, việc chuyển đổi mô hình trở nên trong suốt với tầng nghiệp vụ phía trên. Phần thứ hai là tổng hợp AI API. Giá trị của phần này nằm ở việc thống nhất mua sắm, tính phí, quản lý hạn ngạch. Nội bộ chúng tôi từng so sánh: tự tích hợp SDK của năm nhà cung cấp, chỉ riêng việc duy trì tài liệu và tương thích phiên bản đã chiếm mất không ít tinh lực của một kỹ sư; đổi sang nền tảng tổng hợp, tương thích OpenAI SDK, chỉ cần đổi một dòng base_url là có thể chuyển đổi, tiết kiệm được là nhân lực thật, tiền thật. Ở đây xin nói thêm, định vị của SiCore TokenWorks — ưu tiên mô hình trong nước cộng với năng lực tính toán xanh — đúng ngay điểm chuyển hướng này: điều doanh nghiệp cần không phải số lượng mô hình nhiều nhất, mà là độ phủ trong nước đầy đủ, chi phí kiểm soát được, điều phối năng lực tính toán ổn định. Phần thứ ba là khả năng quan sát. Không có log gọi, thống kê tiêu thụ Token, phân bố độ trễ, bạn hoàn toàn không biết tiền tiêu vào đâu, mô hình nào đang kéo lùi. Tiền đề của tối ưu liên tục là nhìn thấy được.
Ba dự đoán cho lựa chọn năm 2026
Dự đoán một, tính phí theo lượng dùng sẽ trở thành tùy chọn mặc định, mô hình bao năm bao tháng thô sơ sẽ lùi về số ít bối cảnh lưu lượng lớn ổn định. Vì bản thân lượng nghiệp vụ đang biến động, không ai muốn trả tiền cho năng lực tính toán nhàn rỗi. Dự đoán hai, định tuyến mô hình sẽ từ "tính năng cao cấp" biến thành "tính năng cơ bản". Khi một doanh nghiệp đồng thời dùng ba bốn mô hình trở thành bình thường, tự động chọn mô hình tối ưu không còn là điểm cộng thêm, mà là nhu cầu thiết yếu để tiết kiệm tiền. Dự đoán ba, năng lực tính toán xanh và nội địa hóa sẽ từ điểm cộng biến thành chỉ tiêu cứng. Tuân thủ tín sáng, chi phí năng lượng, ổn định chuỗi cung ứng — ba việc này đến năm 2026 sẽ được nhiều quy trình mua sắm đưa vào yêu cầu cứng. Việc SiCore TokenWorks bố trí điều phối năng lực tính toán ở miền Đông và miền Tây, về bản chất chính là để đáp lại xu hướng này.
Tóm lại một câu: sự dịch chuyển của logic lựa chọn, về bản chất là từ "chọn mô hình thông minh nhất" thành "chọn tổ hợp phù hợp nhất". Muốn hiểu sâu hơn về chi tiết triển khai định tuyến đa mô hình và tổng hợp API, có thể tiếp tục tìm hiểu theo các hướng: cổng mô hình, API mô hình lớn, tính phí theo lượng dùng.