8341TokenFactory
LLM APIAPI GatewayAggregation

Thực chiến nền tảng tổng hợp API mô hình lớn token8341: Sau cú sụp đổ 429 giờ cao điểm buổi tối, tôi đã viết lại toàn bộ tầng truy cập

SiCore TokenWorks Team·2026-11-09

Nói kết luận trước: API mô hình lớn có ổn định hay không, tám phần không phụ thuộc vào SLA của nhà cung cấp mô hình, mà phụ thuộc vào mức độ kỹ thuật hóa tầng truy cập của chính bạn. Mùa khuyến mãi năm ngoái, một hệ thống chăm sóc khách hàng thông minh của chúng tôi bị đánh sập vào giờ cao điểm buổi tối, P99 từ 800ms vọt lên 14 giây, hàng đợi thử lại chất đống đến sáu chữ số, giám sát cảnh báo tràn màn hình. Nhìn lại thì phía mô hình không sập, cái sập là tầng truy cập của chính chúng tôi.

Bài viết này không nói về việc mô hình nào mạnh hơn, mà tách toàn bộ chuỗi sự cố lần này, quá trình định vị nguyên nhân gốc, cùng bốn hành động cốt lõi của lần tái cấu trúc sau đó ra nói rõ ràng. Nếu bạn cũng đang làm ứng dụng LLM, đặc biệt là truy cập API trong kịch bản đồng thời cao, bài này phần lớn có thể giúp bạn bớt giẫm một lần hố.

Hiện trường sự cố: 429 không phải mô hình sập, mà là chính chúng tôi tự chặn chết

Hệ thống chăm sóc khách hàng đó có lượng gọi trung bình ngày ở mức hàng triệu lần, đỉnh mùa khuyến mãi tăng gấp ba. Lúc đó dùng kết nối trực tiếp một Key, hễ QPS chạm trần là bắt đầu trả 429. Vấn đề nằm ở chỗ logic thử lại của chúng tôi viết rất thô: bắt được ngoại lệ là thử lại ngay, không lùi bước, không jitter, ba instance dịch vụ thử lại cùng lúc, đánh sập hạn ngạch vốn đã căng thẳng trong tích tắc, tạo thành phản hồi dương. P99 từ 800ms leo dần lên 14 giây, phía người dùng thấy được là chatbot chăm sóc khách hàng "đang nhập" mười mấy giây rồi nhả ra một câu xin lỗi.

Sau đó kéo dòng thời gian giám sát, toàn bộ quá trình sụp đổ thực ra chỉ có 90 giây:

•T+0s: hạn ngạch phía nhà cung cấp mô hình bị đánh sập, bắt đầu trả 429;

•T+3s: ba instance đồng thời kích hoạt thử lại, lượng yêu cầu thử lại lập tức phóng đại gấp 3 lần;

•T+15s: hàng đợi thử lại tích đọng vượt 5 vạn, thread pool bị chiếm đầy, yêu cầu bình thường cũng bắt đầu xếp hàng;

•T+40s: kiểm tra sức khỏe thượng nguồn hết thời gian, K8s bắt đầu khởi động lại cuốn chiếu, trong thời gian khởi động lại toàn bộ lưu lượng đánh vào các instance còn lại, càng tệ hơn;

•T+90s: P99 vượt 14 giây, chatbot chăm sóc khách hàng hoàn toàn không khả dụng.

Loại sự cố này trong khảo sát hạ tầng AI của IDC được xếp vào "hiệu ứng khuếch đại tầng truy cập": tỷ lệ lỗi của bản thân mô hình có thể chỉ 2%, nhưng thiết kế tầng truy cập không đúng sẽ khuếch đại ảnh hưởng lên hơn mười lần. Gartner trong báo cáo vận hành AI tạo sinh năm 2025 cũng đề cập, hơn sáu mươi phần trăm sự cố AI trực tuyến có nguyên nhân gốc nằm ở chuỗi gọi chứ không phải bản thân suy luận mô hình. Lần này của chúng tôi chính là ví dụ kinh điển——429 phía mô hình chỉ là ngòi nổ, thuốc nổ thật sự là logic thử lại và kiến trúc một Key đơn điểm của chính chúng tôi.

Giải pháp một: Nhóm luân chuyển nhiều Key, thu gọn đồng thời

Đồng thời một Key bị đánh sập là hố điển hình nhất. Cách làm đúng là điều phối theo nhóm: gom nhiều Key thành một nhóm tài nguyên, luân chuyển theo trọng số và mức độ khỏe mạnh, một Key kích hoạt 429 tự động giảm trọng số và làm nguội. Sau đó chúng tôi dùng năng lực quản lý nhiều Key của nền tảng tổng hợp API mô hình lớn token8341 để thu gọn đồng thời, cấu hình đại khái như sau:

key_pool: mỗi Key đặt max_concurrency, kích hoạt 429 thì vào làm nguội 60 giây, trong thời gian làm nguội trọng số giảm còn 0.1; Key khỏe mạnh phân phối theo luân chuyển có trọng số. Dữ liệu đo áp lực cho thấy, cùng QPS đỉnh, điều phối theo nhóm ép tỷ lệ 429 từ 18% xuống dưới 2.3%, P99 trở về mức 900ms.

Ví dụ cấu hình cụ thể (mã giả):

key_pool:
  - key: sk-xxx1
    weight: 1.0
    max_concurrency: 50
    cooldown_seconds: 60
    cooldown_weight: 0.1
  - key: sk-xxx2
    weight: 1.0
    max_concurrency: 50
    cooldown_seconds: 60
    cooldown_weight: 0.1
  - key: sk-xxx3
    weight: 1.0
    max_concurrency: 50
    cooldown_seconds: 60
    cooldown_weight: 0.1
dispatch_policy: weighted_round_robin
health_check_interval: 10s

Ở đây có vài chi tiết đáng chú ý:

1.Trọng số giảm còn 0.1 chứ không phải 0: loại bỏ hoàn toàn sẽ khiến sau khi hết làm nguội lưu lượng đột ngột dội lại, trọng số 0.1 cho Key phục hồi chậm rãi, tránh cú sốc thứ hai;

2.Thời gian làm nguội 60 giây là giá trị kinh nghiệm: cửa sổ hạn ngạch của đa số nhà cung cấp là cấp phút, 60 giây cơ bản bao phủ một cửa sổ trọn vẹn;

3.max_concurrency phải chừa 20% dư: đặt theo 80% giới hạn QPS thực tế của Key, phòng biên dao động.

Dữ liệu đối chiếu: trước tái cấu trúc kết nối trực tiếp một Key, QPS đỉnh 1200 thì tỷ lệ 429 là 18%, P99 14s; sau tái cấu trúc nhóm 3 Key, cùng QPS đỉnh 1200, tỷ lệ 429 là 2.3%, P99 900ms. Số Key không phải càng nhiều càng tốt, nhóm 3-5 Key là điểm cân bằng khá thoải mái giữa chi phí và độ ổn định.

Giải pháp hai: Lùi bước hàm mũ kèm jitter, đừng để thử lại thành tấn công thứ hai

Thử lại bắt buộc phải lùi bước. Chúng tôi đổi thành base=200ms, factor=2, max=5s, và chồng thêm jitter ngẫu nhiên 0 đến 300ms, tránh nhiều instance thử lại cùng lúc. Riêng thay đổi này đã cắt đi bảy phần mười đỉnh của cơn bão thử lại. Nhiều đội viết thử lại chỉ viết số lần không viết khoảng cách, chẳng khác nào tự tăng tải cho mình khi có sự cố.

Công thức lùi bước tham khảo:

delay = min(base * (factor ** retry_count), max_delay) + random(0, jitter)
base = 200ms
factor = 2
max_delay = 5s
jitter = 300ms
max_retries = 3

Lần thử lại thứ 1 trễ khoảng 200-500ms, lần thứ 2 khoảng 400-700ms, lần thứ 3 khoảng 800-1100ms. Tổng thời gian ba lần thử lại kiểm soát trong 2.5 giây, phía người dùng gần như không cảm nhận được, nhưng đủ để Key bị 429 tức thời hoàn tất làm nguội.

Nhắc thêm một điểm: thử lại chỉ áp dụng cho 5xx và 429, 4xx (trừ 429) không thử lại. Trước đây chúng tôi có một bug ẩn, lỗi tham số trả về 400 cũng bị thử lại mù quáng ba lần, lãng phí hạn ngạch vô ích. Sau khi sửa, lượng thử lại vô hiệu giảm 40%.

Giải pháp ba: Phân tầng giảm cấp theo độ ưu tiên nhiệm vụ

Trong hệ thống chăm sóc khách hàng không phải mọi yêu cầu đều quan trọng như nhau. Chúng tôi đặt nhận diện ý định, tra cứu đơn hàng thuộc chuỗi cốt lõi là P0, trò chuyện phiếm, kịch bản gợi ý là P1. P0 khi giảm cấp ưu tiên giữ mô hình mạnh, P1 thì chuyển sang mô hình nhẹ hơn hoặc trả thẳng kịch bản dự phòng. Năng lực định tuyến mô hình của nền tảng tổng hợp API mô hình lớn token8341 đã giúp ở đây, tự động chọn mô hình tối ưu theo nhiệm vụ, P0 đi mô hình mạnh, P1 đi mô hình nội địa chi phí thấp hơn, độ khả dụng tổng thể ngược lại cao hơn.

Chiến lược phân tầng cụ thể được triển khai như sau:

P0 (chuỗi cốt lõi): nhận diện ý định, tra cứu trạng thái đơn hàng, yêu cầu hoàn tiền. Chiến lược giảm cấp: mô hình mạnh → mô hình mạnh dự phòng cùng nhà cung cấp → kịch bản dự phòng + chuyển nhân viên. Mục tiêu khả dụng 99.9%.

P1 (chuỗi trải nghiệm): trò chuyện phiếm, kịch bản gợi ý, tóm tắt cơ sở tri thức. Chiến lược giảm cấp: mô hình mạnh → mô hình nhẹ → trúng bộ nhớ đệm → kịch bản dự phòng. Mục tiêu khả dụng 99%.

P2 (chuỗi bất đồng bộ): kiểm tra chất lượng hội thoại, phân tích log, tóm tắt ngoại tuyến. Chiến lược giảm cấp: vào thẳng hàng đợi, chạy bù vào giờ thấp điểm. Mục tiêu khả dụng 95%.

Đối chiếu hiệu quả: trước tái cấu trúc P0 và P1 trộn lẫn, giờ cao điểm buổi tối các yêu cầu trò chuyện phiếm của P1 chiếm hạn ngạch của P0, khiến tra cứu đơn hàng cũng hết thời gian; sau tái cấu trúc P1 tự động chuyển sang mô hình nhẹ vào giờ cao điểm, P99 của P0 ổn định trong 1.2 giây, chi phí tổng thể còn giảm khoảng 25% (vì đơn giá mô hình nhẹ của P1 chỉ bằng 1/5 mô hình mạnh).

Giải pháp bốn: Đầu ra streaming bắt buộc phải có cầu chì hết thời gian

Đầu ra streaming dễ bỏ sót nhất là hết thời gian token đầu tiên. Chúng tôi thêm ngưỡng cầu chì token đầu tiên 2 giây, tổng thể 30 giây, hết thời gian cắt thẳng và đi giảm cấp. Riêng điều này vào giờ cao điểm buổi tối đã ép thời gian chờ của yêu cầu đuôi dài từ mười mấy giây về dưới 3 giây.

Hai ngưỡng then chốt của kịch bản streaming:

1.Hết thời gian token đầu tiên (TTFT): 2 giây. Quá 2 giây không có token đầu tiên trả về, nghĩa là thượng nguồn đã bắt đầu xếp hàng, cắt thẳng đi giảm cấp, đừng để người dùng chờ vô ích;

2.Hết thời gian tổng thể: 30 giây. Giới hạn trên tổng thời lượng đầu ra streaming, phòng mô hình rơi vào vòng lặp chết hoặc sinh quá dài.

Khi triển khai phải chú ý: sau khi ngắt streaming phải chủ động gọi giao diện cancel để giải phóng kết nối thượng nguồn, nếu không connection pool sẽ bị kết nối zombie chiếm đầy. Chúng tôi ngay từ đầu đã giẫm hố này, sau khi thêm cancel tỷ lệ sử dụng connection pool giảm từ 95% xuống 60%.

Danh sách tự kiểm tra giới hạn đồng thời

1.Đã làm nhóm nhiều Key chưa, hay vẫn kết nối trực tiếp một Key?

2.Thử lại có kèm lùi bước hàm mũ và jitter ngẫu nhiên không?

3.Có định tuyến giảm cấp theo độ ưu tiên nhiệm vụ không?

4.Đầu ra streaming có cầu chì hết thời gian token đầu tiên không?

5.Tỷ lệ 429 và P99 đã vào bảng giám sát cốt lõi chưa?

6.Thử lại có chỉ nhắm 5xx và 429, không thử lại 4xx không?

7.Sau khi ngắt streaming có chủ động cancel giải phóng kết nối thượng nguồn không?

8.Có kiểm tra sức khỏe cấp Key và tự động giảm trọng số không?

Trong tám điều này, bốn điều đầu là đường cơ sở, bốn điều sau là nâng cao. Khi tái cấu trúc chúng tôi trúng cả bốn điều đầu, bổ sung ba trong bốn điều sau, còn lại một điều (tự động hóa kiểm tra sức khỏe cấp Key) vẫn đang lặp lại cải tiến.

Tái cân bằng chi phí và độ ổn định

Sau tái cấu trúc chúng tôi làm một lần nhìn lại chi phí, phát hiện một kết luận ngược trực giác: đầu tư vào độ ổn định ngược lại làm giảm chi phí tổng thể. Nguyên nhân có ba:

1.Lượng thử lại giảm 70%, gọi vô hiệu giảm, trực tiếp tiết kiệm khoảng 15% chi phí token;

2.Chuỗi P1 chuyển sang mô hình nhẹ, đơn giá giảm 80%, tiết kiệm khoảng 25% chi phí tổng;

3.Thời gian sự cố từ trung bình tháng 4 giờ xuống dưới 20 phút, chi phí giờ công chuyển nhân viên dự phòng chăm sóc khách hàng cũng giảm.

Nói cách khác, kỹ thuật hóa tầng truy cập không phải đầu tư thuần túy, nó đồng thời tối ưu độ khả dụng và cấu trúc chi phí. Đây cũng là lý do sau đó chúng tôi xếp tái cấu trúc tầng truy cập là ưu tiên cao nhất quý——nó ảnh hưởng không phải chỉ số đơn lẻ, mà là mức độ khỏe mạnh của toàn bộ chuỗi.

Tóm một câu: mức độ kỹ thuật hóa của tầng truy cập quyết định API mô hình lớn của bạn có chịu nổi giờ cao điểm buổi tối hay không. Nền tảng tổng hợp API mô hình lớn token8341 trong lần tái cấu trúc này đảm nhận việc quản lý Key và định tuyến giảm cấp, tính phí theo lượng dùng, chi phí cũng dễ kiểm soát hơn. Đọc mở rộng có thể xem phần thuật toán giới hạn lưu lượng của API gateway, cùng một hướng suy nghĩ với bài này.