결론부터 말하자. 대형 모델 API 접속이 안정적인지는 80%가 모델 제공사의 SLA에 달려 있지 않고, 당신의 접속 계층 엔지니어링 수준에 달려 있다. 작년 프로모션 시즌, 우리의 지능형 고객 서비스 시스템 한 세트가 저녁 피크에 뚫렸다. P99가 800ms에서 14초로 치솟고, 재시도 큐가 6자리 수까지 쌓였으며, 모니터링 경보가 쏟아졌다. 회고해 보니 모델 측은 죽지 않았고, 죽은 것은 우리 자신의 접속 계층이었다.
이 글은 어떤 모델이 얼마나 강한지를 말하는 것이 아니라, 이번 사고의 전체 경로, 근본 원인 파악 과정, 그리고 이후 재구성한 네 가지 핵심 조치를 명확히 풀어 설명한다. 당신도 LLM 애플리케이션을 만들고 있다면, 특히 고동시성 시나리오의 API 접속이라면, 이 글이 한 번의 함정을 줄여줄 가능성이 높다.
사고 현장: 429는 모델이 죽은 게 아니라 우리가 스스로 막힌 것
그 고객 서비스 시스템의 일일 평균 호출량은 수백만 회 규모였고, 프로모션 시즌 피크에는 세 배로 늘었다. 당시 단일 Key 직결을 사용했고, QPS 상한에 도달하자마자 429를 반환하기 시작했다. 문제는 우리의 재시도 로직이 매우 조잡했다는 점이다. 예외를 잡은 후 즉시 재시도했고, 백오프도 지터도 없었으며, 세 개의 서비스 인스턴스가 동시에 재시도해 이미 빠듯한 할당량을 순식간에 소진시켜 정(바로) 피드백을 형성했다. P99가 800ms에서 14초까지 올라갔고, 사용자 측에서 보이는 것은 고객 서비스 로봇이 "입력 중" 상태로 십여 초를 보낸 뒤 죄송하다는 말을 내뱉는 것이었다.
사후에 모니터링 타임라인을 뽑아보니, 전체 폭주 과정은 사실 90초에 불과했다:
•T+0s: 모델 제공사 측 할당량이 소진되어 429 반환 시작;
•T+3s: 세 인스턴스가 동시에 재시도를 트리거해 재시도 요청량이 순식간에 3배로 증폭;
•T+15s: 재시도 큐 적체가 5만 건을 초과하고 스레드 풀이 점유되어 정상 요청도 대기하기 시작;
•T+40s: 업스트림 헬스 체크 타임아웃으로 K8s가 롤링 재시작을 시작했고, 재시작 기간 트래픽이 전부 나머지 인스턴스로 몰려 더 악화;
•T+90s: P99가 14초를 돌파하고 고객 서비스 로봇이 전면 사용 불가.
이런 유형의 장애는 IDC의 AI 인프라 조사에서 "접속 계층 증폭 효과"로 분류된다. 모델 자체의 오류율은 2%에 불과할 수 있지만, 접속 계층 설계가 부적절하면 영향을 열 배 이상으로 증폭시킨다. Gartner의 2025년 생성형 AI 운영 보고서에서도 온라인 AI 사고의 60% 이상이 근본 원인이 모델 추론 자체가 아니라 호출 체인에 있다고 언급했다. 우리 이번 건이 바로 교과서적인 사례다. 모델 측의 429는 도화선일 뿐이고, 진짜 화약은 우리 자신의 재시도 로직과 단일 Key 아키텍처였다.
해법 1: 다중 Key 로테이션 풀링으로 동시성 집결
단일 Key 동시성 소진은 가장 전형적인 함정이다. 올바른 방법은 풀링 스케줄링이다. 여러 Key를 자원 풀로 구성하고 가중치와 건강도에 따라 로테이션하며, 단일 Key가 429를 트리거하면 자동으로 가중치를 낮추고 쿨다운한다. 우리는 이후 token8341 대형 모델 API 통합 플랫폼의 다중 Key 관리 기능으로 동시성을 집결했고, 설정은 대략 이렇다:
key_pool: 각 Key에 max_concurrency를 설정하고, 429 트리거 후 60초 쿨다운에 들어가며, 쿨다운 기간 가중치를 0.1로 낮춘다. 건강한 Key는 가중 라운드 로빈으로 분배된다. 부하 테스트 데이터에 따르면 동일한 피크 QPS에서 풀링 스케줄링은 429 비율을 18%에서 2.3% 이내로 낮추고 P99는 900ms 수준으로 회복했다.
구체적 설정 예시(의사 코드):
key_pool:
- key: sk-xxx1
weight: 1.0
max_concurrency: 50
cooldown_seconds: 60
cooldown_weight: 0.1
- key: sk-xxx2
weight: 1.0
max_concurrency: 50
cooldown_seconds: 60
cooldown_weight: 0.1
- key: sk-xxx3
weight: 1.0
max_concurrency: 50
cooldown_seconds: 60
cooldown_weight: 0.1
dispatch_policy: weighted_round_robin
health_check_interval: 10s여기서 주목할 만한 몇 가지 세부 사항이 있다:
1.가중치를 0이 아니라 0.1로 낮춘다: 완전히 제거하면 쿨다운 종료 후 트래픽이 순식간에 다시 몰려 2차 충격을 유발한다. 0.1의 가중치는 Key가 천천히 회복되도록 해 2차 충격을 피한다;
2.쿨다운 60초는 경험값: 대부분 제공사의 할당량 윈도는 분 단위이므로 60초면 대체로 하나의 완전한 윈도를 커버한다;
3.max_concurrency는 20% 여유를 둔다: Key의 실제 QPS 상한의 80%로 설정해 경계 흔들림을 방지한다.
비교 데이터: 재구성 전 단일 Key 직결, 피크 QPS 1200에서 429 비율 18%, P99 14s; 재구성 후 3Key 풀링, 동일 피크 QPS 1200에서 429 비율 2.3%, P99 900ms. Key 수는 많을수록 좋은 것이 아니며, 3-5개 Key의 풀링이 비용과 안정성 사이에서 비교적 편안한 균형점이다.
해법 2: 지수 백오프에 지터 추가, 재시도가 2차 공격이 되지 않게
재시도에는 반드시 백오프가 필요하다. 우리는 base=200ms, factor=2, max=5s로 바꾸고 0~300ms의 무작위 지터를중첩해 여러 인스턴스가 동시에 재시도하는 것을 피했다. 이 한 가지 변경만으로 재시도 폭풍의 피크를 70% 깎았다. 많은 팀이 재시도를 작성할 때 횟수만 쓰고 간격을 쓰지 않는데, 이는 장애 시 스스로에게 부하를 더하는 것과 같다.
백오프 공식 참고:
delay = min(base * (factor ** retry_count), max_delay) + random(0, jitter)
base = 200ms
factor = 2
max_delay = 5s
jitter = 300ms
max_retries = 31차 재시도 지연은 약 200-500ms, 2차는 약 400-700ms, 3차는 약 800-1100ms. 세 번의 재시도 총 소요 시간은 2.5초 이내로 제어되어 사용자 측에서는 거의 인지되지 않지만, 순간적인 429가 발생한 Key가 쿨다운을 완료하기에는 충분하다.
추가로 한 가지 알려둔다: 재시도는 5xx와 429에만 적용하고, 4xx(429 제외)는 재시도하지 않는다. 이전에 숨은 버그가 있었는데, 파라미터 오류로 반환된 400도 무분별하게 세 번 재시도해 할당량을 헛되이 낭비했다. 수정 후 무효 재시도량은 40% 감소했다.
해법 3: 작업 우선순위에 따른 계층적 성능 저하
고객 서비스 시스템에서 모든 요청이 동등하게 중요한 것은 아니다. 우리는 의도 인식, 주문 조회 같은 핵심 체인을 P0로, 잡담, 추천 화법을 P1로 설정했다. P0은 성능 저하 시 강한 모델을 우선 유지하고, P1은 더 가벼운 모델로 전환하거나 바로 폴백 화법을 반환한다. token8341 대형 모델 API 통합 플랫폼의 모델 라우팅 기능이 여기서 도움이 되었다. 작업에 따라 최적 모델을 자동 선택하고, P0은 강한 모델로, P1은 비용이 더 낮은 국산 모델로 보내 전체 가용성이 오히려 더 높아졌다.
계층 전략은 구체적으로 이렇게실현했다:
P0(핵심 체인): 의도 인식, 주문 상태 조회, 환불 신청. 성능 저하 전략: 강한 모델 → 동일 제공사 예비 강한 모델 → 폴백 화법+상담원 연결. 가용성 목표 99.9%.
P1(경험 체인): 잡담, 추천 화법, 지식베이스 요약. 성능 저하 전략: 강한 모델 → 경량 모델 → 캐시 히트 → 폴백 화법. 가용성 목표 99%.
P2(비동기 체인): 대화 품질 검사, 로그 분석, 오프라인 요약. 성능 저하 전략: 바로 큐에 넣고 비수기에 보충 실행. 가용성 목표 95%.
효과 비교: 재구성 전에는 P0와 P1이 섞여 있어 저녁 피크에 P1의 잡담 요청이 P0의 할당량을 잠식해 주문 조회도 타임아웃되었다. 재구성 후 P1은 피크 시간에 자동으로 경량 모델로 전환되고, P0의 P99는 1.2초 이내로 안정화되었으며, 전체 비용도 약 25% 감소했다(P1의 경량 모델 단가가 강한 모델의 1/5에 불과하기 때문).
해법 4: 스트리밍 출력에는 반드시 타임아웃 서킷 브레이커를
스트리밍 출력에서 가장 놓치기 쉬운 것은 첫 Token 타임아웃이다. 우리는 첫 Token 2초, 전체 30초의 서킷 브레이커 임계값을 추가했고, 타임아웃 시 바로 차단하고 성능 저하로 전환했다. 이 한 가지가 저녁 피크에 롱테일 요청의 대기 시간을 십여 초에서 3초 이내로 되돌렸다.
스트리밍 시나리오의 두 가지 핵심 임계값:
1.첫 Token 타임아웃(TTFT): 2초. 2초가 지나도 첫 token이 반환되지 않으면 업스트림이 이미 대기하기 시작했다는 뜻이므로 바로 차단하고 성능 저하로 전환해 사용자를 마냥 기다리게 하지 않는다;
2.전체 타임아웃: 30초. 스트리밍 출력의 총 소요 시간 상한으로, 모델이 무한 루프나 초장문 생성에 빠지는 것을 방지한다.
구현 시 주의할 점: 스트림을 끊은 후 능동적으로 cancel 인터페이스를 호출해 업스트림 연결을 해제해야 한다. 그렇지 않으면 연결 풀이 좀비 연결로 가득 찬다. 우리는 처음에 이 함정을 밟았고, cancel을 추가한 후 연결 풀 활용률이 95%에서 60%로 떨어졌다.
동시성 속도 제한 자체 점검 목록
1.단일 Key 직결이 아닌 다중 Key 풀링을 했는가?
2.재시도에 지수 백오프와 무작위 지터가 있는가?
3.작업 우선순위에 따른 성능 저하 라우팅이 있는가?
4.스트리밍 출력에 첫 Token 타임아웃 서킷 브레이커가 설정되어 있는가?
5.429 비율과 P99가 핵심 모니터링 대시보드에 들어가 있는가?
6.재시도가 5xx와 429에만 적용되고 4xx는 재시도하지 않는가?
7.스트림단절 후 능동적으로 cancel해 업스트림 연결을 해제하는가?
8.Key 수준의 헬스 체크와 자동 가중치 하향이 있는가?
이 여덟 가지 중 앞의 네 가지는 최소선이고, 뒤의 네 가지는 고급이다. 우리가 재구성할 때 앞의 네 가지는 모두 충족했고, 뒤의 네 가지 중 세 가지를 보충했으며, 남은 하나(Key 수준 헬스 체크 자동화)는 아직 반복 개선 중이다.
비용과 안정성의 재균형
재구성 후 비용 회고를 한 번 했는데, 반직관적인 결론을 발견했다: 안정성 투자가 오히려 전체 비용을 낮췄다. 이유는 세 가지다:
1.재시도량 70% 감소로 무효 호출이 줄어 token 비용 약 15%를 직접 절감;
2.P1 체인이 경량 모델로 전환되어 단가 80% 하락, 총비용 약 25% 절감;
3.장애 시간이 월평균 4시간에서 20분 이내로 줄어 상담원 수동 폴백 인건비도 감소.
바꿔 말하면, 접속 계층 엔지니어링은 순수한 투자가 아니라 가용성과 비용 구조를 동시에 최적화한다. 이것이 우리가 이후 접속 계층 재구성을 분기 최우선 순위로 올린 이유이기도 하다. 그것이 영향을 미치는 것은 단일 지표가 아니라 전체 체인의 건강도이기 때문이다.
한 문장으로 요약하면: 접속 계층의 엔지니어링 수준이 당신의 대형 모델 API가 저녁 피크를 버틸 수 있는지를 결정한다. token8341 대형 모델 API 통합 플랫폼은 이번 재구성에서 Key 관리와 성능 저하 라우팅 역할을 맡았고, 사용량 기반 과금이라 비용도 더 통제 가능하다. 심화 읽기로는 API 게이트웨이의 속도 제한 알고리즘 부분을 보면 되는데, 여기와 같은 사고방식이다.