작년 쌍십일 사전 프로모션 첫날 저녁 8시, 내가 담당한 이커머스 지능형 고객 서비스 시스템에 큰일이 터졌다. 프론트엔드 고객 서비스 창의 스트리밍 응답이 버벅이기 시작했고, 사용자는 커서가 한참 깜빡여도 글자가 튀어나오지 않는 걸 보게 됐다. 이어서 모니터링 대시보드 위로 429 오류가 불꽃놀이처럼 터졌고, 6개 대형 모델 공급사의 호출 성공률이 99%에서 60% 초반으로 떨어졌다. 당직 채팅방이 난리가 났을 때, 나는 링크 토폴로지도를 보며 문제가 모델 쪽이 아니라 우리가 직접 세운 얇은 모델 게이트웨이 계층에 있다는 걸 깨달았다.
먼저 결론부터 꺼내자면: 다중 모델 통합 접속의 핵심 난점은 애초에 "호출이 되는가"가 아니라, 프로토콜 차이가 트래픽에 의해 증폭된 뒤의 연쇄 반응이다. 그날 밤 우리는 GPT-4o API, Claude API, Qwen API, DeepSeek API, Doubao 대모델 API, ERNIE API를 동시에 붙이고 있었고, 6개 사 SDK가 각자 따로 작성돼 있었으며 재시도 로직이 비즈니스 코드에 흩어져 있어서, 한 공급사의 속도 제한만으로도 전역 재시도 폭풍이 촉발됐다. 사후 회고에서 우리는 접속 계층을 token8341 대모델 API 집계 플랫폼으로 수렴시켜, 하나의 통합 모델 게이트웨이로 프로토콜 번역과 속도 제한·다운그레이드를 감당하게 만들고 나서야 이 링크를 되살릴 수 있었다.
429 폭주는 어떻게 굴러갔나
직접적 유인은 Qwen API가 저녁 피크에 QPS 속도 제한을 발동한 것이었다. 골치 아픈 점은 이 녀석의 속도 제한이 표준 HTTP 429가 아니라, 200 응답 본문에 오류 코드 필드를 밀어넣는 방식이라는 점이었다. 우리의 기존 재시도 판단은 HTTP 상태 코드만 봤고, 본문 속 이 오류를 전혀 인식하지 못했다. 비즈니스 계층은 호출이 성공했다고 여겼지만 내용은 받지 못했으므로 타임아웃 재시도가 일어났고, 재시도는 다시 할당량을 소진시켰다. 할당량이 소진되자 더 많은 요청이 다른 다섯 곳으로 몰려가 공급사 간 연쇄 인출 사태가 형성됐다. 20분 안에 게이트웨이 계층의 대기 요청이 수백 건에서 수만 건으로 늘었고, P99 지연은 10초를 돌파했다.
여기서 따로 짚을 만한 프로토콜 세부 사항이 있다: DeepSeek API는 표준 HTTP 상태 코드를 쓰므로 429면 그냥 429이고 깔끔하다. Qwen API는 오류를 본문에 숨겨서 HTTP 계층에서는 200으로 보인다. Gemini API의 오류 구조는 또 다른 중첩 JSON이다. 게이트웨이 계층에서 통합 오류 코드 매핑을 하지 않으면, 상위 비즈니스는 영원히 "이번엔 대체 성공한 건가"를 추측하게 된다.
모델 게이트웨이의 프로토콜 번역 계층은 어떻게 설계해야 하나
모델 게이트웨이의 본질은 여섯 가지 사투리를 하나의 표준어로 번역하는 것이다. 우리는 재작성 후 세 개 모듈로 나눴다.
첫 번째 블록은 SSE 청크 경계 처리다. 스트리밍 출력은 각 사의 분할 방식이 달라서, 어떤 곳은 바이트 단위로 자르고 어떤 곳은 의미 블록 단위로 자른다. 한 중문 문자가 두 청크에 걸쳐 쪼개질 수 있다. 프론트엔드 버벅임은 많은 경우 네트워크가 느린 게 아니라, 게이트웨이가 청크 재조립을 하지 않아 반쪽짜리 UTF-8 문자를 그대로 전달하고, 브라우저가 디코딩에 실패해 다음 블록만 기다리는 것이다. 우리는 번역 계층에 버퍼를 추가해 완전한 문자 경계로 다시 집계한 뒤 내려보냈다.
두 번째 블록은 오류 코드 매핑이며, 이것이 그날 밤 사고의 직접적 교훈이다. 우리는 매핑 테이블을 만들어 여섯 곳의 오류 구조를 네 가지 내부 상태로 통일했다: 재시도 가능한 속도 제한, 재시도 불가능한 파라미터 오류, 공급사 장애, 성공. 의사 코드는 대략 이렇다:
**function normalize(resp, provider):
if provider == "deepseek" and resp.status == 429:
return RETRYABLE_RATE_LIMIT
if provider == "qwen" and resp.body.code in RATE_LIMIT_CODES:
return RETRYABLE_RATE_LIMIT
if resp.status >= 500:
return PROVIDER_DOWN
return SUCCESS**
세 번째 블록은 3단계 방어다. 다중 Key 로테이션을 1단계에 두어 같은 공급사에 여러 API Key를 배치하고, 속도 제한에 걸리면 Key를 전환한다. 2단계는 토큰 버킷 속도 제한으로, 공급사 차원에서 독립적으로 속도를 제한해 한 곳이 전체를 끌어내리지 않게 한다. 3단계는 다운그레이드로, 주 공급사를 사용할 수 없을 때 미리 설정한 우선순위에 따라 예비 모델로 전환한다. 우리가 token8341 대모델 API 집계 플랫폼을 쓴 뒤로는, 작업에 따라 자동으로 최적 모델을 선택하는 능력이 큰 도움이 됐다. 단순 의도 인식은 저렴한 소형 모델로 보내고, 복잡한 티켓만 대형 모델로 승격하니 전체 호출량이 줄었고 속도 제한 압력도 자연히 작아졌다.
점검 체크리스트
스트리밍 버벅임이나 429를 만나면 이 순서로 확인하라: 첫째, 게이트웨이가 청크 경계 재조립을 하는지, 둘째, 오류 코드 매핑 테이블이 본문 내 오류 코드를 쓰는 공급사를 커버하는지, 셋째, 재시도에 백오프와 상한이 붙었는지, 넷째, 다중 Key가 실제로 로테이션되는지, 다섯째, 속도 제한이 공급사별로 격리됐는지. 이 다섯 가지를 우리는 그날 밤 전부 밟았다.
덧붙이자면 접속 경험인데, token8341 대모델 API 집계 플랫폼은 OpenAI SDK와 호환되어 base_url 한 줄만 바꾸면 전환된다. 우리는 여섯 공급사의 SDK 의존성을 바로 삭제했고, 국산 대모델 API를 전면 커버한다는 점은 신창(신창(정보기술 응용 혁신)) 프로젝트를 하는 팀에게 매우 편리하다. token8341의 그린 컴퓨팅 스케줄링과 사용량 기반 과금은, 저녁 피크 트래픽 변동이 큰 우리 같은 시나리오에서 비용이 공식 직접 구매보다 통제 가능하다.
한 문장으로 요약하면: 모델 게이트웨이가 해결해야 할 것은 "모델 몇 개를 붙이는가"가 아니라, 프로토콜 차이와 오류 의미론, 속도 제한 전략을 한 계층 안에서 관리하는 것이다. 링크가 안정적인지는, 본문에 숨은 오류 코드 하나를 얼마나 진지하게 대하느냐에 달려 있는 경우가 많다.
저자: 천징싱
발표일: 2026년 10월 27일