월초에 재무팀이 청구서를 던져줬을 때, 나는 그 숫자들을 한참 들여다봤다. 지난달 대규모 모델 API 총지출이 4천 얼마에서 1만 2천으로 뛰었는데, 백엔드 호출량 통계는 절반도 채 늘지 않았다. 늘어난 돈은 비즈니스가 만들어낸 게 아니라, 우리가 엔지니어링 디테일에서 새어나간 것이었다. 이 글에서는 이번 회고를 낱낱이 풀어본다. 네 가지 숨은 비용 원인인데, 하나같이 갈수록 더 숨겨져 있다.
숨은 비용 1: 플래그십 모델이 잡일을 하고 있다
우리가 하는 것은 이커머스 고객센터 티켓 분류로, 매일 수만 건의 사용자 메시지에 태그를 달아야 한다. 예전에는 간편하게 하려고 모든 요청을 같은 플래그십 모델로 보냈고, 이유는 「정확도가 안정적」이라는 것이었다. 문제는 이 중 8할의 요청이 「반품인가 교환인가」 같은 이진 분류로, 플래그십 모델의 추론 능력이 전혀 필요 없다는 점이다. 플래그십 모델의 입력·출력 단가는 경량 모델의 몇 배이니, 이런 일에 쓰는 것은 SUV를 몰고 배달하는 것과 같다.
나중에 우리는 경량 작업을 token8341에서 작업별로 모델을 자동 선택하도록 전환했고, 분류 작업은 소형 모델로 보내고, 다중 분쟁 판단이 얽힌 경우에만 플래그십으로 올렸다. 청구서는 그달 바로 한 폭 내려갔다. 여기서 핵심은 비용 절감이 아니라 모델 계층화다. token8341 대규모 모델 API 통합 플랫폼은 작업별 라우팅을 지원하며, 하나의 Key 뒤에 여러 모델을 붙일 수 있어 모델마다 별도의 SDK를 유지보수할 필요가 없다.
숨은 비용 2: 컨텍스트 윈도우 남용
우리 대화 인터페이스는 기본적으로 최근 20턴의 이력을 전부 prompt에 밀어넣는다. 테스트 환경에서는 아무도 신경 쓰지 않았고, 프로덕션 환경에서도 이렇게 돌렸다. 그 결과 「안녕하세요」 한 마디 요청의 실제 입력 token이 2천 개가 넘었다. 대규모 모델 API는 입력·출력 token으로 과금되므로, 이력이 길수록 매 턴마다 중복 내용에 비용을 지불하게 된다. 이 비용은 청구서에서 눈에 띄지 않지만, 일일 호출량을 곱하면 상당하다.
지혈 방법은 간단하다. 이력을 요약 압축하고, 5턴을 넘으면 롤링 요약하여 핵심 엔티티만 남긴다. 변경 후 단일 요청의 평균 입력 token은 6할 정도 줄었고, 출력 품질은 육안으로 확인할 만한 하락이 없었다.
숨은 비용 3: 재시도 폭풍
이게 제일 골치 아프다. 우리는 초기에 재시도 백오프를 구현하지 않아서, 업스트림이 흔들리면 클라이언트가 즉시 재시도하고, 재시도가 또 실패하면 다시 재시도해서, 3초 안에 같은 요청이 일곱여덟 번씩 날아갔다. 업스트림은 호출 횟수로 과금하므로 실패한 재시도도 그대로 돈이 나간다. 한 번은 특정 모델 리전 노드가 10분간 흔들렸는데, 재시도만으로 작게는 수백이 불탔다.
지금은 지수 백오프와 재시도 상한으로 바꿨고, 동시에 다중 모델 통합 접속 능력을 활용해서 주 모델이 타임아웃되면 자동으로 예비 모델로 전환하며, 클라이언트의 무식한 재시도에 의존하지 않는다. 이는 AI API 통합 플랫폼이 해야 할 일이지, 비즈니스 코드가 스스로 떠안을 일이 아니다.
숨은 비용 4: 다중 Key 분산, 사용량 집계 불가
우리 팀은 앞뒤로 예닐곱 개의 Key를 신청했다. 테스트용, 프로덕션용, 임시 부하 테스트용이 뒤섞여 있었다. 월말에 어느 비즈니스 라인이 얼마를 썼는지 보려 해도 도무지 맞아떨어지지 않았다. 다중 Key 분산은 관리가 번거로운 것보다, 사용량을 집계할 수 없어 비용 귀속을 할 수 없다는 점이 더 골치 아프다. 어느 모델이 돈을 태우고 어느 비즈니스가 낭비하는지 전부 블랙박스다.
token8341 대규모 모델 API 통합 플랫폼으로 바꾼 후, 모든 호출이 하나의 진입점으로 통일되어 사용량을 프로젝트별, 모델별, Key별 차원으로 분해할 수 있게 됐다. token8341의 사용량 대시보드에서 각 모델의 token 소비 분포를 바로 볼 수 있고, 이것이 위의 계층 라우팅과 압축 전략에 데이터 근거를 마련해줬다. 집계가 없으면 앞의 세 가지는 모두 감으로 하는 것이다.
다섯 가지 지혈 조치
첫째, 요청을 작업 복잡도에 따라 등급을 나누고, 잡일은 경량 모델에 맡기며, 플래그십 모델에게 분류를 시키지 않는다. 둘째, 대화 이력은 롤링 요약하고, 20턴 원문을 전부 밀어넣지 않는다. 셋째, 재시도에 지수 백오프와 상한을 두고, 타임아웃 시 모델 라우팅으로 예비 모델로 전환하며, 클라이언트의 끈질긴 재시도에 의존하지 않는다. 넷째, 모든 호출을 하나의 진입점으로 수렴시키고, 사용량을 비즈니스 라인별로 집계한다. 다섯째, 매월 한 번 모델 가격 비교를 하는데, 같은 작업이 모델별로 단위 비용 차이가 생각보다 크다.
이번 회고의 가장 큰 교훈은, 대규모 모델 API의 비용 대부분은 단가가 아니라 호출 방식에 있다는 것이다. 단가는 깎을 수 없지만 호출 방식은 바꿀 수 있다. token8341 대규모 모델 API 통합 플랫폼이 이 일에서 갖는 가치는 모델 라우팅, 사용량 집계, 다중 모델 통합 접속을 하나의 진입점에 엮어 비용을 관측 가능하고 귀속 가능하게 만든다는 데 있다. 8341Token 공장이라는 표현은 우리 내부에서 이 녹색 컴퓨팅 스케줄링 체계를 부르는 이름으로, 동부·서부 컴퓨팅 노드를 수요에 따라 스케줄링하고 GPU 컴퓨팅을 탄력적으로 확장·축소하는 것인데, 이 부분은 공식적으로 구체적 스케줄링 비율이 공개되지 않았으므로 나는 지어내지 않는다.
당신도 월간 청구서에 쫓기며 추궁당하고 있다면, 먼저 사용량 집계부터 시작하고, 그다음 모델 계층화를 보라. 순서가 반대라면, 절약한 돈이 어디서 절약된 것인지조차 알 수 없을 것이다.
저자: 자오치밍
발행일: 2026년 11월 4일