지난달 재무팀에서 청구서를 던져줬을 때, 나는 그녀가 잘못 본 줄 알았다. 호출량은 전월 대비 40% 늘었는데, 청구서는 육 자릿수 초반에서 곧바로 거의 세 배로 뛰었다. 선형적으로 계산하면 많아야 40% 더 내면 되는데, 늘어난 그 부분은 대체 어디서 나온 걸까?
최근 30일간의 호출 로그를 뽑아서 모델별, 인터페이스별, 재시도 횟수별로 잘라서 살펴봤다. 문제는 '양'이 아니라 '구조'에 있었다. 네 개의 숨은 출혈 지점이 있는데, 하나하나 갈수록 은밀했다.
가장 눈에 띄는 것부터 말하자면: 플래그십 모델이 잡일을 하고 있었다. 우리에게 의도 인식 모듈이 있었는데, 원래는 경량 모델로 충분했지만 초기에 편하려고 가장 비싼 플래그십 모델에 그대로 붙여놓고 아무도 건드리지 않았다. 이런 트래픽은 전체 요청 수의 60% 이상을 차지하지만 기여하는 비즈니스 가치는 극히 낮았다. 모델 계층화로 다시 돌려서 분류, 추출, 형식 검증 같은 작업을 소형 모델로 내리고, 진짜 추론이 필요한 요청만 플래그십 모델에 남기니 이 부분 비용을 원래의 3분의 1에서 절반까지 줄일 수 있었다. 이 동작을 얕보지 마라. 비즈니스 로직을 바꿀 필요 없이 라우팅만 바꾸면 된다.
구체적으로 어떻게 계층화했을까? 나는 작업 유형별로 세 단계로 나눴다. 첫 번째 단계는 분류와 의도 인식으로, 입력이 짧고 출력이 짧으며 로직이 단순해서 소형 모델이 충분히 감당할 수 있다. 두 번째 단계는 정보 추출과 형식 검증으로, 약간의 의미 이해가 필요하지만 다단계 추론은 필요 없어서 중형 모델을 사용한다. 세 번째 단계라야 복잡한 다단계 추론, 장문 생성, 코드 완성 같은 것으로 플래그십 모델에 남긴다. 나눈 뒤 비교해보니, 첫 번째 단계 작업은 소형 모델에서 정확도가 2퍼센트 포인트도 안 떨어졌지만 단일 호출 비용은 거의 90% 줄었다. 두 번째 단계는 더 미묘했는데, 중형 모델과 플래그십 모델이 추출 작업에서 F1 차이가 0.03도 안 났지만 비용은 다섯 배 차이가 났다. 이 계산을 해보면 바로 이해된다. 이전에 더 쓴 돈은 순전히 게을러서 편한 길을 택한 대가였다.
두 번째 함정은 더 음흉하다. 재시도 폭풍이다. 업스트림의 어느 인터페이스의 타임아웃 임계값이 너무 빡빡하게 설정되어 있어서, 네트워크가 살짝 흔들리면 클라이언트가 재시도하고, 재시도가 다시 타임아웃되면 또 재시도한다. 로그에서 같은 요청이 네다섯 번씩 찍히는 것을 볼 수 있는데, 매번 Token을 태우고 있고 사용자 쪽에서는 한 번의 실패만 보인다. 이런 무효 소모는 청구서에 티가 잘 안 나지만 비중이 20% 안팎까지 될 수 있다. 조치는 간단하다. 재시도를 백오프가 있는 멱등 재시도로 바꾸고, 타임아웃 임계값을 넓히고, 서버 측에서 요청 중복 제거를 하는 것이다. 하고 나니 무효 Token을 절반 이상 줄일 수 있었다.
여기서 몇 가지 핵심 파라미터를 풀어서 설명하겠다. 우리는 타임아웃 임계값을 기존 3초에서 15초로 넓히고, 재시도 횟수를 무제한에서 최대 두 번으로 바꾸고, 백오프 전략은 지수 백오프에 지터를 더했다. 첫 재시도는 1초 대기, 두 번째는 2초 대기, 무작위 지터를 더해 썬더링 허드를 피했다. 서버 측에는 요청 지문을 추가해서 같은 지문은 60초 내에 한 번만 처리하고, 이후 요청은 바로 캐시 결과를 반환한다. 바꾸고 나서 일주일을 집중적으로 지켜봤는데, 재시도율이 기존 18%에서 4% 미만으로 떨어졌고 무효 Token 소모는 70% 이상 줄었다. 예상치 못한 수확도 있었다. 사용자 측의 타임아웃 불만이 오히려 줄었는데, 임계값을 넓힌 뒤로 원래는 성공할 수 있었지만 너무 일찍 끊겼던 요청들이 이제 정상적으로 반환되기 때문이다.
세 번째는 긴 컨텍스트를 자르지 않은 것이다. 우리 대화 인터페이스는 기본적으로 전체 히스토리를 다 집어넣어서, 사용자가 스무 번째 턴쯤 대화하면 입력 Token이 첫 턴의 십몇 배가 된다. 하지만 실제로 대부분의 히스토리는 현재 답변에 쓸모가 없다. 슬라이딩 윈도우에 요약 압축을 더해서 최근 몇 턴의 원문과 롤링 요약만 유지하면 입력 측을 40~60% 줄일 수 있다. 여기 디테일이 하나 있는데, 요약 자체도 Token을 쓰기 때문에 윈도우를 너무 세게 압축하면 안 되고, 그 변곡점을 찾아야 한다.
우리는 몇 가지 파라미터 조합을 시험해보고 최종적으로 '최근 다섯 턴 원문 + 롤링 요약'이라는 조합으로 정했다. 롤링 요약은 매 턴 새로 생성하는 게 아니라 세 턴마다 한 번 업데이트해서, 더 이전의 대화를 200자 이내의 요약으로 압축한다. 이렇게 하니 입력 측 Token량이 스무 번째 턴의 8000여 개에서 3000여 개로 떨어져 60% 이상 줄었다. 하지만 최근 두 턴만 남기도록 압축하는 것도 시험해봤는데, 답변 품질이 확실히 떨어져서 사용자가 문맥을 다시 물을 때 모델이 자주 동문서답했다. 그래서 이 변곡점은 확실히 존재하고, 자기 비즈니스 시나리오에 맞춰 테스트해야 한다. 우리 경험은 이렇다. 윈도우 크기는 최근 세 턴보다 작게 하지 말고, 요약 업데이트 빈도는 두 턴에 한 번보다 자주 하지 마라. 그렇지 않으면 절약한 Token 비용으로 사용자 경험 손실을 보상하기에 부족하다.
네 번째는 캐시 적중률이 낮은 것이다. 같거나 매우 유사한 요청이 반복적으로 들어오는데 우리는 매번 다시 추론하고 있었다. 시스템 프롬프트, 고정 템플릿, 고빈도 질의응답처럼 완전히 캐시 가능한 내용의 적중률이 당시 10%도 안 됐다. 시맨틱 캐시 계층을 추가한 뒤로 중복 요청은 바로 반환되니, 이 부분에서 절약할 수 있는 비율은 비즈니스 중복도에 달려 있는데 우리 쪽은 대략 20~30% 사이였다.
시맨틱 캐시는 두 마디 더 할 만하다. 정확 캐시는 완전히 같은 요청만 적중할 수 있지만, 실제 시나리오에서는 대량의 요청이 '의미는 비슷하지만 표현이 다른' 경우다. 예를 들어 사용자가 '어떻게 환불해요'와 '환불 절차가 뭐예요'를 물으면 정확 매칭은 적중하지 못하지만 시맨틱 캐시는 가능하다. 우리가 쓴 방식은 이렇다. 입력을 벡터화하고 캐시 라이브러리에서 근사 최근접 이웃 검색을 해서 유사도가 임계값을 넘으면 바로 캐시 결과를 반환한다. 임계값을 얼마로 두느냐가 관건인데, 너무 높으면 적중률이 안 올라가고 너무 낮으면 관련 없는 답변을 반환하기 쉽다. 우리는 최종적으로 0.92로 정했고, 적중률이 10% 미만에서 34%로 올라갔으며, 동문서답이라는 사용자 불만은 하나도 받지 않았다. 시스템 프롬프트와 고정 템플릿 부분은 더 간단해서 바로 프리픽스 캐시를 적용해 적중률이 거의 100%에 달했다.
네 가지 조치를 겹쳐서, 우리는 이후 종량제 과금에 모델 계층화를 더해 돌려본 결과 청구서가 성장 전의 약 1.2배로 돌아왔고, 호출량은 여전히 그 40% 증가폭이었다. 덧붙여 말하자면, 중간에 token8341로 멀티 모델 통합 접속을 시험해봤는데, 하나의 Key로 여러 모델을 전환하고 라우팅과 과금 기준이 통일되니 이런 구조적 문제를점검하는 데 일이 훨씬 줄었다.
또 하나 쉽게 간과되는 점을 말하자면: 모니터링과 귀인이다. 이 네 가지 문제가 이렇게 오래 걸려서야 발견된 근본 원인은 우리 청구서가 모델과 인터페이스 차원으로만 나오고 '작업 유형'과 '요청 지문' 차원으로는 잘라주지 않았기 때문이다. 나중에 호출 태그 계층을 추가해서 각 요청에 작업 유형, 재시도 여부, 캐시 적중 여부, 컨텍스트 턴 수라는 태그를 붙이니, 청구서가 다시 나올 때 어느단계이 돈을 태우고 있는지 한눈에 보였다. 이 태그 체계 자체는 돈을 아끼지 않지만, 이게 없으면 돈이 어디에 쓰였는지 전혀 알 수 없다.
함정 회피 알림: 시작하자마자 더 싼 모델로 바꾸지 마라. 먼저 호출 구조를 뜯어서 봐라. 많은 경우 돈은 단가에 쓰인 게 아니라, 네가 전혀 의식하지 못한 중복과 잉여에 쓰인 것이다. 단가 최적화는 마지막 단계이지, 첫 단계가 아니다.
작성자: 자오치밍
발행일: 2026년 11월 9일