얼마 전 크로스보더 이커머스 고객센터 시스템을 만드는 팀의 청구서를 봐줬다. 3월 호출량이 2월보다 약 40% 늘었는데 청구서는 2만 얼마에서 거의 7만으로 뛰었다. 사장의 첫 반응은 "플랫폼에 사기당했다"였지만, 내가 명세를 하나하나 대조해보니 문제는 플랫폼이 아니라 호출 방식에 있었다. 이런 일은 1년에 일곱여덟 번은 겪는데, 문제는 거의 항상 같은 숨은 비용들에서 나온다.
먼저 청구서를 펼쳐보자. 2월 호출량은 약 420만 회, 청구서는 2.1만이었다. 3월 호출량은 590만 회로 늘었고 증가율은 40%인데, 청구서는 6.8만으로 치솟아 증가율이 224%였다. 호출량은 40% 늘고 비용은 두 배 넘게 늘었다면, 중간의 180퍼센트포인트 차액이 바로 숨은 비용이 먹어버린 돈이다. 아래에서는 내가 점검한 순서대로 이 네 가지를 하나씩 뜯어보고, 각 항목에 구체적인 방법과 규모 참고치를 붙이겠다.
첫 번째 칼: 플래그십 모델이 잡일을 하고 있다
가장 눈에 띄는 문제는 플래그십 모델이 잡일을 하고 있다는 점이었다. 그들은 "주문 상태를 조회해줘", "반품 배송비는 누가 부담하나요", "배송지를 바꿀 수 있나요"처럼 규칙이 명확한 질의응답을 포함해 모든 요청을 같은 고사양 모델에 밀어넣고 있었다. 이런 일은 경량 모델로 충분하고, 심지어 규칙 엔진만으로도 대부분을 감당할 수 있다.
내가 비교해봤다. 같은 고객센터 화법 재작성 작업에서 플래그십 모델과 중형 모델의 출력 사용 가능률 차이는 10%도 안 됐지만, 단가는 몇 배 차이가 났다. 당시 가격표를 예로 들면 플래그십 모델 입력이 약 20위안/백만 Token, 중형 모델이 약 4위안/백만 Token, 경량 모델이 약 0.8위안/백만 Token으로, 세 계층 간 차이는 5배, 25배였다. 그런데 그들의 업무에서 실제로 다중 추론과 복잡한 이해가 필요한 요청은 내가 대략 계산해보니 15%도 안 됐다.
구체적으로 어떻게 등급을 나누나? 내 방식은 "의도 복잡도"로 태깅하는 것이다:
•L1 규칙 등급: 주문 상태 조회, 물류 노드, 반품·교환 정책, 인보이스 규칙——지식베이스나 규칙 엔진에 걸리면 바로 반환하고 모델로 넘기지 않는다;
•L2 경량 등급: 화법 다듬기, 간단한 번역, 감정 위로 템플릿——경량 모델로 보낸다;
•L3 중형 등급: 다중 턴 문맥 이해, 주문 간 연관, 애프터서비스 방안 생성——중형 모델로 보낸다;
•L4 플래그십 등급: 복잡한 분쟁 추론, 다국어 법률 조항 해석, 긴 사고 연쇄가 필요한 시나리오——그래야 플래그십에 남긴다.
요청을 복잡도에 따라 이 네 등급으로 나누면, 진짜 추론과 다중 턴 이해가 필요한 부분만 플래그십에 남기고 나머지는 하위로 내려가며, 전체 비용은 보통 30~50% 절감된다. 모델 계층화는 돈 아끼는 소기술이 아니라 비용 구조의 토대다. 우리는 이후 사용량 기반 과금+모델 계층화로 한 번 돌려봤고, 같은 업무량에서 청구서가 원래의 60% 정도로 돌아왔다. 숫자로 보면, 원래 590만 회 호출 전부가 플래그십을 타면 약 6.8만이었는데, 계층화 후 플래그십은 약 88만 회만 담당하고 나머지는 중형과 경량 등급으로 분산되어 총 청구서가 약 4.1만으로 떨어졌다.
두 번째 칼: 재시도 폭풍
두 번째 함정은 더 은밀하다. 재시도 폭풍이다. 그들의 게이트웨이는 백오프를 하지 않아서 인터페이스가 타임아웃되면 즉시 재전송하고, 재전송도 타임아웃되면 다시 재전송해서, 3중 중첩으로 한 번의 사용자 질문이 십여 회 호출을 만들어냈다. 이런 실패 요청도 그대로 과금되어 Token이 전부 물거품이 됐다.
로그를 뒤져보니 피크 시간대의 무효 소모가 전체 Token의 20% 이상을 차지할 수 있었다. 실제 사례를 들면, 한 번의 사용자 질문이 업스트림 속도 제한으로 타임아웃되어 게이트웨이가 8초 안에 11번 재전송했고, 앞의 10번은 전부 실패했지만 모두 입력 Token 과금을 발생시켰으며 11번째에야 성공했다. 이 한 문제로 정상 상황의 11배 입력 비용이 불탔다.
수정 방법은 촌스럽지만 효과적이다:
•지수 백오프: 첫 실패 시 1초 대기, 두 번째 2초, 세 번째 4초, 최대 16초까지 물러나며 즉시 재전송하지 않는다;
•재시도 상한: 같은 요청은 최대 3번 재시도하고, 초과하면 바로 폴백 안내 화법으로 넘긴다;
•멱등 키 중복 제거: 각 요청에 고유 멱등 키를 생성하고, 게이트웨이는 30초 창 안에서 한 번만 인정하며 중복 요청은 바로 캐시 결과를 반환한다.
이 부분을 고친 뒤 무효 소모는 20%대에서 한 자릿수 퍼센트로 떨어졌고, 이 항목 하나로 매달 약 8000위안을 아꼈다.
세 번째 칼: 긴 컨텍스트를 자르지 않았다
세 번째는 긴 컨텍스트를 자르지 않은 것이다. 그들은 간편함을 위해 매 턴 대화마다 전체 이력을 밀어넣었고, 고객센터 세션이 30턴까지 가면 입력 Token이 첫 턴의 십여 배가 됐지만, 뒤쪽의 인사말, "네 감사합니다", "번거롭게 해드려 죄송합니다" 같은 것들은 답변에 전혀 기여하지 않았다.
나는 그들의 전형적인 세션 하나를 통계 내봤다. 첫 턴 입력이 약 800 Token이었고, 30턴째에는 입력이 이미 12000 Token 이상 누적됐는데, 그중 현재 질문과 실제로 관련된 것은 15% 미만이었다. 방법은 슬라이딩 윈도우에 요약 압축을 더하는 것이다——최근 5턴의 원문만 유지하고, 더 이전 대화는 백여 자의 요약으로 압축해 요청과 함께 보낸다.
이 칼을 쓰면 긴 세션의 입력 비용은 보통 40~60% 줄고 답변 품질은 거의 변하지 않는다. 우리는 A/B 비교를 했다. 자르기 전후 각각 500개의 긴 세션을 돌렸고, 수동 평가한 답변 사용 가능률은 각각 91.2%와 90.8%로 차이는 노이즈 범위 안이었지만, 입력 비용은 평균 9800 Token에서 4200 Token으로 떨어졌다.
네 번째 칼: 캐시 적중률이 낮다
네 번째는 캐시 적중률이 낮은 것이다. 그들의 지식베이스 질의응답에는 "언제 발송되나요", "인보이스 발행되나요", "어떤 결제 수단을 지원하나요" 같은 반복 질문이 무수히 많았다. 시맨틱 캐시가 없을 때는 모든 질문이 실제로 모델을 한 번씩 돌렸다.
벡터 캐시를 붙인 뒤 적중률은 한 자릿수에서 30% 이상으로 올라갔고, 이 부분 요청은 바로 반환되어 Token 소모가 0이 됐다. 원리는 과거 질의응답의 시맨틱 벡터를 저장해두고, 새 질문이 들어오면 먼저 유사도 검색을 해서 임계값을 넘으면 바로 적중시키는 것이다. 그들이 출시 2주 후 통계 낸 결과 캐시 적중률은 34% 안팎으로 안정됐고, 이는 매달 약 1.1만 위안의 모델 호출비를 아끼는 것과 같다.
캐시 계층의 수익 상한은 높으며, 업무 내 반복 질문의 밀도에 달려 있고 고객센터와 FAQ 시나리오에서 특히 두드러진다. 반복 질문 비중이 절반에 이른다면 적중률 40% 이상은 어렵지 않다.
네 칼 합산
이 네 가지를 정리한 뒤 그들의 청구서는 거의 7만에서 2.5만 안팎으로 돌아왔고, 전 과정에서 모델 공급자를 바꾸지 않았으며 호출 방식을 정리했을 뿐이다. 네 항목의 수익을 합산하면: 모델 계층화 약 2.7만 절감, 재시도 관리 약 0.8만 절감, 컨텍스트 자르기 약 1.2만 절감, 캐시 적중 약 1.1만 절감으로 합계 약 5.8만이며, 실제 하락분과 기본적으로 일치한다.
플랫폼을 고를 때 나는 과금 투명성도 본다. token8341 대모델 API 집계 플랫폼 같은 사용량 기반 과금으로 매 호출의 Token 명세를 펼쳐볼 수 있는 곳은 점검이 훨씬 수월하다. token8341 대모델 API 집계 플랫폼은 다중 모델 통합 접속을 지원해 계층 라우팅을 위해 게이트웨이를 직접 구축할 필요가 없고, token8341 대모델 API 집계 플랫폼은 국산 모델 커버리지도 비교적 완전해 Pangu, DeepSeek, Qwen, ERNIE, Doubao, Spark를 모두 연결할 수 있다.
함정 회피를 한마디 덧붙이면: 청구서가 터진 뒤에야 로그를 뒤지지 마라. 출시 전에 모델 계층화, 재시도 전략, 컨텍스트 상한, 캐시 스위치 이 네 가지를 기본 설정으로 정해두는 것이 사후 진화보다 훨씬 저렴하다. 비용 최적화는 결코 기능을 깎는 것이 아니라, 돈을 정말로 연산력이 필요한 그 부분의 요청에 쓰는 것이다.
작성자: 장쓰위안
발행일: 2026년 11월 9일