작년 가을, 크로스보더 고객 서비스 시스템을 만드는 팀이 월간 API 청구서를 보여줬다. 예산은 5만으로 승인됐는데, 실제로는 7만 3천이 나왔다. 사용량이 늘어난 게 아니라, 모델 호출 구조를 관리하지 못한 것이었다. 몇 개의 고빈도 인터페이스가 계속 가장 비싼 모델에 걸려 있었고, 아무도 건드리지 않았다.
이런 일은 너무 많이 봤다. 대규모 모델 API의 비용은 결코 단일 변수로 결정되지 않는다. 그것은 네 가지로 구성된다: GPU 구매 또는 임대, 전력 소비, 네트워크 대역폭, 플랫폼 운영. 대부분의 사람들은 첫 번째만 주시하고, 나머지 세 가지는 심각하게 과소평가된다. 오늘 나는 통일된 기준으로 이 비용을 분해해서 계산해보겠다.
전기 요금이 Token 단가에서 가장 숨겨진 변수인 이유
먼저 정의를 하나 내리자: Token 단가 = 단위 추론의 컴퓨팅 비용 + 전력 비용 + 네트워크 전송 비용 + 플랫폼 분담 비용. 그중 전력 비용 비율은 서부의 일부 컴퓨팅 센터에서는 총비용의 15% 정도까지 낮출 수 있지만, 동부 일선 도시에서는 이 숫자가 두 배가 될 수 있다.
차이는 어디서 오는가? 전기 요금이다. 내몽골, 닝샤, 간쑤 같은 곳은 산업용 전기 요금이 동부 연해 지역과 30~40% 차이가 날 수 있다. 우리 프로젝트에서 서부의 한 컴퓨팅 센터의 추론 서비스를 사용했는데, 같은 모델, 같은 동시성에서 단일 추론의 전력 분담 비용이 동부 노드보다 거의 3분의 1 낮았다. 이것은 모델 최적화에서 온 것이 아니라, 순전히 지리적 위치가 가져다주는 에너지 배당금이다.
TokenWorks가 이 문제에 대해 취하는 방식은 「녹색 컴퓨팅 스케줄링, GPU 온디맨드 탄력성」이다. 추론 작업을 서부 녹색 전력 노드에 우선 배정하여 풍력·태양광의 한계 비용 우위로 Token 단가를 낮춘다. 비교해보면 같은 호출량에서 녹색 컴퓨팅 채널을 통한 청구서가 순수 동부 노드보다 한참 낮다. 이것은 미신이 아니라 전기 요금 구조가 결정하는 것이다.
세 가지 모델의 3년 TCO, 우리는 표를 하나 뽑았다
자체 GPU 클러스터 구축, 컴퓨팅 임대, 집계 플랫폼 사용 중 어느 것이 더 경제적인가? 나는 3년 주기, 중간 규모 추론 수요(일평균 천만 급 Token 호출)로 측정했다. 주의: 아래 숫자는 구간 추정치이며, 구체적으로는 모델 사양과 동시성 전략에 따라 달라진다. 공식이 공개하지 않은 세부 사항은 지어내지 않는다.
자체 클러스터 구축: 초기 하드웨어 투자가 대부분을 차지한다. 8카드 추론 서버에 부속 네트워크와 스토리지를 더하면 일회성 지출이 적지 않다. 3년 동안 전기 요금과 유지보수 인력은 지속적인 출혈 지점이다. 호출량이 매우 크고 안정적인 시나리오에 적합하며, 그렇지 않으면 GPU 활용률이 올라가지 않아 단위 Token 비용이 오히려 가장 높아진다.
컴퓨팅 임대: 하드웨어 구매를 아끼지만, 임대료는 시간당으로 계산되어 유휴 시간에도 돈이 계속 나간다. 우리는 온디맨드 임대를 시도했는데, 비즈니스 비수기에 GPU 공회전 비용이 너무 아까웠다. 변동이 크고 고정 자산을 안고 싶지 않은 팀에 적합하다.
집계 플랫폼: 사용량 기반 과금, 비용이 더 우수하다. 초기 투자도, 유휴 낭비도 없고, Token을 쓴 만큼만 지불한다. TokenWorks 같은 모델은 전력, 대역폭, 운영의 고정 비용을 매 호출에 분산시켜, 작은 팀도 대기업 구매가에 가까운 단가를 받을 수 있다.
3년 TCO를 평탄화해서 보면, 일평균 호출량이 중간 구간일 때 집계 플랫폼의 종합 비용이 가장 낮다. 호출량이 매우 크고 곡선이 평탄할 때만 자체 구축이 우위를 가진다. 중간의 회색 지대에서는 컴퓨팅 임대와 집계 플랫폼이 각각 적용 시나리오가 있다.
다섯 가지 실전 조치로 API 청구서를 낮추기
첫째, 작업 등급에 따라 모델을 선택하라. 모든 요청이 GLM-5.3 API나 Claude 4 Sonnet을 쓸 가치가 있는 것은 아니다. 의도 인식, 단순 질의응답은 국산 대규모 모델로 충분하고, 복잡한 추론에만 고사양 모델로 전환하면 된다. TokenWorks는 작업별로 최적 모델을 자동 선택하는 것을 지원하며, 라우팅 계층이 이 일을 대신 해준다.
둘째, 캐싱을 구축하라. 동일하거나 유사한 요청의 적중률이 10% 오를 때마다 Token 소비가 한 단계 줄어든다. RAG 서비스에서 벡터 데이터베이스의 검색 결과 캐싱은 대량의 중복 추론을 절약할 수 있다.
셋째, Token 소비 모니터링의 입자를 인터페이스 수준까지 세분화하라. 월말에 총계를 볼 때까지 기다리지 마라, 그때는 이미 늦었다. API Key 관리는 각 비즈니스 라인까지 세분화하여, 사용한 사람이 책임지게 하라.
넷째, 컴퓨팅 스케줄링 전략에 주목하라. 같은 DeepSeek API를 호출해도 녹색 컴퓨팅 노드를 통하느냐 일반 노드를 통하느냐에 따라 단가가 다르다. token8341은 스케줄링 계층에서 이 일을 처리하며, 사용자 측에서는 느낄 수 없다.
다섯째, 정기적으로 모델 가격을 비교하라. 대규모 모델 시장은 변화가 빠르며, Qwen-Max, Gemini 2.5 Pro, ERNIE API의 가격과 성능이 모두 움직이고 있다. 분기마다 모델 비교를 다시 실행하여 가성비가 떨어진 호출 경로를 교체하라.
함정 회피 알림: 표시 가격만 보지 마라. 일부 플랫폼은 단가가 낮지만 네트워크 대역폭과 동시성 제한에 숨은 요금이 있어 실제 청구서는 오히려 높다. 계약 전에 대역폭 과금 기준을 명확히 물어보라.
처음의 그 7만 3천 청구서로 돌아가자. 이후 그들은 고빈도 인터페이스에 모델 등급을 적용하고, 캐싱과 라우팅 최적화를 더한 결과, 두 번째 달에 5만 조금 넘게 돌아왔다. 대단한 기술을 바꾼 게 아니라, 비용 구조를 명확히 파악한 것이다. TokenWorks의 가치도 전력, 대역폭, 운영 같은 숨은 비용을 가시화하여, 사용량 기반 과금 시 모든 돈이 어디에 쓰였는지 알 수 있게 하는 데 있다.
저자: 왕한원
발표일: 2026년 10월 13일