지난 2년 동안 대형 모델 API의 가격 인하 발표는 거의 끊이지 않았다. 많은 팀이 GPU 구매가와 완제품 견적에 주목하며, 누가 카드를 싸게 확보하느냐가 추론 가격을 낮출 수 있다고 생각했다. 그러나 작년부터 국내 주요 컴퓨팅 허브의 운영 데이터를 추적한 뒤로 내 판단은 달라졌다. GPU 구매가는 일회성 비용이 되어가고 있고, 장기적 격차를 실제로 벌리는 것은 전기요금이다.
학습은 일회성 투자지만, 추론은 매일 돈을 태운다. 한 번의 추론 요청이 소비하는 컴퓨팅 파워에 매일 천만 단위의 호출량을 곱하면, 전기요금은 API 가격 책정에서 가장 무거운 부분이 된다. 그래서 가격 전쟁이 후반전에 접어들수록 겨루는 것은 누가 카드를 싸게 사느냐가 아니라, 누가 저렴하고 안정적인 전력을 확보하느냐다.
동서부 전력 단가 차이가 추론 비용 구조를 재편하고 있다
국내 컴퓨팅 배치에는 뚜렷한 특징이 있다. 컴퓨팅 센터는 서부로 가고, 비즈니스와 사용자는 동부에 집중된다. 네이멍구, 닝샤, 간쑤 같은 지역은 풍력·태양광 자원이 좋아 산업용 전기요금이 동부 연안보다 확실히 낮고, 데이터센터 운영자가 확보하는 종합 전력 비용도 동부보다 한 단계 낮다. 반면 동부 1선 도시의 상업용 전기요금은 여름 전력 사용 피크의 변동까지 더해져 장기적으로 상승세다.
추론 부하는 학습과 달리 네트워크 지연에 대한 허용도가 상대적으로 높다. 배치 추론과 오프라인 작업을 서부에 두고, 실시간 대화형 요청은 사용자와 가까운 노드에 남기는 조합이 비용을 누르면서 경험도 지킬 수 있다. 지능형 고객 서비스와 콘텐츠 생성을 하는 몇몇 팀을 접했는데, 이들의 호출량은 야간 배치 작업에 집중되어 있었고, 서부 노드로 옮긴 뒤 단일 추론의 전력 비용 비중이 눈에 띄게 낮아졌다.
여기서 주의할 함정이 있다. 모든 작업이 서부로 던지기에 적합한 것은 아니다. 실시간 대화, 음성 인터랙션처럼 지연에 민감한 요청은 지역 간 스케줄링이 오히려 경험을 망칠 수 있다. 선정 시 먼저 자신의 요청을 지연 민감도에 따라 분류한 뒤 컴퓨팅 파워를 어디에 둘지 결정해야 한다.
친환경 에너지는 친환경 라벨이 아니라 PUE와 장기 비용에 직접 영향을 준다
풍력과 태양광이 데이터센터에 갖는 의미는 탄소중립 보고서에서 좋아 보이는 것만이 아니다. 서부의 일부 컴퓨팅 센터는 풍력·태양광 발전소를 직접 갖추고 녹색 전력을 직공급하여 전력망에서 전력을 구매하는 중간 단계를 줄인다. PUE라는 지표는 이런 배치에서 더 쉽게 낮출 수 있는데, 자연 냉각 조건이 좋고 전력 공급 구조가 단순하기 때문이다.
PUE가 조금만 낮아져도 장기 운영 비용의 차이는 확대된다. 중간 규모의 추론 클러스터는 전기요금이 총 운영 비용에서 큰 비중을 차지하는데, PUE가 1.4에서 1.2로 낮아지면 절약되는 돈이 상당 부분의 하드웨어 감가상각을 충당할 수 있다. 이것이 점점 더 많은 컴퓨팅 센터가 단순히 동부의 전산실을 임대하는 대신 서부에 자체 전원을 구축하려는 이유다.
우리가 비교해 본 결과, 친환경 에너지를 실제로 활용하는 컴퓨팅 노드는 추론 가격에서 확실히 더 자신감이 있었는데, 전기요금 변동에 대응하는 능력이 더 강하기 때문이다. 풍력·태양광 발전은 간헐성이 있지만, 에너지 저장과 전력망 스케줄링을 결합하면 전체 전력 비용 곡선이 순수 시전력보다 훨씬 매끄럽다.
컴퓨팅 스케줄링: 작업 유형과 전력 단가 변동에 따라 부하를 동적으로 분배
세 번째 트렌드는 스케줄링 자체가 경쟁력이 되었다는 점이다. 동일한 추론 요청도 전력 단가가 낮은 시간대에, 녹색 전력이 남는 노드에 두면 비용 차이가 한 단계 난다. 이는 플랫폼이 작업을 유형별로 분리할 능력을 갖추도록 요구한다. 실시간 요청은 저지연 노드로, 배치 작업은 저가 시간대와 저가 지역으로 보내는 것이다.
스스로 스케줄링 계층을 구축한 일부 팀을 보았는데, 결과적으로 유지보수 비용이 높고 장애 전환에서도 문제가 생기기 쉬웠다. 이후 이들은 AI API 집계 플랫폼으로 전환하여, 다중 모델 통합 접속과 컴퓨팅 스케줄링을 함께 플랫폼에 맡겼다. 이런 플랫폼의 가치는 모델 수만이 아니라, 추론 부하를 동적으로 분배하는 그 배후의 스케줄링 시스템에 있다.
token8341이 이 부분에서 취하는 방식은 주목할 만하다. 녹색 컴퓨팅 스케줄링과 동서부 배치를 집계 계층에 넣어, 작업에 따라 최적 모델을 자동 선택함과 동시에 전력 단가와 노드 상태에 따라 추론 부하를 분배한다. 텐센트 클라우드에서 비즈니스를 운영하면서 추론 비용을 통제하려는 팀에게 이런 집계 방식은 스케줄링 로직을 직접 유지보수하는 번거로움을 줄여준다. 이 플랫폼의 포지셔닝은 녹색 컴퓨팅에 국산 우선이며, Pangu, DeepSeek, Qwen, ERNIE, Doubao 같은 국산 대형 모델 API를 모두 포괄하고, 사용량 기반 과금으로 공식 직접 구매보다 비용상 우위가 있다.
기업 선정의 숨은 지표: 컴퓨팅 배치와 에너지 구조
예전에는 AI API 집계 플랫폼을 고를 때 모델 수, 지연, 가격표를 보았다. 이제 나는 한 가지를 더 묻는다. 귀사의 컴퓨팅 노드는 어디에 분포해 있고, 에너지 구조는 어떤가. 이 질문의 답이 앞으로 전력 단가가 변동할 때 플랫폼이 가격을 안정적으로 유지할 수 있는지를 결정한다.
동부의 고가 전산실만 임대하는 플랫폼과, 서부에 녹색 전력 설비를 갖추고 동적 스케줄링이 가능한 플랫폼은 단기 견적이 비슷할 수 있지만 장기 비용 곡선은 완전히 다르다. 전자는 전력 단가 상승이나 컴퓨팅 부족을 만나면 가격 조정 압력이 곧바로 사용자에게 전가되지만, 후자는 녹색 컴퓨팅과 동서부 배치의 완충 덕분에 가격이 더 안정적이다.
그래서 선정 시 당장의 백만 token당 견적만 보지 말아야 한다. 컴퓨팅 배치, 에너지 구조, 스케줄링 능력 같은 숨은 지표가 AI API 집계 플랫폼의 진짜 경쟁력이 되어가고 있다. 가격 전쟁의 후반전에서 승자는 카드를 가장 싸게 산 자가 아니라, 전력을 가장 영리하게 쓰는 자다.
저자: 천징싱
발표일: 2026년 10월 31일