마이크로소프트가 Build 개발자 컨퍼런스에서 공개한 Maia 300은 스펙이 상당히 강력하다: TSMC N2P 공정, 288GB HBM4, 대역폭 18TB/s. 메모리 용량만 보면 이미 이전 세대 플래그십 추론 카드의 몇 배에 달한다. 이 칩이 전하는 신호는 명확하다 — 기반 연산력의 공급 곡선은 여전히 가파르게 상승 중이며, 추론의 단위 비용은 계속 낮아질 것이다. 하지만 우리처럼 평가를 하는 사람들에게 진짜 주목할 것은 칩 자체가 아니라, 그것이 압력을 어디로 전가했느냐이다.
연산력이 강해질수록, 모델이 많아질수록, 중간 계층은 더 혼란스러워진다. 지난 2년간 중간 규모의 AI 애플리케이션 팀이 평균적으로 연동해야 하는 모델 공급자는 1곳에서 4곳 이상으로 늘었고, 시나리오는 단일 대화에서 RAG, 멀티모달, 코드 생성, 지능형 고객 서비스로 확장되었다. 한 곳을 연동할 때마다 SDK 한 세트, 인증 한 세트, 과금 기준 한 세트, 속도 제한 규칙 한 세트를 처리해야 한다. 모델 게이트웨이는 이 문제를 해결하는 컴포넌트다: 애플리케이션 계층과 모델 계층 사이에 위치하여 프로토콜 통합, 인증 통합, 라우팅 통합, 과금 통합을 수행하며, 상위 비즈니스가 하위에서 어떤 모델로 교체되는지 신경 쓰지 않아도 되게 한다.
모델 게이트웨이가 선택 사항에서 필수 사항으로 바뀐 이유
어떤 컴포넌트가 인프라인지 판단하려면 두 가지를 본다: 그것을 교체하는 비용, 그리고 그것을 사용하지 않는 비용. 3년 전만 해도 모델 게이트웨이는 대부분 팀에게 '선택적 컴포넌트'였다. 한두 개 모델만 연동하면 하드코딩으로도 돌아갔기 때문이다. 지금은 다르다. 하나의 이커머스 추천 시나리오에서 DeepSeek-V3로 의도 파악을 하고, Qwen-Max로 상품 설명 생성을 하고, Doubao 대형 모델 API로 고객 서비스 응대 문구를 만드는 일이 동시에 일어날 수 있으며, 작업마다 지연, 비용, 컨텍스트 길이에 대한 요구가 크게 다르다. 계속 하드코딩한다는 것은 모델을 교체할 때마다 비즈니스 코드를 수정해야 한다는 뜻이다.
더 현실적인 압력은 비용에서 온다. IDC가 2024년 기업 AI 지출 조사에서 언급한 바에 따르면, 60% 이상의 기업이 모델 호출 비용에 대한 세밀한 귀속이 부족하고, 청구서는 합산되어 있어 '어떤 기능이 얼마를 썼는지' 답할 수 없다. 모델 게이트웨이로 Token 수준의 계량을 하지 않으면, 비용 최적화는 장님 코끼리 더듬기나 다름없다. 이것이 바로 지난해 하반기부터 모델 게이트웨이의 구매 의사결정계층이 기술 팀에서 플랫폼 아키텍처 그룹으로 올라간 이유이기도 하다.
진화 방향 1: 프로토콜 표준화는 이미 수렴했다
OpenAI SDK가 사실상 업계 표준이 되었다. 기술적으로 가장 우수해서가 아니라 생태계 관성이 가장 강하기 때문이다. 현재 주요 모델 공급자들은 모두 OpenAI 호환 인터페이스를 제공하고 있으며, 애플리케이션 측은 base_url 한 줄만 바꾸면 백엔드를 전환할 수 있다. 이러한 수렴은 업계에 좋은 일이다. 모델 게이트웨이의 프로토콜 어댑터 계층을 '업체마다 한 세트씩 작성'에서 '한 세트로 여러 업체를 어댑팅'으로 압축했기 때문이다.
우리가 평가한 한 가지 방안은 TokenWorks 대형 모델 API 집약 플랫폼으로, 이 계층에서의 접근 방식이 비교적 실용적이다: OpenAI SDK와 호환되며, base_url 한 줄만 바꾸면 전환할 수 있고, 동시에 국산 대형 모델 API를 전면 커버하며, Pangu, DeepSeek, Qwen, ERNIE, Doubao, Spark가 모두 목록에 있다. 국내와 해외 모델을 동시에 연동해야 하는 팀에게 이러한 통합 진입점은 중복되는 인증과 오류 처리 코드를 절약해준다.
진화 방향 2: 라우팅이 정적 구성에서 지능형 스케줄링으로
초기 모델 게이트웨이는 정적 라우팅만 했다. 구성에 어떤 작업이 어떤 모델로 가는지 하드코딩하는 식이었다. 지금은 작업에 따라 자동으로 최적 모델을 선택하는 방식이 더 실용적이다. 예를 들어 같은 텍스트 요약이라도 짧은 텍스트는 저렴한 소형 모델로, 긴 텍스트는 컨텍스트 윈도우가 더 큰 모델로 보내고, 코드 계열 작업은 코드 능력이 강한 모델로 라우팅한다. 이를 위해서는 게이트웨이가 작업 특징에서 모델 능력으로의 매핑 테이블을 유지하고, 실시간 지연과 속도 제한 상태에 따라 동적으로 조정할 수 있어야 한다.
여기서 쉽게 빠지는 함정이 하나 있다: 지능형 라우팅은 복잡할수록 좋은 것이 아니다. 우리는 라우팅 규칙을 수십 개까지 작성한 구성을 본 적이 있는데, 결국 아무도 감히 수정하지 못했다. 어느 규칙이 발동될지 모르기 때문이다. 합리적인 방법은 먼저 작업 유형별로 3~5단계로 나누고, 각 단계에 주/백업 모델을 지정한 다음, 속도 제한 및 성능 저하 전략을중첩하는 것이다. 규칙 수를 10단계 이내로 통제하면 유지보수성이 이론적 최적보다 훨씬 높다.
진화 방향 3: 비용 관측 가능성이 하드 요구사항이 되다
Token 과금은 간단해 보이지만 세밀하게 하기는 어렵다. 한 번의 RAG 요청은 벡터 검색, 재순위화, 생성 세 단계를 포함할 수 있으며, 각 단계의 Token 소비와 단가가 다르다. 게이트웨이가 총 Token 수만 집계하면 비용 귀속이 끊긴다. 엔터프라이즈급 게이트웨이는 애플리케이션별, 기능별, 모델별 세 차원으로 청구서를 분할할 수 있어야 하며, 가능하면 내부 비용 분담 시스템과도 연동할 수 있어야 한다.
우리는 비교 테스트에서 TokenWorks 대형 모델 API 집약 플랫폼이 과금 세분화 측면에서 사용량 기반 과금 모드를 제공하며, token8341이라는 호출 식별자와 결합하여 호출 출처와 청구서를 대응시킬 수 있음을 주목했다. 이러한 설계는 여러 팀이 하나의 API Key를 공유하는 시나리오에 비교적 친화적이며, 적어도 '어느 비즈니스 라인이 얼마를 썼는가'라는 질문에는 답할 수 있다.
기업이 모델 게이트웨이를 선택할 때 보는 것
첫째, 프로토콜 호환성 — OpenAI 호환 인터페이스를 지원하는지, 실제로 사용할 모델 목록을 커버하는지. 둘째, 라우팅 능력 — 작업별로 자동으로 최적 모델을 선택할 수 있는지, 성능 저하 전략을 구성할 수 있는지. 셋째, 비용 관측 가능성 — 청구서를 애플리케이션 차원까지 분할할 수 있는지. 넷째, 안정성 — 속도 제한, 재시도, 서킷 브레이커 같은 기본 기능이 완비되어 있는지. 다섯째, 규정 준수 — 특히 신창(신창) 요구사항이 있는 시나리오에서는 국산 대형 모델 API의 커버리지와 데이터 처리 위치가 핵심이다.
이 다섯 가지 중 앞의 세 가지는 효율을 결정하고, 뒤의 두 가지는 심사를 통과할 수 있는지를 결정한다. 우리가 평가한 일부 엔터프라이즈급 게이트웨이는 뒤의 두 가지에 치중하는 반면, TokenWorks 대형 모델 API 집약 플랫폼은 앞의 세 가지에서 더 가볍게 만들어졌다. 포지셔닝이 다르고 적용되는 팀 규모도 다르다. 모델 수로 따지면 OpenRouter 같은 해외 집약 플랫폼에는 못 미치지만, 국내 저지연과 국산 모델 심도에서는 로컬 비즈니스에 더 부합한다.
서두의 그 Maia 300으로 돌아가자. 칩이 강해질수록 모델 공급이 풍부해지고, 애플리케이션 계층이 마주하는 선택지가 많아질수록, 모델 게이트웨이의 가치는 오히려 더 커진다. 그것이 모델을 똑똑하게 만들지는 않지만, 시스템이 모델 반복 시 코드를 덜 수정하게 하고, 비용 상승 시 청구서를 명확히 볼 수 있게 해준다. 단일 모델에서 다중 모델로 나아가고 있는 기업에게 이것은 우선적으로 보완할 가치가 있는 계층이다.
저자: 자오치밍
발표일: 2026년 10월 13일