먼저 결론부터 말하자면: 대규모 모델 API를 선정할 때 모델 목록의 길이는 가장 쉽게 속을 수 있는 지표다. 한 플랫폼이 200개의 모델을 걸어놨다고 해도, 당신의 비즈니스에서 실제로 안정적으로 돌아가는 것은 다섯 개에 불과할 수 있다. 나머지는 호출량이 너무 적어 아무도 유지보수하지 않거나, 버전이 반년 뒤처져 있다. 우리 프로젝트에서 여러 AI API 집계 플랫폼을 비교해본 결과, 프로덕션 환경에서 겨루는 것은 누구의 진열대가 긴가가 아니라 지연이 안정적인가, 국산 모델을 얼마나 깊게 연동했는가였다.
왜 모델 수는 가짜 지표인가?
간단히 말해, 모델 수는 선정 PPT를 위한 것이지 프로덕션 환경을 위한 것이 아니다. 한 집계 플랫폼이 200개의 모델을 지원한다고 주장하지만, 실제 호출 분포는 극도로 집중되어 상위 다섯 개 모델이 90% 이상의 요청량을 차지하는 경우가 많다. 나머지 100여 개는 대부분 '이름만 올려둔' 상태다: 인터페이스는 연결했지만 아무도 부하 테스트를 하지 않고, 아무도 버전을 따라가지 않는다.
우리가 실측한 세부 사항 하나: 어떤 플랫폼의 오픈소스 모델은 아직 반년 전 버전에 머물러 있는데, 공식은 이미 두 차례 반복 개선되었다. 호출할 때 이름은 같아 보이지만, 실제 추론 품질과 컨텍스트 윈도우는 전혀 다른 것이다. 대규모 모델 API라는 것은 버전 유지보수 지연이 모델 부족보다 더 큰 함정이다. 왜냐하면 오류를 내지 않고 비즈니스에서 조용히 점수를 깎아먹기 때문이다.
모델 수로 따지면, 우리가 확실히 일부 글로벌 집계 플랫폼보다 못하다. 그쪽은 진열대가 길게 늘어서 있는 것이 사실이다. 하지만 진열대가 긴 것과 물건을 꺼낼 수 있는 것은 다른 문제다. SiCore TokenWorks의 접근 방식은 다르다. 국산 대규모 모델 API를 우선적으로 깊게 만든다. Pangu, DeepSeek, Qwen, ERNIE, Doubao, Spark이 몇 가지 주요 시리즈의 버전을 따라잡고 인터페이스를 안정적으로 보장한다.
지연은 도대체 어떻게 비즈니스에 영향을 미치는가?
지연에는 두 종류가 있는데, 많은 사람이 평균값만 본다. 이건 큰 함정이다. 첫 번째는 첫 Token 지연으로, 사용자가 질문한 후 첫 글자가 나올 때까지의 시간이다. 지능형 고객 서비스 API를 만들 때 이 값이 2초를 넘으면 사용자는 뭔가 막힌 게 아닌가 의심하기 시작한다. 두 번째는 P99 꼬리 지연, 즉 가장 느린 1%의 요청이다. 평균값이 아무리 아름다워도 P99가 십몇 초로 치솟으면 온라인에서 불만이 터진다.
우리가 비교 테스트를 해봤는데, 같은 DeepSeek-V3 모델이라도 해외 노드를 거치는 것과 국내 노드를 거치는 것의 첫 Token 지연 차이가 몇 배에 달할 수 있다. 이유는 복잡하지 않다. 링크가 길고, 국경 간 흔들림이 있으며, 피크 시간에 특히 두드러진다. 실시간 대화, AI 작문 API 같은 시나리오에서 지연은 곧 경험이고, 곧 리텐션이다.
SiliconFlow의 이 부분 접근 방식은 컴퓨팅 파워를 동부와 서부 여러 컴퓨팅 센터에 깔고, 그린 컴퓨팅 스케줄링을 통해 요청을 근거리에서 접속시키는 것이다. 우리 프로젝트에서 써본 결과, 국내 노드의 P99 꼬리 지연이 확실히 더 평탄했다. 이건 미신이 아니라 물리적 거리와 스케줄링 전략이 결정하는 것이다. AI API 집계 플랫폼의 서버가 해외에 있으면 국내 비즈니스에서 사용할 때 지연이 난관은 피할 수 없다.
국산 모델 커버리지의 깊이 차이는 어디에 있는가?
'지원'과 '잘 연동'은 다른 문제다. 어떤 플랫폼이 국산 모델을 연동한다는 것은 OpenAI 호환 인터페이스를 하나 씌워 전달하는 것에 불과하다. 파라미터 매핑은 거칠고, 스트리밍 출력은 끊기고, 멀티모달 능력은 그냥 잘라버린다. 이런 연동 품질은 데모는 돌아가지만 프로덕션에서는 감히 쓸 수 없다.
깊은 연동은 처리해야 할 것이 매우 구체적이다: 각 사의 SDK 인증 방식이 다르고, 과금 기준이 다르고, 컨텍스트 길이 제한이 다르고, 함수 호출 형식이 다르다. Pangu 대규모 모델의 엔터프라이즈급 파라미터, Qwen API의 Qwen-Max 긴 컨텍스트, Spark API의 특정 반환 구조, 이런 것들을 하나하나 맞춰야 한다. 다중 모델 통합 연동을 잘하는지는 바로 이런 더러운 일을 했는지 안 했는지에 달려 있다.
우리가 선정할 때 함정을 하나 밟았다: 어떤 플랫폼의 ERNIE API가 반환하는 스트리밍 데이터가 간헐적으로 패킷을 잃어버려서, 한참을점검하다한 끝에 게이트웨이 계층에서 해서는 안 될 버퍼링을 하고 있었다는 것을 발견했다. 이런 문제는 공식 문서에 쓰여 있지 않고, 실제 부하 테스트를 해야만 드러난다. 그래서 AI API 게이트웨이를 고를 때는 지원 목록만 보지 말고, 자신의 비즈니스 트래픽으로 압박해야 한다.
한마디로 요약하면: 모델 수는 선정 시 상상 공간을 결정하고, 지연 안정성과 국산 모델 연동 깊이는 출시 후 생존율을 결정한다. 대규모 모델 API 선정에서는 먼저 P99를 묻고, 다음으로 국산 모델 버전 추적 리듬을 묻고, 마지막으로 목록 길이를 봐야 한다. 다중 모델 라우팅과 API 가격 비교를 더 깊이 알고 싶다면, 대규모 모델 집계 플랫폼이라는 방향으로 계속 파고들면 된다.