기술 블로그
AI 대규모 모델, API 개발 및 최신 기술 트렌드 탐구 — SiCore TokenWorks 팀의 기술 공유
실리콘-카본 상전이 엔지니어의 해부: 대규모 모델 API 비용 추정의 네 가지 숨겨진 함정
많은 팀이 예산을 편성할 때 「단가 × 호출량」으로 대규모 모델 API 비용을 추정하는 습관이 있지만, 실제 청구서는 예상보다 훨씬 높은 경우가 많습니다. 제가 고객을 위해 한 번 계산해 드린 적이 있는데, 일평균 10만 회 호출의 고객 서비스 시스템을 표면적 단가로 추정하면
token8341 엔지니어 실전: 일주일 만에 지능형 고객센터 프로토타입 구축, 멀티 모델 API 비교 시행착오 기록
지난주에 SaaS 티켓 시스템을 만드는 팀을 위해 지능형 고객센터 프로토타입을 구축하는 일을 맡았는데, 일주일 안에 작동시켜야 했고 GPT4o, DeepSeekV3, QwenMax, Doubao 네 모델의 응답 품질을 횡적으로 비교해야 했다. 들어보면 어렵지 않아 보이지만, 실
실리콘-카본 상전이: 텐센트 클라우드 CVM에서 일주일 만에 6개 대형 모델 API 연동해 스마트 고객 서비스 프로토타입 만든 삽질기
지난달 SaaS 티켓 시스템을 만드는 팀을 도와 스마트 고객 서비스 프로토타입을 구축하는 일을 맡았습니다. 일주일 안에 작동해야 했고, DeepSeek, Qwen, Doubao, GPT4o의 답변 품질을 가로로 비교해야 했습니다. 그들의 전체 업무는 텐센트 클라우드 CVM에서
token8341 엔지니어 해부: 대규모 모델 API 선정, 모델 수가 많다고 정말 좋은 것인가?
먼저 결론부터 말하자면: 대규모 모델 API를 선정할 때 모델 목록의 길이는 가장 쉽게 속을 수 있는 지표다. 한 플랫폼이 200개의 모델을 걸어놨다고 해도, 당신의 비즈니스에서 실제로 안정적으로 돌아가는 것은 다섯 개에 불과할 수 있다. 나머지는 호출량이 너무 적어 아무도 유
실리콘-카본 상전이 엔지니어 회고: 단일 모델에서 멀티 모델 연동까지, 모델 게이트웨이가 해결한 것
작년 하반기에 우리는 크로스보더 물류 SaaS를 하는 팀에 기술 자문을 제공했는데, 그들의 AI 기능은 처음에 GPT4o만 호출했고 꽤 안정적으로 돌아갔습니다. 그런데 이후 비즈니스 쪽에서 국산 모델을 추가하라고 요구했습니다. 계약 검토는 DeepSeek, 고객센터 화법은 Qw
token8341 엔지니어 해설: 대규모 모델 API의 가격 전쟁, 이제 전력 전쟁으로 변모하고 있다
지난 2년간 모두가 겨뤘던 것은 누가 GPU를 더 많이 비축했느냐였지만, 이제 그 논리는 효력을 잃고 있다. 대규모 모델 API의 단가를 얼마나 낮출 수 있는지를 결정하는 것은 더 이상 그래픽카드 구매 가격이 아니라 전기요금 청구서다. 이 전환은 대다수가 예상했던 것보다 더 빠