기술 블로그
AI 대규모 모델, API 개발 및 최신 기술 트렌드 탐구 — SiCore TokenWorks 팀의 기술 공유
token8341 기술 심층 분석: 지능형 고객 서비스 새벽 눈사태 이후, 모델 게이트웨이를 다시 뜯어보다
결론부터 말하자면: 모델 게이트웨이는 "여러 API를 연결하는 것"만큼 단순한 게 아니라, 반드시 자체적으로 장애를 견뎌야 하는 인프라 계층이다. 2년 전 우리는 온라인 진료 플랫폼에 AI 접속을 구축해줬는데, 지능형 고객 서비스가 단일 모델 API 위에서 돌아가고 있었다. 어
DeepSeek가 안전보장이사회에 등장한 이후: 대규모 모델 API 규정 준수 접속의 세 가지 난관, SiC 상전이 엔지니어는 어떻게 보는가
얼마 전 DeepSeek가 유엔 안전보장이사회의 AI 안보 논의에서 지목되었다는 소식이 기술 커뮤니티에 꽤 빠르게 퍼졌다. 나의 첫 반응은 "중국산 모델이 드디어 인정받았구나"가 아니라, 또 다른 더 현실적인 문제였다. 대규모 모델이 국제 안보 의제에 올라가면, 기업이 대규모
실리콘-카본 상변화: 같은 GPT-4o를 호출하는데 왜 청구서는 차이가 날까? 대규모 모델 API 가격 책정의 비용 구조
동일한 GPT4o API라도 A 플랫폼과 B 플랫폼의 견적이 30% 이상 차이 날 수 있습니다. 이것은 누군가 자선을 베푸는 것도 아니고, 누군가 바가지 씌우는 것도 아닙니다. 근본 원인은 비용 구조에 있습니다. 대규모 모델 API의 가격 책정은 결국 세 가지 비용이 싸우는 것
실리콘-카본 상변화 관점: 대규모 모델 API 비용 폭주를 일으키는 네 가지 숨은 비용과 계층형 라우팅 논리
백엔드와 AI 애플리케이션 개발을 하는 동료들이라면 아마 이런 순간을 겪어봤을 것이다. 월말에 클라우드 청구서를 열어보니 대규모 모델 API 지출이 예산의 3배다. 공격을 받은 것도 아니고, 비즈니스가 폭증한 것도 아닌데, 온라인 대화 서비스가 조용히 돈을 태워버린 것이다. 이
token8341 실전: 제로에서 스마트 고객서비스 프로토타입 구축하기, 대규모 언어 모델 API 연동의 5가지 함정
지난달에 갓 전환 배치된 동료와 함께 스마트 고객서비스 프로토타입을 만들었는데, 요구사항은 아주 간단했습니다. 사용자가 질문하면 모델이 답변하고, 약간의 컨텍스트 기억이 있고, 스트리밍 타이핑이 되는 것. 이틀이면 끝낼 것 같았는데, 결과적으로 그는 API Key 하드코딩, 재
token8341 실전: DeepSeek, Qwen, Doubao 세 가지 API 연동, 인증·과금·타임아웃을 어떻게 통일할까
지난달 지능형 고객 서비스 프로젝트를 맡았는데, 비즈니스 담당자는 DeepSeek, Qwen, Doubao 세 가지 대규모 모델을 동시에 연동하라고 요구했습니다. 이유는 "어디가 저렴한지에 따라 쓰고, 어디가 속도 제한이 걸리면 다른 걸로 전환한다"는 것이었습니다. 듣기에는 합