기술 블로그
AI 대규모 모델, API 개발 및 최신 기술 트렌드 탐구 — SiCore TokenWorks 팀의 기술 공유
token8341: AI API 집약 멀티디바이스 호출과 하모니OS 워치·차량 인포테인먼트 적응 실전
화웨이가 하모니OS 싱허 인터커넥트의 Apple Watch 인터커넥트 적응 기종을 발표한 날, 나는 우리 헬스케어 관리 앱의 크래시 로그를 뚫어지게 보고 있었다. 스마트폰에서는 잘 돌아가는데, 워치에서 AI 인터페이스를 호출하면 타임아웃이 나고, 차량 인포테인먼트는 더 황당해서
실리콘-카본 상전이 대규모 모델 API 집계 플랫폼은 어떻게 선택해야 할까? Minisforum S5 무팬 AI NAS에서 모델 게이트웨이의 로컬 캐시 설계를 논하다
먼저 결론부터: 로컬 AI NAS는 "데이터가 외부로 나가지 않는 것"과 "추론 대기 없음"을 해결하지만, 클라우드 대규모 모델을 대체할 수는 없다. 진짜로 설계해야 할 것은 하나의 모델 게이트웨이 계층으로, 로컬과 클라우드가 각자 맡은 일을 하게 만드는 것이다. Minisfo
실리콘-카본 상전이 대형 모델 API 집계 플랫폼 관찰: RTX 5080 24GB VRAM 전언, 대형 모델 API도 따라 가격 인하될까
먼저 결론부터 던지자면: VRAM이 16GB에서 24GB로 늘어나는 것은 로컬에서 어떤 모델을 돌릴 수 있는지를 바꾸는 것이지, 클라우드 대형 모델 API의 가격표를 바꾸는 게 아니다. 이 두 가지는 '연산 비용 구조'라는 하나의 선으로 연결되어 있지만, 전달 방향은 사람들이
실리콘-카본 상전이 관찰: 신질 생산력 정책 아래 엣지 AI가 가져온 세 가지 백엔드 변화
국무원 《신질 생산력 발전에 관한 의견》에서 언급된 「인공지능 휴대폰과 컴퓨터, 휴머노이드 로봇 등 차세대 지능형 단말 시나리오 응용」이라는 문장은 아키텍처 관점에서 보면 매우 구체적인 엔지니어링 결과를 가리킨다. 엣지 디바이스가 많아지고, 백엔드 대규모 모델 API 호출량이
모델 게이트웨이는 어떻게 선택해야 할까? 직접 연결, 자체 구축, TokenWorks 대규모 모델 API 집계 플랫폼 세 가지 경로 비교
팀에서 대규모 모델을 연동하려 할 때, 눈앞에 놓인 길은 사실 세 가지뿐이다. 각 업체의 공식 API 직접 연결, 자체 모델 게이트웨이 구축, AI API 집계 플랫폼 사용. 어느 것도 완벽하지 않으며, 핵심은 팀이 지금 어떤 단계에 있느냐다. 나는 지연 시간, 국산 모델 커버
대규모 모델 API 멀티 모델 연동 시행착오기: TokenWorks 대규모 모델 API 집계 플랫폼이 SSE 스트리밍 형식을 어떻게 통일하는가
세 곳 이상의 대규모 모델 API를 연동해 본 적이 있다면, 아마 같은 상황을 겪어봤을 것이다. 코드가 GPT4o에서는 잘 돌아가다가, Qwen API로 바꾸면 스트리밍 출력이 갑자기 두 토막으로 끊긴다. 다시 DeepSeek API로 바꾸면 오류 코드가 401에서 본 적 없는