기술 블로그
AI 대규모 모델, API 개발 및 최신 기술 트렌드 탐구 — SiCore TokenWorks 팀의 기술 공유
token8341 트렌드 관찰: 대규모 모델 API 선정, 왜 더 이상 순위표만 보지 않는가
2년 전 한 크로스보더 고객서비스 시스템을 만드는 팀의 아키텍처 리뷰를 도왔을 때, 회의실 화이트보드에는 각 모델의 벤치마크 비교가 가득했다. MMLU, CEval, HumanEval, 누가 0.몇 퍼센트 높은지를 두고도 한참을 논쟁했다. 올해 다시 가보니, 같은 팀의 화이트보
코드를 변경하지 않고 LLM 제공업체를 전환하는 방법
대부분의 사람들은 프로젝트를 시작할 때 제공업체 이식성을 고려하지 않습니다. 가장 가입하기 쉬운 벤더에서 키를 받아 통합을 작성하고 배포합니다. 몇 달 후 벤치마크를 읽거나, 청구서를 열거나, 속도 제한에 부딪히면서 다른 것을 시도하고 싶어집니다. 바로 그때 문제가 드러나는데,
LLM API 가격 비교: 어그리게이터가 비용을 절감해 주는 방법
LLM 제공업체를 한 곳만 사용해 본 적이 있다면, 그 제공업체의 가격 페이지에 있는 정가가 곧 가격이라고 생각하기 쉽습니다. 하지만 그렇지 않습니다. 그것은 소비자가 가격이며, 대부분의 소비자가 가격처럼 그 안에는 상당한 마진과 구조가 녹아 있습니다. 어그리게이터는 바로 그
모든 모델을 위한 하나의 API 키: LLM 게이트웨이가 필요한 이유
모든 제공업체는 키를 하나씩 줍니다. 세 번째쯤 되면 키는 더 이상 편의 기능이 아니라 직접 구축하고 유지해야 하는 시스템이 됩니다. N개의 제공업체가 있고, 각각 고유한 base URL, 고유한 인증 헤더, 고유한 속도 제한 방식, 고유한 오류 코드, 고유한 청구 페이지를 가
그린 AI: 청정 에너지로 LLM 추론 실행하기
AI의 탄소 이야기는 보통 학습에 초점을 맞춘다. 이는 이해할 만한데, 단 한 번의 대규모 학습 실행이 수 주에 걸쳐 메가와트시를 태울 수 있기 때문이다. 하지만 학습은 한 번 일어난다. 추론은 누군가 모델에 무엇이든 물어볼 때마다, 수백만 사용자에 걸쳐, 영원히 일어난다. 실
LLM API 제공업체 선택 시 확인해야 할 사항: 체크리스트
벤치마크 점수만 보고 LLM 제공업체를 고르는 것은 메뉴 사진만 보고 식당을 고르는 것과 같습니다. 모델도 중요하지만, 모델을 둘러싼 모든 것도 중요하며, 실제로 프로덕션에서 발목을 잡는 것은 바로 그 주변 요소들입니다. 이것은 제가 실제 서비스를 연결하기 전에 제공업체를 검증