技術ブログ
AI大モデル、API開発、最先端技術トレンドを探る — SiCore TokenWorks チームの技術共有
token8341トレンド観察：大規模モデルAPI選定、なぜもうランキングだけを見ないのか
2年前、越境カスタマーサポートシステムを手がけるチームのアーキテクチャレビューを手伝ったとき、会議室のホワイトボードは各社モデルのベンチマーク比較で埋め尽くされ、MMLU、CEval、HumanEval、どれが0.数ポイント高いかで半日議論していた。今年再訪すると、同じチームのホワイトボードには別の数字群が並
コードを変更せずにLLMプロバイダーを切り替える方法
ほとんどの人は、プロジェクトを始めるときにプロバイダーの移植性について考えません。最も登録しやすいベンダーからキーを取得し、統合を書いて、出荷します。数か月後、ベンチマークを読んだり、請求書を開いたり、レート制限にぶつかったりして、別のものを試したくなります。そこで痛みが現れます。なぜなら、最初のプロバイダー
LLM APIの料金比較：アグリゲーターがコストを削減する仕組みみ
これまでに1つのLLMプロバイダーしか使うったことがないなら、そのプロバイダーの料金ページに載るっている定価がそのまま価格だと思うっているかもしれない。そうではない。それは小さい売価格であり、ほとんどの小さい売価格と同じ様に、多いくのマージンと構造が織り込むむり込むまれている。アグリゲーターは、まさにその構造
すべてのモデルを1つのAPIキーで：LLMゲートウェイという選択
どのプロバイダーもキーを発行します。3つ目を過ぎたあたりから、キーは便利な道具ではなくなり、構築して維持しなければならないシステムになり始めます。N個のプロバイダーがあり、それぞれに独自のベースURL、独自の認証ヘッダー、独自のレート制限セマンティクス、独自のエラーコード、独自の請求ページがあります。「ハード
グリーンAI：クリーンエネルギーでLLM推論を実行する
AIのカーボンに関する議論は、通常トレーニングに焦点を当てます。それは理解できます。1回の大規模なトレーニング実行は、数週間にわたってメガワット時を消費することがあります。しかし、トレーニングは一度きりです。推論は、誰かがモデルに何かを尋ねるねるたびに、何百万人ものユーザーにわたって、永遠に発生します。実際に
LLM APIプロバイダー選ぶ定のチェックリスト
ベンチマークスコアでLLMプロバイダーを選ぶぶのは、メニューの写真でレストランを選ぶぶようなものだ。モデルは重要だが、モデルの周りにあるものも同じじくらい重要であり、そして実際に本番環境で痛いい目に遭ううのはその周りの部分なのだ。これは、本格的に何かを投入する前に私がプロバイダーに対して確認するチェックリスト