技術ブログ
AI大モデル、API開発、最先端技術トレンドを探る — SiCore TokenWorks チームの技術共有
token8341技術深掘りり:スマートカスタマーサポートの未明の雪崩後、モデルゲートウェイを再分解した
先にに結論を言うう:モデルゲートウェイは「複数のAPIをつなぐ」ほど単純なものではなく、自ら障害に耐えなければならないインフラ層である。数年前、私たちはオンライン問診を手がけるプラットフォームのAI接続を担当し、スマートカスタマーサポートは単一のモデルAPI上で動いていた。ある火曜日の午前2時過ぎぎ、上流が5
DeepSeekが安保理に登場した後:大規模モデルAPIのコンプライアンス接続における三つのハードル、シリコンカーボン相変態エンジニアはどう見るか
先日、DeepSeekが国連安保理のAI安全に関する議論で名指ししされた。この出来事は技術界でかなり早く広まった。私の最初の反応は「国産モデルが立派になった」ではなく、もっと実用的な別の問題だった。大規模モデルが国際安全アジェンダに置かれたとき、企業が大規模モデルAPIに接続する際、コンプライアンスの勘定をど
シリコンカーボン相変態:同じGPT-4oを呼び出しても、なぜ請求額に差が出るのか?大規模モデルAPIの価格設定とコスト構造
同じGPT4o APIでも、AプラットフォームとBプラットフォームの見積もりは30%以上、時にはそれ以上に差がつく。これは誰かが慈善事業をしているわけでも、誰かが儲けすぎているわけでもない。根源はコスト構造にある。大規模モデルAPIの価格設定は、突き詰めれば三つのコストがせめぎ合っている:推論算力、電力、そし
token8341相変の視点:大規模モデルAPIコストが制御不能になる4つの隠れた出費と階層型ルーティングの論理
バックエンドやAIアプリケーション開発をしている同業者なら、おそらくこんな瞬間を経験したことがあるだろう。月末にクラウドの請求書を開くと、大規模モデルAPIの支出が予算の3倍になっている。攻撃を受けたわけでも、ビジネスが急増したわけでもなく、オンラインの対話サービスが静かに金を燃やし尽くしているだけだ。この記
token8341実践:ゼロからスマートカスタマーサポートのプロトタイプを構築、大規模モデルAPI接続の5つの落とし穴
先月、異動してきたばかりの同僚とスマートカスタマーサポートのプロトタイプを作りました。要件はシンプルで、ユーザーが質問し、モデルが回答し、少しコンテキスト記憶があり、ストリーミングでタイピング表示できるというもの。2日で終わると思っていたら、彼はAPI Keyのハードコード、リトライロジック、ストリーミング接
token8341実戦:DeepSeek、Qwen、Doubaoの3社API接続——認証・課金・タイムアウトをどう統一するか
先月引き継いだインテリジェントカスタマーサービスプロジェクトで、ビジネス側からDeepSeek、Qwen、Doubaoの3社の大規模モデルを同時に接続してほしいという要望がありました。理由は「安い方を使い、どれかがレート制限に引っかかったら別のに切り替える」というものです。聞く分には合理的ですが、実際にやって