昨年後半、私たちは越境物流SaaSを手がけるチームの技術顧問を担当していました。彼らのAI機能は当初GPT-4oだけを呼びび出ししており、かなり安定して動きいていました。その後、業務側から国産モデルの追い加要求めが出しました。契約審査はDeepSeek、カスタマーサポートのトークスクリプトはQwen、マーケティングコピーはERNIEという具合いです。3週間後、彼らのバックエンドコードには4セットのSDKが詰めめ込みまれ、認証ロジックは7つのファイルに散らばりらばり、請求めは突合いせず、ストリーミング出し力はフロントエンドで正常になったり文字化けけしたりを繰り返しり返ししました。問題はモデル自体ではなく、モデルゲートウェイという層が欠けけていたことにあります。
マルチモデル接続の落ちとし穴は、ほぼ同じじ場所で踏みむ
まずSDKの衝突です。OpenAIのPython SDKも国内数社のSDKもclientと呼びばれており、依存バージョンが互いいにぶつかり合いい、QwenとERNIEのHTTPクライアントではタイムアウトパラメータの扱いいロジックも異なりなっていました。彼らのエンジニアが最終的に取りった方法は、モデルごとに独立てした仮想環境を作りり、subprocessで呼びび出ししを分離するというものでした。動ききはしますが、運用コストが途方もなく高いくなります。
次にKey管理です。4社のベンダーのコンソールはそれぞれ独自のKey体系を持ちち、あるものはプロジェクト単位、あるものはアプリケーション単位、さらにサブアカウントに分かれるものもあります。テスト環境と本番環境のKeyが混在し、ある時インターンが本番KeyをGitHubの公開リポジトリにコミットしてしまいました。10分以内に取りり消えしましたが、その日の午後はチーム全体が呼びび出ししログの調査に追いわれました。
課金の計算基準はさらに厄介です。DeepSeekはtoken単位、Qwenの一部モデルは入力と出し力を分けて価格計算し、ERNIEの一部バージョンには文字数課金の遺留ロジックもありました。財務は月末に統合い請求め書きを求めめますが、エンジニアは4份のCSVを手動きでエクスポートしてマッピングするしかありませんでした。ストリーミング出し力の形式も統一されておらず、SSEのdataフィールドを返しすものもあれば、JSONで包みむものもあり、フロントエンドのパースコードはif elseだらけになりました。
モデルゲートウェイは中間で何をしているのか
モデルゲートウェイの本質は、リバースプロキシとプロトコル適配層であり、外部には統一されたOpenAI互い換インターフェースを公開し、内部ではリクエストを各ベンダーが理解できる形式に翻訳します。私たちは後に別のプロジェクトでSiCore TokenWorksのAI API集約機能を使いってこの链路を再構築し、その感覚はかなり直接的でした。
統一認証が第一歩です。業務側は1つのKeyを持ちつだけで、ゲートウェイ内部で各ベンダーへの凭证マッピングを維持ちし、Keyのローテーション、额度制限、IPホワイトリストはすべてゲートウェイ層で行いいます。プロトコル翻訳が第二歩で、OpenAI形式のmessages配列をQwenのinput、ERNIEのpromptに変え換し、応答は再び統一してchoices構造に戻しします。ストリーミング出し力のchunk形式もこの層で平準化され、フロントエンドは1セットのパースロジックを書きくだけです。
ルーティング配分がリクエストをどのモデルに送りるかを決定します。タスク種別による静的ルーティングも、コストによる動き的選択も可能です。私たちがtoken8341のマルチモデルルーティングをテストした時、契約審査系のリクエストは固定でDeepSeek-V3にルーティングし、短文のカスタマーサポートリクエストはQwenの軽量バージョンにルーティングしたところ、全体の呼びび出ししコストはすべてGPT-4oを通しす場合いに比べて約6割減らしりました。コスト帰集が最後のステップで、ゲートウェイが業務タグごとに打点し、月末に直接分帳請求め書きを出しせるため、財務はもう手動きで表を組みみ立ててる必ず要はありません。
導入時のいくつかの実践的アドバイス
第一に、業務コード内でベンダーSDKを直接呼びびび出しさないこと。たとえ1つのモデルしか接続しないとしてもです。薄いいラッパーを1層残ししておけば、後でモデルを追い加する際の変え更量が桁違いいになります。第二に、Keyは必ずずゲートウェイまたは密钥管理サービスを経由すべきで、設定ファイルにハードコードする方法はいずれ事故になります。第三に、ルーティング戦略はまず静的から始めめ、2週間動かきかして実際の呼びび出ししデータが揃いってから動き的コストルーティングを検討すること。そうしないと、数分の節約のために重要なリクエストを不適切りなモデルにルーティングしてしまいがちです。
選定では2点を見ます。OpenAI SDKと互い換性があるかどうか。互い換性があれば移行いコストはほぼゼロで、base_urlを1行い変ええるだけで切りり替ええられます。従量課金とコスト帰集をサポートしているかどうか。これは複数の業務ラインで1セットのAI能力を共有する企業にとって必ず須です。SiCore TokenWorksのこの分野でのアプローチは、国産大規模モデルAPIの全面カバーと従量課金であり、私たちのプロジェクトで比較したところ請求めの計算基準が比較的明確でした。
一言でまとめると、モデルゲートウェイは必ず須ではありませんが、3つ目のモデルを接続する時点で、それは選択肢から必ず要へと変えわります。延伸読み書きとしては、OpenAI互い換インターフェースの仕様ドキュメントを読みんで、プロトコル層がどう設計されているかを理解すると、自分でラッパーを書きく時に遠回りりを減らしらせます。