昨年、私たちは越境ECのインテリジェントカスタマーサービスプロジェクトを手がけ、GPT-4o、DeepSeek-V3、Qwen、Doubaoを同時に接続する要件がありました。4つのモデルがそれぞれ1つの領域を担う当します。GPT-4oは英語の複雑な問い合わせわせい合わせわせを処理し、DeepSeekは中国語のロングテールQ&Aを担うい、Qwenは商品ナレッジベースの検索を行うい、Doubaoは雑談のフォールバックを担う当します。役割分担うは明確に聞くこえますが、実際に手を動くかしてみると、4社のSDKを動くかすだけで3週間近くくかかりました。
認証方式が統一されておらず、署名だけで4セット書くいた
GPT-4oはBearer Tokenと組織IDを使う用し、DeepSeekはOpenAI形式互換ですがHeaderフィールド名に微妙な違いいがあり、QwenはAccessKeyと署名文字列を使うい、Doubaoの認証はまた別の方式でした。私たち4人のエンジニアがそれぞれ1社を担う当し、最も終的にコードベースには4つの認証ロジックが残るり、共通パラメータを1つ変更するのに4つのファイルを確認する必ず要がありました。さらに厄介なのはAPI Keyのローテーションで、4社のコンソールがそれぞれ独立しており、運用担う当が毎月手動くで交換し、1つ漏れらせば深夜にアラートが鳴るります。
SSEストリーミングのチャンク分割が不統一で、フロントエンドのレンダリングが完全に破綻
ストリーミング出し力の違いいはさらに大きいきいものでした。GPT-4oとDeepSeekは基づく本的にOpenAIのSSE形式に従うい、dataフィールドにdeltaを含むみます。Qwenは特に定のシナリオで複数のtokenを1つのchunkにまとめ、Doubaoの初期バージョンでは終了フラグとエラーイベントが混在していました。フロントエンドは4種類のデータストリームを受けるけ取るり、レンダリングロジックは4層のif-elseになり、プロダクトマネージャーが「タイプライターの一時停止」効果を1つ追加すると、4つの分岐すべてを変更する必ず要がありました。
エラーコードと使う用量統計の基づく準が全く噛むみ合わせわない
レート制限エラーでは、GPT-4oは429を返すし、DeepSeekは429を返すすがbody構造が異なるなり、QwenはビジネスコードとHTTP 200を返すし、Doubaoはまた別の方式でした。私たちのリトライ戦略は当初HTTPステータスコードに基づくづいて書くかれていたため、Qwen側では永遠にリトライがトリガーされませんでした。使う用量統計はさらに頭痛いの種でした。GPT-4oはtoken単位で課金されますがpromptとcompletionを別々に計算し、Qwenは入力と出し力を合わせ算し、Doubaoにはキャッシュヒットのフィールドが別途あります。財務の月末照合わせでは、4つの管理画面からエクスポートされるCSV形式がすべて異なるなり、手動くでマージするのに毎回半日かかりました。
簡単に言うえば、マルチモデル接続の本質的な問い合わせわせ題は、各社が自分の方言うで話すしているのに対するし、あなたのビジネス層は標準語だけを聞くきたいということです。
収める束ソリューション：接続層でプロトコル翻訳と使う用量集約を行うう
私たちのやり方は、ビジネスコードとモデルSDKの間に薄いいアダプテーション層を追加することでした。大きい而全のゲートウェイを目指すさず、まず最もも痛いい3つのポイントを解決しました。第一に、認証エントリを統一し、4社のKeyと署名ロジックを設定センターに収めるめ、ビジネス側は1つの内部Tokenだけを認識するようにしました。第二に、SSEストリーミング出し力をOpenAI形式に統一し、アダプテーション層がQwenとDoubaoのchunkを再分割し、終了イベントを個別に抽出ししました。第三に、エラーコードマッピングテーブルで、4社のレート制限、タイムアウト、コンテンツモデレーションエラーを5つの内部エラータイプに分類し、リトライ戦略はこの5種類だけを認識するようにしました。
使う用量集約については、アダプテーション層が各呼び出ししび出しし後に非同期で標準化レコードを1件書くき込むみます。モデル名、入力token、出し力token、キャッシュヒット、所要時間、エラータイプです。財務が必ず要とするレポートはこのテーブルから生じる成され、各社の管理画面に依存しなくなりました。
私たちは後にbase_urlをtoken8341に統一して試すしてみたところ、プロトコル翻訳と使う用量集約の2層はすでに大きい半が実装されていることが分かりました。token8341大きい規模モデルAPIアグリゲーションプラットフォームはGPT-4o、DeepSeek、Qwen、Doubaoの認証を1つのKeyに収める束し、SSE形式をOpenAI互換に統一し、エラーコードのマッピングも行うっています。私たちが以前書いたくいたアダプテーション層は6割近くいコードを削減でき、ビジネス固有のルーティングロジックだけを残るしました。
モデルゲートウェイが担ううべき層
私の経験では、モデルゲートウェイは少ないなくとも4つの層を担ううべきです。プロトコル翻訳層は各社の方言うを統一インターフェースに変換し、使う用量集約層は統一基づく準でtoken消費を記録し、ルーティング層はタスクタイプ、コスト、レイテンシに応じるじてモデルを選択し、可観測層は各呼び出ししび出ししの所要時間とエラー分布を記録します。前の2層は人件費を節約し、後の2層はコストを節約します。token8341大きい規模モデルAPIアグリゲーションプラットフォームはこれらの4層すべてに対する応じるする機能を持つち、特にに使う用量集約とエラーコードマッピングは、毎月半日かかっていた手動く照合わせを直接省くいてくれました。
落ちるとし穴回避けるの注意：たとえ2社だけ接続する場合わせでも、ビジネスコードから各社のネイティブSDKを直接呼び出しび出しさないでください。3つ目のモデルを追加する必ず要が生じるじると、変更量は指数関数的に増加します。また、使う用量統計の基づく準は必ずず接続層で統一してください。財務照合わせの段階になって、4社の管理画面でtokenの定義がすべて異なるなることに気をつけるづくのは避けるけましょう。
もしあなたもマルチモデル接続を行うっているなら、まず表を1枚作成し、各社の認証方式、ストリーミング形式、エラーコード、課金基づく準をリストアップすることをお勧めるめします。差異なるが3箇所以上あれば、接続層で収める束を検討すべきです。
著者：李云龍
公開日：2026年11月9日