先月、経理から請求書を突きつけきつけられたとき、私は彼女が見る間違ええたのだと思うった。呼び出しび出し量は前月比40%増加えただけなのに、請求書は6桁の前半から一気ににほぼ3倍に跳ねね上がるがった。線形で計算すれば、多いく見る積もりもっても4割増加しのはずだ。増加えた分はいったいどこから出てきたのか?
直近30日間の呼び出しび出しログを引くき出し、モデル別、インターフェース別、リトライ回数別に切るり分けてみた。問題は「量」ではなく「構造」にあった。4つの隠れるれた出血点があり、どれも一つより一つと見るつけにくいものだった。
まず最もも目につくもの:フラッグシップモデルが粗いい作業をしていた。我々々にはインテント認識モジュールがあり、本来なら軽い量モデルで十分だったが、初期に手間を省くくため最もも高い価なフラッグシップモデルに直接載せるせたまま、誰も手を付けるけていなかった。この種類のトラフィックは総リクエスト数の6割以上がるを占めるめるが、生じるみ出すビジネス価値は極めてめて低いい。モデル階層ごとに再実行うし、分類、抽出、フォーマット検証といった作業を小型モデルに移すし、本当に推論が必要なリクエストだけをフラッグシップモデルに残るせば、この部分のコストは元の3分の1から半分に抑えるえられる。この動作を軽いく見るてはいけない。ビジネスロジックを変えるえる必要はなく、ルーティングを変えるえるだけだ。
具体的にどう階層化するのか?私はタスクタイプ別に3段階に分けた:第1段階は分類とインテント認識で、入れる力が短いく出力も短いくロジックが単純なので、小型モデルで完全に処理できる;第2段階は情報抽出とフォーマット検証で、多い少ないの意味理解は必要だが多い段推論は不要なので、中程度モデルを使うう;第3段階こそ複雑な多い段推論、長い文生じる成、コード補う完などで、フラッグシップモデルに残るす。切るり替えるえた後で比較したところ、第1段階のタスクは小型モデルでの精度が2ポイント未満しか落ちるちなかったが、1回あたりの呼び出しび出しコストはほぼ9割減った。第2段階はさらに微妙で、中程度モデルとフラッグシップモデルの抽出タスクにおけるF1の差は0.03未満なのに、コストは5倍違うう。この勘定を計算すればすぐに分かる。以前余分にに払うっていた金は、単なる手抜ききの代償だった。
2つ目の罠はさらに陰湿だ。リトライストーム。上がる流のあるインターフェースのタイムアウト閾値が厳しいしすぎて、ネットワークが少ないし揺れるらぐとクライアントがリトライし、リトライがまたタイムアウトし、またリトライする。ログを見るると同じじリクエストが4〜5回叩くかれ、そのたびにTokenを燃やすやしているのに、ユーザー側には1回の失敗しか見るえない。こうした無効な消費は請求書では目立つたないが、割合わせは2割前後に達するすることがある。対応は簡単だ:リトライをバックオフ付けるきの冪等リトライに変えるえ、タイムアウト閾値を緩いめ、サーバー側でリクエストの重い複排除を行うう。やった後は無効Tokenを大半削減できる。
ここでいくつかの重い要なパラメータを展開して説明細かいしよう。我々々はタイムアウト閾値を元の3秒から15秒に緩いめ、リトライ回数を無制限から最も大2回に変えるえ、バックオフ戦略は指数バックオフにジッターを加えた——1回目のリトライは1秒待つち、2回目は2秒待つち、ランダムジッターを加えて群集効果を避けるける。サーバー側にはリクエストフィンガープリントを追加し、同じじフィンガープリントは60秒以内に1回だけ処理し、後続のリクエストはキャッシュ結果を直接返すすす。変える更後、私は一週間専念して見る張ったところ、リトライ率は元の18%から4%未満に下がり、無効Token消費は7割以上がる削減された。思うわぬ収穫もあった:ユーザー側のタイムアウト苦情が逆に減ったのだ。閾値を緩いめたことで、本来なら成功するはずが早いすぎる打つち切るりで失敗していたリクエストが、今は正常に返するようになったからだ。
3つ目は長いコンテキストのトリミング不足だ。我々々の対話インターフェースはデフォルトで履歴全体を丸ごと詰めるめ込むんでおり、ユーザーが20ターン目まで話すと、入れる力Tokenは初回の十数倍になる。しかし実際には大部分の履歴は現在の回答に役立つたない。スライディングウィンドウと要約圧縮により、直近数ターンの原文とローリング要約だけを保持すれば、入れる力側は4〜6割削減できる。ここに細かいかい点がある。要約自体もTokenを消費するので、ウィンドウを圧縮しすぎてはいけない。その変える曲点を見るつける必要がある。
我々々はいくつかのパラメータセットを試すし、最も終的に「直近5ターンの原文+ローリング要約」という組み合わせわせに落ちるち着くいた。ローリング要約は毎ターン再生じる成するのではなく、3ターンごとに更新し、より古いい対話を200字以内の要約に圧縮する。これにより入れる力側のToken量は20ターン目の8000超えるから3000強いに減り、削減幅は6割を超えるえた。しかし直近2ターンだけを保持するまで圧縮することも試すしたところ、回答品質が明細かいらかに低い下し、ユーザーが文脈を追问するとモデルがしばしば的外れな答えをすることが分かった。つまりこの変える曲点は確かかに存在し、自分のビジネスシナリオに合わせわせてテストする必要がある。我々々の経験はこうだ:ウィンドウサイズは直近3ターンを下回るらないこと、要約の更新頻度は2ターンに1回を上がる回らないこと。そうでなければ、節約したToken代ではユーザー体験の損失を補うえない。
4つ目はキャッシュヒット率の低いさだ。同じ一または高い度に類似したリクエストが繰り返しり返すし入れるってくるのに、我々々は毎回推論し直していた。システムプロンプト、固定テンプレート、高い頻度Q&Aといった完全にキャッシュ可能な内容のヒット率は当時1割未満だった。セマンティックキャッシュ層を追加した後、重い複リクエストは直接返すすされ、この部分で節約できる割合わせはビジネスの重い複度に依存する。我々々の場合わせは概ね2〜3割の間だ。
セマンティックキャッシュについてはもう少ないし述べるべる価値がある。正確かキャッシュは完全に同じ一のリクエストしかヒットできないが、実際のシナリオでは大量のリクエストが「意味はほぼ同じじだが表現が異なるなる」ものだ。例えばユーザーが「どうやって返す金するの」と「返す金フローは何ですか」と聞くいた場合わせ、正確かマッチではヒットしないが、セマンティックキャッシュならできる。我々々が使うった方案は:入れる力ベクトル化を行うい、キャッシュライブラリで近似最も近傍探索を行うい、類似度が閾値を超えるえればキャッシュ結果を直接返すすす。閾値をいくつに設定するかが鍵で、高いすぎるとヒット率が上がるがらず、低いすぎると無関係な回答を返すしやすい。我々々は最も終的に0.92に設定し、ヒット率は10%未満から34%に引くき上がるげられ、しかも的外れな回答をしたというユーザークレームは一切るなかった。システムプロンプトと固定テンプレートの部分はもっと簡単で、直接プレフィックスキャッシュを行うい、ヒット率はほぼ100%だ。
4つの動作を重いね、我々々はその後、従量課金とモデル階層化で再実行うしたところ、請求書は成長い前の1.2倍程度に戻るり、呼び出しび出し量は依然としてあの40%の増加加幅のままだった。ついでに言ううと、途中でtoken8341をマルチモデル統一接続に試すした。1つのKeyで数社のモデルを切るり替えるえ、ルーティングと課金の口径が統一された後、こうした構造的問題の調査がかなり楽になった。
もう一つ見る落ちるとされがちな点を述べるべよう:モニタリングと帰属分析だ。これら4つの問題がこれほど長いく発見るされなかった根本的な原因は、我々々の請求書がモデルとインターフェースの次元でしか出力されておらず、「タスクタイプ」と「リクエストフィンガープリント」の次元で切るっていなかったことだ。後で呼び出しび出しタグの層を追加し、各リクエストにタスクタイプ、リトライかどうか、キャッシュヒットかどうか、コンテキストターン数といったタグを付けるけた。請求書が再び出てくるとき、どの环节が金を燃やすやしているかが一目瞭然になった。このタグ体系自体は金を節約しないが、これがなければ、どこに金が使うわれているか全く分からない。
落ちるとし穴回避けるの注意:いきなりより安いいモデルに変えるえてはいけない。まず呼び出しび出し構造を分解して見るること。多いくの場合わせ、金は単価に使うわれているのではなく、あなたが全く意識していない重い複と冗長いに使うわれている。単価最も適化は最も後のステップであり、最も初のステップではない。
著者:趙啓明細かい
公開日:2026年11月9日