AI APIの料金が想定外に膨らむのを防ぐ

レン

AIのAPI利用料が、思ってたより全然高くなってる…！

プロクラ

よくある話だよ。従量課金は、動いている限り課金され続けるからね。しかも24時間動くサーバーに載せると、寝ている間も課金が進む。

膨らむ原因の典型

• 会話履歴を毎回すべて送っている（やり取りが続くほど1回の費用が増えていく）
• エラー時に自動で再試行し、それが繰り返されている
• 無限ループでAPIを呼び続けている（事故として最も高くつく）
• 長い文章を丸ごと渡している（必要な部分だけ渡せば済むことが多い）
• 検証用のコードを本番に残したまま動かしている

サーバー側で仕込む歯止め

プロクラ

APIの提供元にも上限設定はあるけど、それは最後の砦。その手前に自分で歯止めを作っておこう。

• 1日あたりの呼び出し回数に上限を設け、超えたら止める
• 再試行の回数を必ず制限する（無制限のリトライは事故のもと）
• 会話履歴は古い部分を要約するか、一定量で切り捨てる
• 同じ質問には同じ答えを返す（キャッシュ）だけで、かなり減らせる
• 利用量をログに残し、日ごとに見られるようにしておく

レン

上限に達したらどうするの？エラーになる？

プロクラ

そこは用途次第だね。止めて「本日は受付を終了しました」と伝える、より安いモデルに切り替える、待ってもらう、といった選択肢がある。大事なのは、無言で課金し続けないことだよ。

ウィルスン

…付け加えておこう。認証をかけずにAI機能を公開していれば、ワタシが代わりに使い切ってやる。請求はキミ宛だがな。上限を決めるのは、ワタシへの備えでもあるのだよ。

プロクラ

そういうこと。公開する機能にAIを載せるなら、認証と回数制限はセットで考えよう。

使う前に見積もる

プロクラ

作り始める前に、1回の処理でどれだけ費用がかかるかを1度だけ測っておこう。それに想定回数を掛ければ、月あたりの見当がつく。ここを飛ばすと、公開してから初めて金額を知ることになる。

• 1回の処理にかかる費用を実測する
• 想定する1日あたりの回数を掛ける
• その30倍が、月あたりのおおよその上限になる
• 許せない金額なら、公開する前に設計を見直す

モデルを使い分ける

プロクラ

すべての処理に最も高性能なモデルが要るわけではないよ。分類や判定のような単純な処理は軽いモデルで足りることが多い。難しいときだけ上位のモデルに回す作りにすると、費用の総額はかなり変わる。

気づける状態にする

• 提供元の管理画面で、使用量の上限と通知を設定する
• 自分のログでも、日ごとの呼び出し回数を見られるようにする
• 急に増えたときに気づける仕組みを入れる
• 検証用の鍵と本番用の鍵を分ける（どちらが使っているか切り分けられる）

プロクラ

請求で気づくのが一番遅い。1日単位で見られるようにしておけば、事故の規模が1日分で止まるよ。

レン

先に測る、軽いモデルで足りるか考える、日ごとに見る。認証と回数制限はセット。