AI APIの料金が想定外に膨らむのを防ぐ

レン

AIのAPI利用料が、思ってたより全然高くなってる…！

プロクラ

よくある話だよ。従量課金は、動いている限り課金され続けるからね。しかも24時間動くサーバーに載せると、寝ている間も課金が進む。

膨らむ原因の典型

• 会話履歴を毎回すべて送っている（やり取りが続くほど1回の費用が増えていく）
• エラー時に自動で再試行し、それが繰り返されている
• 無限ループでAPIを呼び続けている（事故として最も高くつく）
• 長い文章を丸ごと渡している（必要な部分だけ渡せば済むことが多い）
• 検証用のコードを本番に残したまま動かしている

サーバー側で仕込む歯止め

プロクラ

APIの提供元にも上限設定はあるけど、それは最後の砦。その手前に自分で歯止めを作っておこう。

• 1日あたりの呼び出し回数に上限を設け、超えたら止める
• 再試行の回数を必ず制限する（無制限のリトライは事故のもと）
• 会話履歴は古い部分を要約するか、一定量で切り捨てる
• 同じ質問には同じ答えを返す（キャッシュ）だけで、かなり減らせる
• 利用量をログに残し、日ごとに見られるようにしておく

レン

上限に達したらどうするの？エラーになる？

プロクラ

そこは用途次第だね。止めて「本日は受付を終了しました」と伝える、より安いモデルに切り替える、待ってもらう、といった選択肢がある。大事なのは、無言で課金し続けないことだよ。

ウィルスン

…付け加えておこう。認証をかけずにAI機能を公開していれば、ワタシが代わりに使い切ってやる。請求はキミ宛だがな。上限を決めるのは、ワタシへの備えでもあるのだよ。

プロクラ

そういうこと。公開する機能にAIを載せるなら、認証と回数制限はセットで考えよう。