AIの応答をキャッシュして費用と待ち時間を減らす

レン

同じような質問が何度も来るAI機能、毎回AIに聞き直すのって無駄じゃない？

プロクラ

いい着眼点だね。同じ質問に同じ答えでよい場合は、一度得た答えを保存しておいて、次に同じ質問が来たらそれを返す『キャッシュ』という仕組みが使えるよ。費用も待ち時間も減らせるんだ。

キャッシュが向く場面・向かない場面

• 向く: よくある質問への定型的な回答、変化しない情報についての質問
• 向かない: 利用者ごとに答えが変わるべき質問、最新の状況を反映する必要がある質問
• 会話の流れによって答えが変わる場合は、そのままでは使いにくい

レン

全部の質問をキャッシュしようとしなくていいんだ？

プロクラ

そうだね。よく聞かれる質問の上位だけをキャッシュの対象にするだけでも、呼び出し回数はかなり減らせることが多いよ。全部を無理にキャッシュしようとすると、逆に管理が複雑になる。

答えが古くなる問題

キャッシュの一番の落とし穴は、状況が変わったのに古い答えを返し続けてしまうことです。料金や在庫のように変わりうる情報を含む答えをキャッシュする場合は、有効な期間を必ず決めてください。期限を決めずに保存すると、正しかった答えがいつの間にか誤った案内に変わります。

• キャッシュには必ず有効期限を設ける
• 元になる情報が変わったタイミングで、関連するキャッシュを消す
• キャッシュから返した答えかどうかを、内部的に区別できるようにしておく

プロクラ

キャッシュは効果が大きい分、扱いを誤ると気づきにくい形で不具合が続くよ。導入するときは、効果の大きさと同じくらい、古くなったときの消し方まで丁寧に設計してね。

レン

キャッシュを使っていることを、利用者に伝える必要はあるの？

プロクラ

多くの場合、裏側の仕組みなので利用者に伝える必要はないよ。ただし、答えが古い可能性がある場面（料金や在庫など）では、確認日時のような形で情報の新しさを示しておくと、利用者が安心できるね。

プロクラ

キャッシュは地味な仕組みだけど、費用にも待ち時間にも効いてくる、割に合う工夫だよ。まずはよく聞かれる質問の上位だけから、気軽に試してみてほしいな。

プロクラ

キャッシュを導入したあとも、狙いどおり呼び出し回数が減っているかを確認する癖をつけておくといいよ。効果を測らないままだと、期限の設定がずれていることにも気づきにくくなるからね。

キャッシュのキーの決め方

同じ質問文でも、利用者ごとに前提条件が違えば答えが変わるべき場合があります。そうした条件を無視して質問文だけでキャッシュを一致させると、ある利用者向けの答えが別の利用者に誤って返ってしまいます。答えに影響する条件（利用者の設定や、選ばれている言語など）は、質問文とあわせてキャッシュの区別に含めてください。

• 答えに影響する条件を洗い出し、キャッシュの区別に含める
• 利用者ごとに答えが変わる質問は、利用者単位でキャッシュを分ける
• 区別の条件を増やしすぎると、キャッシュが効きにくくなる点にも注意する

レン

使い回していい質問を見極めて、期限も忘れずに、だね。