AIアプリは「動いているか」が分かりにくい

レン

エラーも出てないし、ちゃんと動いてるはず！

プロクラ

そこがAIを組み込んだアプリの難しいところでね。「エラーを出さずに、間違った答えを返す」ことがあるんだ。普通のプログラムなら異常は例外やエラーになるけど、AIは平然と間違えた内容を返してくる。

レン

気づけないじゃないか…！

プロクラ

だから記録を残すことが、普通のアプリ以上に大事になる。何を渡して何が返ってきたかを見られるようにしておかないと、「なんとなく最近おかしい」から先に進めないんだ。

記録しておきたいもの

• AIに渡した内容と、返ってきた内容
• 使ったモデルの種類（変更したとき、その前後で比較できる）
• 応答にかかった時間
• 消費した量（費用の把握に直結する）
• エラーや、途中で打ち切った回数

記録するときの注意

プロクラ

ただし、渡した内容をそのまま全部保存すると、それは「利用者の入力を溜め込んでいる」ことになる。個人情報が含まれていれば、その管理責任も発生するよ。

• 個人情報を含みうる部分は伏せて保存する
• 保存期間を決めて、古いものは自動で消す
• 何を保存しているかをプライバシーポリシーに書く

レン

ログを残すこと自体にも責任が出てくるんだね。

プロクラ

そう。「全部残す」でも「何も残さない」でもなく、必要な分だけ残して期限を切る。これがちょうどいい落としどころだよ。