AIアプリは「動いているか」が分かりにくい

レン

エラーも出てないし、ちゃんと動いてるはず！

プロクラ

そこがAIを組み込んだアプリの難しいところでね。「エラーを出さずに、間違った答えを返す」ことがあるんだ。普通のプログラムなら異常は例外やエラーになるけど、AIは平然と間違えた内容を返してくる。

レン

気づけないじゃないか…！

プロクラ

だから記録を残すことが、普通のアプリ以上に大事になる。何を渡して何が返ってきたかを見られるようにしておかないと、「なんとなく最近おかしい」から先に進めないんだ。

記録しておきたいもの

• AIに渡した内容と、返ってきた内容
• 使ったモデルの種類（変更したとき、その前後で比較できる）
• 応答にかかった時間
• 消費した量（費用の把握に直結する）
• エラーや、途中で打ち切った回数

記録するときの注意

プロクラ

ただし、渡した内容をそのまま全部保存すると、それは「利用者の入力を溜め込んでいる」ことになる。個人情報が含まれていれば、その管理責任も発生するよ。

• 個人情報を含みうる部分は伏せて保存する
• 保存期間を決めて、古いものは自動で消す
• 何を保存しているかをプライバシーポリシーに書く

レン

ログを残すこと自体にも責任が出てくるんだね。

プロクラ

そう。「全部残す」でも「何も残さない」でもなく、必要な分だけ残して期限を切る。これがちょうどいい落としどころだよ。

変わっていないのに結果が変わる

普通のプログラムなら、入力が同じで出力が変わることはまずありません。AIを挟むと、こちらが何も触っていなくても答えが変わります。提供元がモデルを差し替えることもあるためです。「昨日は動いていた」が原因究明の手がかりにならない、という前提で記録を残す必要があります。

プロクラ

普通のアプリなら、コードを変えていなければ同じ結果が返る。AIを組み込むと、そこが崩れるんだ。同じ入力でも返答が揺れるし、使っているモデル側が更新されることもある。

• 同じ入力でも、返ってくる内容が毎回同じとは限らない
• 利用しているモデルが更新されて、傾向が変わることがある
• 指示文を少し直しただけで、別の部分の結果が変わることがある
• だから「前はうまくいっていた」を確かめる手段が要る

気づくための最低限

全部を記録しようとすると、量が増えて結局読まれなくなります。まず残すべきは、入力と出力の組、かかった時間、そして失敗したときの理由です。この3つがあれば、あとから「いつから変わったか」を追えます。

プロクラ

全部を監視する必要はないよ。まずは「壊れたことに気づける」ところから始めよう。

• 代表的な入力をいくつか用意し、期待する答えが返るか定期的に試す
• エラー率と、応答にかかった時間を見られるようにする
• 利用者が「役に立たなかった」と伝えられる導線を置く
• 指示文を変えた日時を記録し、結果の変化と突き合わせられるようにする

プロクラ

最後のは地味だけど効くよ。「いつから変わったか」が分かれば、原因の候補が一気に狭まるからね。

レン

必要な分だけ残して期限を切る。変えた日を記録しておく。

利用者から見える形にする

プロクラ

AIの答えは常に正しいとは限らない。利用者がそれを前提にできるよう、画面の側でも伝えておこう。信頼の置き方が変わるからね。

• AIが生成した内容であることを示す
• 根拠にした資料を示せるなら示す
• 誤りを報告できる導線を置く
• 重要な判断は、利用者自身が確かめられるようにする