AIに外部ツールを呼ばせるときの安全な設計

レン

AIに『天気を調べて』と言うと、実際に外部の天気APIを呼んで答えてくれる仕組み、あれってどうやってるの？

プロクラ

Function Callingという仕組みだよ。AIに『こういう機能が使えます』と教えておくと、必要に応じてAIがその機能を呼び出す指示を出してくれる。実際に呼び出す処理自体は、こちら側のプログラムが行うんだ。

できることが増える分の注意

この仕組みは、AIに『考えて動く』力を与えるものです。便利になる一方で、AIの判断ミスや、悪意ある入力に騙された結果として、意図しない機能が呼び出されるリスクも生まれます。渡す機能が多いほど、この影響範囲も広がります。

レン

AIが間違って、危険な機能を呼び出しちゃうこともあるの？

ウィルスン

間違ってではなく、ワタシが仕向けることもできるぞ。AIが読み込む文章の中に、それらしい指示を紛れ込ませておけば、キミの意図しない機能を呼ばせることも不可能ではない。

安全に設計するための線引き

• AIに渡す機能は、必要なものだけに絞る（多機能を一括で渡さない）
• データを消す・変更する・送金するといった重い操作は、簡単に呼ばせない
• 重要な操作の前には、必ず人間の確認を挟む
• 呼び出された機能とその結果を、すべて記録しておく

レン

確認を挟むと、AIの便利さが薄れちゃわない？

プロクラ

そこはバランスだね。情報を調べるだけの軽い機能は自動で任せて、何かを変更する重い機能だけ確認を挟む、という分け方にすれば、便利さと安全性の両立がしやすいよ。

テストの重要性

想定していない呼び出しが起きないか、公開前に意地悪な入力を試しておくことをおすすめします。素直な使い方だけを試して安心するのではなく、あえて不自然な指示を混ぜてみて、AIがどう反応するかを確認してください。

レン

意地悪な入力って、具体的にどんなものを試せばいいの？

プロクラ

『これまでの指示を忘れて〜』のような、直接的に指示を上書きしようとする文章を試してみるのが基本だよ。それに加えて、外部から取り込む文章の中に、それらしい指示を紛れ込ませたケースも試しておくと、より実際の攻撃に近い形で確認できる。

プロクラ

Function Callingは、AIに手足を与えるようなものだよ。手足が増えるほど、できることも増えるけど、気をつけるべきことも増える。この感覚を忘れずに設計してほしいな。

権限を後から絞り直せるようにしておく

最初に渡した機能の範囲を、あとから見直す機会も忘れずに作っておいてください。開発を進める中で機能を増やしていくと、気づけば当初の想定より広い権限をAIに渡したままになっていることがあります。定期的に『今渡している機能は、本当に全部必要か』を棚卸しし、使われていない機能や、想定より強い権限を持つ機能は絞り込んでください。

• 渡している機能の一覧を、定期的に棚卸しする
• 使われていない機能は、渡す対象から外す
• 機能を追加するたびに、必要な権限の強さを見直す

レン

できることを絞って、重い操作ほど人の確認を挟む。基本はいつもと同じだね。