自分の資料を検索できるAIを自前で作る（RAG）

レン

自分が書いたメモや資料に対して、AIに質問できるようにしたいんだけど…

プロクラ

それはRAGという仕組みでできるよ。モデルを学習し直す必要はなくて、「質問に関係しそうな部分を資料から探して、それをAIに渡して答えさせる」という方法なんだ。

レン

AIに全部覚えさせるんじゃないんだ？

プロクラ

覚えさせる（学習し直す）のは高くつくし、資料を更新するたびにやり直しになる。RAGなら資料を差し替えるだけで済むから、個人が扱うにはこちらが現実的だよ。

動きの流れ

• 1. 資料を適当な長さに分割しておく
• 2. 各断片を「意味を表す数値の並び」に変換して保存する（埋め込み）
• 3. 質問が来たら、質問も同じ方法で数値化する
• 4. 数値が近い＝意味が近い断片を探し出す
• 5. 見つけた断片と質問を一緒にAIへ渡し、それをもとに答えさせる

VPSで動かす場合

プロクラ

構成の分かれ目は、5番の「答えを作る部分」をAPIに任せるか、自前のモデルでやるかだよ。APIに任せるなら、VPS側は検索する部分だけなので驚くほど軽い。メモリ2GB程度から始められる。

• 埋め込みの保存先: 専用のベクトルデータベースもあるが、小規模ならPostgreSQLの拡張機能でも十分
• 資料が数百件程度なら、特別な工夫なしで実用的な速度が出る
• 全文検索と組み合わせると、固有名詞の検索精度が上がる

うまくいかないときに見る場所

プロクラ

答えがおかしいとき、原因はAIではなく「探す部分」にあることが多いよ。関係ない断片ばかり渡していれば、どんなに賢いAIでも正しく答えられない。まず、質問に対してどの断片が選ばれたかを確認してみて。

プロクラ

あと、分割の仕方も効くよ。細かすぎると文脈が失われ、大きすぎると関係ない情報が混ざる。ここは実際の資料で試しながら調整する部分だね。

分割と検索の調整

• 分割は数百字程度から試す。細かすぎると文脈が失われる
• 断片どうしを少し重ねて分割すると、境目で切れた文脈を拾える
• 見出しや出典を断片に添えておくと、答えの根拠を示せる
• 候補は複数（3〜5件程度）渡す。1件だけだと外したときに答えられない

答えの根拠を示す

プロクラ

RAGの利点は、どの資料を見て答えたかを示せることだよ。答えと一緒に出典を出す作りにしておけば、利用者が自分で確かめられる。もっともらしい嘘への備えとしても効く。

プロクラ

逆に、関係する資料が見つからなかったときは「分かりません」と答えさせること。無理に答えさせると、それらしい作り話が返ってくるからね。

扱うデータへの配慮

ウィルスン

…社内の資料を、まるごと検索できる形で1台に集めたのだったな。ワタシがそこへ入れたら、探す手間さえ省けるということだ。

プロクラ

鋭い指摘だよ。RAGの仕組みは、資料を1か所に集めることになる。誰がその検索機能を使えるのかを必ず制限しよう。社内向けなら認証を必須にして、外部から直接叩けない場所に置くこと。

• 検索機能に認証をかける。公開しない
• 利用者ごとに、見せてよい資料の範囲を分ける
• 外部APIへ渡す場合、渡した内容がどう扱われるかを規約で確認する
• 資料を更新したら、古い断片を消す（消し忘れると古い答えが返り続ける）

レン

探す部分が肝心で、根拠も出せる。集めた資料の守りも忘れない、と。