text generation web UIとは？多機能なローカルLLM実行環境の使いどころ

レン

Ollamaを使ってみたけど、応答の細かい調整とか、対応していないモデル形式があるって聞いた。

プロクラ

そこを重視するなら『text generation web UI』、通称oobaboogaが選択肢に入ってくるよ。細かい設定と、幅広いモデル形式への対応が特徴の実行環境なんだ。

text generation web UIの特徴

• 複数のモデル形式・実行方式に対応していて、環境に合わせて選べる
• 応答の作られ方を左右する細かいパラメータを、画面から調整できる
• 拡張機能を追加して、音声読み上げや会話履歴の管理などを足せる
• 外部のプログラムから呼び出せるAPIとしても動かせる

レン

自由度が高そうだけど、その分Ollamaより難しいの？

プロクラ

率直に言うと、その通りだよ。Ollamaは『とりあえず動かす』までの手数が少ないことを優先していて、text generation web UIは『細かく調整したい人向けに選択肢を残す』ことを優先している。どちらが優れているというより、求めるものが逆なんだ。

選び方の基準は、設定に時間をかけたいかどうかです。まず動かして使い始めたいだけなら、選択肢が少ないぶん迷わずに済むOllamaのようなツールが向いています。逆に、応答の傾向を細かく変えたい、対応の広さで比較したいという段階まで来ているなら、text generation web UIの調整項目の多さが役に立ちます。

VPSで使う場合の注意

• 選べる機能や拡張が多い分、使わない機能まで入れるとメモリの消費が増えやすい
• 設定項目が多いので、最初は既定値のまま動かして挙動を確認する
• 画面(Web UI)を外部に公開する場合は、認証の設定を忘れずに行う

プロクラ

初めての自己ホストAIならOllama、そこから『もっと細かく触りたい』と思ったらtext generation web UIに移る、という順番が無理のない進め方だよ。

拡張機能を入れるときの考え方

拡張機能は便利ですが、入れるほどメモリと管理の手間が増えます。最初から全部を有効にするのではなく、今の用途に必要なものだけを選んで有効化し、使わなくなったら外すという運用にすると、サーバーの負荷を必要以上に増やさずに済みます。

• 今の用途に必要な拡張だけを有効にする
• 使わなくなった拡張は無効化し、動かしっぱなしにしない
• 拡張を追加した直後は、メモリの使用量が増えていないか確認する

レン

手軽さのOllama、自由度のtext generation web UI。段階を踏んで選べばいいんだね。