VPSでOllamaを動かす：ローカルLLMに必要なスペック

レン

AIを自分のサーバーで動かせるって聞いたんだけど、本当にできるの？

プロクラ

できるよ。Ollamaというツールを使うと、LLM（大規模言語モデル）を自分のサーバーで動かせるんだ。APIの利用料がかからないし、入力したデータが外部に出ないのが大きな利点だね。

レン

どれくらいのスペックが要るの？

プロクラ

一番効くのはメモリだよ。モデルのサイズがほぼそのままメモリ要求になるからね。CPUだけで動かす場合、だいたいこんな目安になる。

• 3B前後の小型モデル: メモリ4GB〜
• 7B前後の中型モデル: メモリ8GB〜
• 13B前後の大型モデル: メモリ16GB〜
• メモリが足りないとそもそも起動しない（CPU不足は「遅い」で済むが、メモリ不足は動かない）

レン

GPUがないと厳しいって聞いたけど…

プロクラ

正直に言うと、CPUだけだと応答はかなり遅いよ。GPUがある環境と比べると体感で何倍も違う。だから「チャットのように快適に使う」用途には向かないことが多いんだ。

それでもCPUで動かす価値がある場面

• 応答速度より、外部にデータを出さないことを優先したい場合
• バッチ処理（夜間にまとめて処理する等、待てる用途）
• 小型モデルで足りる用途（分類・要約・タグ付けなど）
• そもそも動かして学習・検証してみたい場合

プロクラ

快適さを求めるならGPU対応の環境を検討することになるけど、まずはメモリ多めのVPSで小型モデルから試してみるのがおすすめだよ。時間課金に対応した事業者なら、数時間だけ試して消すこともできるからね。