VPSでOllamaを動かす：必要なメモリ、CPUだけの限界、事業者の選び方

レン

自分のサーバーでAIを動かせるって聞いた！VPSでもできるの？

プロクラ

できるよ。Ollamaというソフトを入れると、公開されているモデルを自分のサーバーで動かせる。ただ、最初に期待値をそろえておこう。ここを飛ばすと、契約したあとで「思っていたのと違う」になる。

まず知っておくこと：一般的なVPSにGPUは無い

プロクラ

AIの処理はGPUで劇的に速くなるけれど、一般的なVPSのプランにGPUは付いていない。つまりCPUだけで計算することになる。

レン

動くけど遅い、ってこと？どのくらい？

プロクラ

小さなモデルでも、返事が一文字ずつ絞り出されるような速さになることがある。人と会話するように使いたいなら、正直に言って向かない。逆に「時間がかかってもいいから、外部に文章を送らずに処理したい」なら意味がある。

必要なメモリの目安

プロクラ

モデルはメモリに読み込まれる。だからモデルのサイズより余裕のあるメモリが要る。足りないと、遅くなるのではなく読み込みの時点で止まるよ。

モデルの容量がそのまま必要なメモリになるわけではありません。読み込んだモデル本体に加えて、処理の途中で使う領域が要ります。会話が長くなるほどこの領域は増え、長い文章を渡したときに突然足りなくなる、という形で表面化します。ぎりぎりで動く構成を選ぶと、短い質問では動くのに実用的な長さで落ちる、という一番わかりにくい壊れ方をします。

• 小さいモデル（パラメータ数が数十億程度。パラメータはモデルの中で学習により調整された数値）：8GB前後から
• 中くらいのモデル：16GB以上
• それ以上：メモリを増やすより、GPUのある環境を検討したほうが現実的
• 量子化（モデルを軽く小さくする処理）したものを使えば、必要な容量は下がる
• Webアプリなどと同じサーバーに置くなら、その分のメモリは別枠で見積もる
• ディスクも必要。モデル1つで数GBを使うため、複数試すなら余裕を見る

レン

メモリを増やせば速くなる？

プロクラ

ならないよ。メモリは「載るかどうか」を決めるもので、速さを決めるのは計算する力のほう。載らないモデルを載せるためにメモリを増やすのであって、増やせば速くなるわけではないんだ。

現実的な使い方

CPUだけで動かす場合、対話の相手としては厳しいものの、待てる処理なら十分に使えます。溜まった文章の要約、分類、下ごしらえのような、結果を後から受け取る使い方に向きます。用途を選べば実用になる、という距離感で考えてください。

• 手元の文章を要約する、分類するといった、待てる処理
• APIの利用料をかけずに、まず仕組みを理解したい学習用途
• 外部のサービスに文章を送りたくない事情がある場合
• 常時ではなく、必要なときだけ動かす

プロクラ

逆に、リアルタイムの応答が要る用途や、業務で回す前提なら、外部のAPIを使うほうが安く速く済むことが多い。自分のサーバーで動かすこと自体に意味がある場合に選ぶ道だと考えよう。

事業者ごとの向き不向き

プロクラ

どの事業者でも動かせるけれど、選び方に差は出るよ。

• 時間課金・日額課金がある事業者（Vultr・ConoHa VPSは時間課金、KAGOYA CLOUD VPSは日額課金）：必要なときだけ立てて試せる。常時動かさないなら費用を抑えやすい
• Vultrには別系統のGPUプランがある：速さが要るなら選択肢になる。料金は基本のプランとは別の水準
• Linode・DigitalOcean：公式のドキュメントや利用者が書いた手順記事が多く、Linuxの操作でつまずいたときに調べやすい。DigitalOceanのGPU付きDropletは、当サイトで比べている通常のプランとは別の種類のサービス
• メモリ単価の安い事業者：常時動かすなら、同じメモリ容量で料金を比べる意味が大きい
• 国内リージョン：モデルの応答自体は自分のサーバー内の処理なので、遅延の影響は小さい。管理のしやすさで選んでよい

プロクラ

当サイトの比較表なら、メモリ8GB以上のプランを料金順に並べられる。スペック診断でAI用途を選んでも、同じ条件で候補が出るよ。

動かないとき、動かし続けるとき

レン

モデルが起動しなかったら、どこを疑えばいいの？

プロクラ

まずはメモリ不足だよ。起動に失敗する原因の多くは、プランのメモリに対してモデルが大きすぎること。エラーにメモリの話が出ていないかを確かめて、出ていたら小さいモデルか、より強く量子化したものに替えてみよう。

試すだけでなく常時動かすなら、ほかのサービスと同じ運用の備えが要ります。止まっていたことに何日も気づかない、という事態を避けるためです。設定を作り込んだあとは、その状態を残しておくとやり直しが楽になります。

• 小さめのモデルから試し、載るかどうかを先に確かめる
• プロセスが落ちたら自動で立ち上げ直すよう設定する
• 使用メモリの推移を、ときどきでも確認できるようにしておく
• 常時稼働に移す前に、一度長い時間動かして問題が出ないか見る
• うまく動いた時点でスナップショットを取っておく（スナップショットも保存容量を使う）

始める前の確認

ウィルスン

…ひとつ言っておく。管理用の画面を外部に開くなら、そこに認証をかけることを忘れるな。誰でも触れる状態のAIを置くのは、計算資源を他人に貸しているのと同じだ。

プロクラ

そのとおり。外から使えるようにするなら、接続元を絞るか認証をかけること。まずは自分だけが使う状態で試して、感触を掴んでからにしよう。

レン

できるかどうかじゃなくて、何に使うかで決めるんだね。