LinodeでOllamaを動かしてみる

レン

LinodeでOllamaを動かして、自分専用のローカルLLM環境を作ってみたいんだけど、どう考えればいい？

プロクラ

Linodeは開発者向けのシンプルな構成が特徴のVPSだから、Ollamaのような自前でセットアップするツールとは相性がいいよ。まずは、動かしたいモデルの大きさに対して、Linodeのどのプランを選ぶかから考えよう。

プラン選びの考え方

Ollamaで動かすモデルは、量子化された状態でもメモリに載せる必要があります。Linodeには複数のメモリ容量のプランが用意されているので、試したいモデルの大きさに対して余裕のある容量のプランを選んでください。他のプロセスの分も残す前提で、少し余裕を見た容量にすることをおすすめします。

• 小さめの量子化モデルから試し、載るかどうかをまず確認する
• 他の用途（Webアプリ等）と同居させる場合は、その分のメモリも別枠で見積もる
• 動かしてみて重ければ、上位プランへの変更も選択肢に入れる

レン

LinodeにはGPU付きのプランってあるの？

プロクラ

GPUを使えるプランを提供しているクラウド事業者もあるけれど、当サイトで比較しているLinodeの一般的なVPSプランはCPU中心の構成だよ。GPUが前提の重い処理をしたい場合は、そもそもVPSではなく別の種類のサービスを検討する必要がある。まずはCPUで動く範囲に的を絞るのが現実的だね。

セットアップの流れ

• ① Linode上にサーバーを用意し、OSの基本的なセキュリティ設定を済ませる
• ② Ollama本体をインストールする
• ③ 動かしたいモデルを、メモリに収まる量子化段階で取得する
• ④ 必要に応じて、外部からアクセスできるようファイアウォールの設定を調整する

プロクラ

④は特に注意してほしいところだよ。何も考えずに外部公開すると、誰でもモデルを使い放題にできてしまう。個人で試すだけなら、外部には公開せず、手元からのアクセスに限定しておくのが安全だね。

レン

セットアップに失敗したときは、どこを疑えばいいの？

プロクラ

まずはメモリ不足を疑うのが定石だよ。モデルの起動に失敗する原因の多くは、選んだプランのメモリに対して、モデルが大きすぎることなんだ。エラーメッセージにメモリ関連の記載が無いか、落ち着いて確認してみてね。

プロクラ

Linodeはドキュメントも整理されているから、公式の手順に沿って進めれば大きくは迷わないはずだよ。

動かしっぱなしにする場合の備え

試すだけでなく、常時起動させて自分専用のAI環境として使い続けるなら、他のサービスと同じように運用の備えも必要になります。想定外にプロセスが落ちたときに自動で立ち上げ直す設定や、使用メモリの推移を確認できる仕組みがあると、気づかないうちに止まっていた、という事態を避けやすくなります。試用の延長で常時稼働に移す際は、この一手間を忘れないでください。

• プロセスが落ちたときに、自動で再起動する設定を入れておく
• 使用メモリの推移を、時々でも確認できるようにしておく
• 常時稼働に移す前に、一度長時間動かして問題が起きないか試しておく

レン

Linodeでも、メモリの見積もりとアクセス制限を押さえれば十分試せるんだね。