GPUが要る処理・CPUで足りる処理の見分け方

レン

AIってGPUが必要って聞くけど、普通のVPSじゃ何もできないの？

プロクラ

そんなことはないよ。ただ「AIを動かす」と一口に言っても中身が全然違うから、そこを分けて考えるのが大事なんだ。

GPUがほぼ必須になるもの

• モデルの学習・ファインチューニング（大量の計算を繰り返す）
• 画像生成（1枚作るのに膨大な計算が必要）
• 動画の生成・解析
• 大きなモデルを、応答を待たずに使いたい場合

CPUだけでも実用になるもの

• 外部のAI APIを呼ぶ処理（重い計算は相手側で行われる）
• 小型モデルでの分類・タグ付け・要約
• 音声の文字起こし（時間はかかるが、待てる用途なら実用的）
• テキストの埋め込み生成（検索用の下ごしらえ）
• 夜間にまとめて処理するようなバッチ処理

レン

APIを呼ぶだけなら普通のVPSでいいんだ！

プロクラ

そう。実際、個人が作るAIアプリの多くはこの形なんだ。VPSは受付とデータ管理に徹して、重い部分はAPIに任せる。この構成ならメモリ1〜2GBでも十分動く。

判断の順番

GPUが要るかどうかは、モデルの大きさより先に、待てる時間で決まります。応答を数秒で返す必要があるならGPUが要りますが、まとめて処理して後から結果を見る使い方なら、CPUで数分かかっても困りません。同じモデルでも、使い方次第で必要な設備が変わります。まず「誰が、どれくらい待つのか」を決めてから、機材の話に進んでください。

プロクラ

迷ったらこの順で考えてみて。上から順に、コストも手間も小さい構成になっているよ。

• 1. APIで済まないか？（最も安く、最も速く動く）
• 2. 小型モデルをCPUで動かして足りないか？（外部にデータを出さずに済む）
• 3. 待てる処理なら、遅くても回らないか？（夜間バッチにできないか）
• 4. どうしても足りない場合に、GPU環境を検討する

プロクラ

いきなり4から入ると費用が跳ね上がる。まず1で試して、本当に必要になってから上げていくのが失敗しない進め方だよ。

自前で動かすときにメモリが要る理由

プロクラ

モデルを自分のサーバーで動かす場合、モデル全体をメモリに載せる必要がある。だからCPUの速さより先に、メモリが足りるかどうかが動く・動かないの分かれ目になるんだ。

• メモリが足りなければ、そもそも起動しない
• モデルを小さく変換したもの（量子化）を使うと、必要な容量が下がる
• 速さはCPUの性能とコア数で変わるが、まず載るかどうかが先
• 処理中に一時的な使用量が増える。ぎりぎりで運用しない

外に出すか、自前で持つか

費用の比べ方にも注意が要ります。APIは使った分だけの支払いなので、試している間は安く見えます。一方サーバーは、動かしていなくても毎月かかります。分岐点は利用量ですが、そこに自分の管理の手間を足すと、思ったより高い位置に来ます。自前で持つ理由が費用だけなら、計算し直す価値があります。

プロクラ

費用と手間だけでなく、扱うデータでも判断が変わるよ。社外に出せない情報を扱うなら、自前で動かす理由がはっきりある。

• API: 手間が少なく速い。ただしデータは相手に渡る。規約で扱いを確認する
• 自前: データが外に出ない。ただし性能とメモリの制約を受ける
• 併用: 機密でない処理はAPI、機密な処理は自前、という分け方もできる

レン

まずAPIで試す。自前にするなら、速さより先にメモリを見る。