量子化したLLMをVPSで動かす：GGUFモデルとサイズの選び方

レン

GGUFとかQ4とか書いてあるモデルをよく見かけるけど、あれは何なの？

プロクラ

モデルを軽くする「量子化」という処理をしたものだよ。もとの数値を細かく持つ代わりに、ざっくりした精度で持つことで、必要なメモリを大きく減らせるんだ。GGUFはその軽くしたモデルを配る形式の名前だね。

何を削っているのか

モデルの中身は大量の数値でできています。量子化は、その数値を細かい精度で持つのをやめて、粗い刻みで丸めて持つ処理です。数値そのものの意味は変わりませんが、表現の細かさが落ちるぶん、答えの質にわずかな影響が出ます。どれだけ丸めるかによって、Q8・Q4といった段階に分かれています。

• 丸めが粗いほど、必要なメモリと保存容量は小さくなる
• 丸めが粗いほど、答えの精度は落ちやすくなる
• 同じモデルでも、量子化の段階が違うファイルが複数配布されている

レン

精度が落ちるなら、量子化しないほうがいいんじゃ…？

プロクラ

そもそも量子化しないと、メモリに載らずに起動すらできないことが多いんだ。だから『精度を保つか、量子化するか』ではなく『どこまで量子化すれば自分のVPSに載るか』という順番で考えることになる。

選び方の順番

• 1. 使えるメモリの上限を確認する（他のプロセスの分も残す）
• 2. その上限に収まる量子化段階のファイルを選ぶ
• 3. 実際に自分の用途で試し、答えの質が足りるか確認する
• 4. 足りなければ、より大きいモデルか、より粗くない量子化を試す

プロクラ

いきなり一番精度の高いものを狙わず、まず載る大きさで動かしてみて。そこから『足りない部分だけ』を上げていくほうが、無駄なく必要なスペックにたどり着けるよ。

配布されているファイルの選び方

同じモデルでも、配布元によって量子化の刻み方や作り方が少しずつ異なります。ファイル名にはQ4_K_Mのような表記が付いていることが多く、数字が小さいほど粗い量子化、末尾の記号は丸め方の細かい違いを表します。見分けが難しい場合は、配布ページの説明や、実際に使った人の感想を先に確認してください。

• ファイル名の数字は、量子化の粗さのおおよその目安になる
• 同じ粗さでも、丸め方の違いで複数の種類が配布されていることがある
• 初めて試すなら、配布元が『バランスが良い』としている種類から始めるとよい

プロクラ

迷ったら極端な設定から入らないこと。真ん中あたりの量子化から試して、そこから自分の用途に合わせて調整していくのが遠回りに見えて一番早いよ。

保存容量にも意外と効いてくる

量子化の話はメモリに注目しがちですが、ディスクの保存容量も忘れずに見ておいてください。試しながら選ぶ過程で、同じモデルの量子化違いを何種類もダウンロードしていると、1つ1つは数GB程度でも合計はすぐに膨らみます。VPSのディスクは無限ではないので、比較が終わったファイルはこまめに消す習慣をつけておくと安心です。

• 試すたびに前の量子化ファイルを消さず溜め込まない
• 比較用に残すのは、最終候補の1〜2種類までに絞る
• ダウンロード先のディスク使用量を、作業の合間に確認しておく

レン

載るかどうかが先で、精度の調整はそのあと、だね。