小さいモデルで足りる仕事は意外と多い

レン

やっぱり一番賢いモデルを使ったほうがいいんだよね？

プロクラ

用途によるよ。難しい推論や長文の執筆なら大きなモデルの価値があるけど、世の中の処理には「そこまで賢さが要らない」ものがけっこう多いんだ。

小さいモデルで足りることが多い処理

• 問い合わせ内容の分類（どの担当に回すか）
• 文章にタグを付ける
• 感情が肯定的か否定的かの判定
• 決まった形式でのデータ抽出
• 短い文章の要約
• 誤字の検出

レン

小さいモデルを使う利点は？

プロクラ

3つあるよ。速いこと、安いこと、そして自分のサーバーで動かせることだ。特に3つ目は大きくて、外部にデータを出さずに済むし、APIの障害にも影響されない。

見極め方

プロクラ

実際の入力を20件くらい用意して、小さいモデルで試してみるのが早いよ。十分な精度が出るなら、それ以上大きくする理由はない。

プロクラ

組み合わせるという手もある。まず小さいモデルで処理して、自信が持てない場合だけ大きいモデルに回す。これなら費用を抑えつつ、難しいケースにも対応できる。

レン

全部を一番いいモデルでやる必要はないんだ。

プロクラ

そういうこと。処理に見合った大きさを選ぶのが、結局いちばん無駄がない。VPSで動かすなら特に、この視点が効いてくるよ。

小さいモデルで足りる仕事

プロクラ

「何でも答えられること」が要らない場面は多いんだ。答えの形が決まっている仕事なら、小さいモデルでも十分に役に立つよ。

• 分類する（問い合わせの種別、感想が肯定的か否定的か）
• 決まった形式で情報を抜き出す（日付、金額、固有名詞）
• 短い文章の要約
• 検索のための埋め込み生成
• 定型的な言い換えや整形

小さいことの利点

• 自分のサーバーで動く。データを外に出さずに済む
• 呼び出しごとの費用が発生しない
• 応答が速い。処理が軽いので同時に何件も捌ける
• 外部サービスの停止や仕様変更に影響されない

プロクラ

特に2つめは、回数が多い処理ほど効いてくる。1件あたりは小さくても、毎日何千件と処理するなら差が積み上がるからね。

向いていない仕事

プロクラ

逆に、長い文脈をたどる推論、複雑な指示の解釈、正確さが求められる知識の質問は苦手だよ。ここを小さいモデルに任せると、それらしい間違いが返ってくる。

使い分ける

• まず小さいモデルで試し、精度が足りるかを実際のデータで測る
• 足りない場合だけ、上位のモデルに回す作りにする
• 分類のような処理は、判断に迷ったものだけ人へ回す手もある
• モデルを変えたら、同じデータで比べる。感覚で判断しない

レン

全部に大きいモデルを使わなくていいんだ。まず小さいので測ってみる。