LocalAIとは？OpenAI互換のAPIを自分のサーバーに用意する

レン

ChatGPTのAPIを呼ぶアプリを作ったけど、使うたびに料金がかかるのが気になる…

プロクラ

それなら『LocalAI』を検討してみるといいよ。OpenAIのAPIと同じ形式でリクエストを受け付ける、無料でオープンソースの推論サーバーなんだ。

LocalAIの特徴

• OpenAIのAPIと同じ呼び出し方（エンドポイントの形式）に合わせてある
• テキスト生成だけでなく、音声認識や画像生成のモデルも扱える
• 自分のサーバーに置くので、呼び出し回数に応じた課金が発生しない
• GPUが無くてもCPUだけで動かせる構成が選べる

レン

Ollamaと何が違うの？似たような話に聞こえるけど。

プロクラ

どちらも自分のサーバーでモデルを動かす点は同じだけど、狙っている場所が違うんだ。Ollamaは独自の簡単な呼び出し方が中心で、LocalAIは最初からOpenAIの形式に合わせている。

この違いが効いてくるのは、すでにOpenAIのSDKやライブラリを使ってアプリを作っている場合です。呼び出し先のアドレスをLocalAIに向けるだけで、アプリ側のコードをほとんど書き換えずに移行できます。ゼロから作るならOllamaの手軽さも十分魅力的ですが、既存のAI連携コードを流用したいならLocalAIの相性が良い場面です。

導入前に見ておくこと

• 対応形式が広い分、機能ごとに必要なメモリ量が変わる。使う機能だけ絞って検証する
• Dockerでの配布が用意されているので、コンテナが動く環境なら導入は難しくない
• 外部に公開するなら、認証をかけないと誰でもAPIを呼べる状態になる

プロクラ

『Ollamaより高機能なものが欲しい』というより、『OpenAI形式のAPIをそのまま自分のサーバーで持ちたい』人向けのツールだと考えると選びやすいよ。

移行の進め方

いきなり本番のアプリを丸ごと切り替える必要はありません。まずは開発環境だけAPIの向き先をLocalAIに変え、応答の形式や速度に問題が無いかを確認してから、本番の切り替えを検討する進め方が安全です。呼び出し方が同じとはいえ、モデルの性能や得意分野はOpenAIのサービスとは異なるため、実際の応答を見て判断してください。

• 開発環境でエンドポイントを向け替え、既存の呼び出しがそのまま通るか確認する
• 実際の応答内容を見て、用途に足りる精度かどうかを判断する
• 問題が無ければ本番でも切り替え、必要なら一部の処理だけ従来のAPIに残す

レン

既存のOpenAI向けコードを活かしたいならLocalAI、新しく作るならOllama、で使い分ければいいんだね。