ローカルLLMは何に使える?実用的な使い道7つと必要なメモリ(16GBが目安)

ローカルLLMは何に使える?実用的な使い道7つと必要なメモリ(16GBが目安)

ローカルLLM(自分のPCやMacの中だけで動くAI)を入れてみたはいいけど、結局何に使うのか分からず放置してる。そういう人は多いと思う。「動いた、すごい」で満足して、そのままになりがちなんだよね。

結論 ローカルLLMが得意なのは「機密・大量・オフライン・課金ゼロ」。自分のファイルへの質問(RAG)・コード補助・要約翻訳・画像の読み取りなどに使える。実用の底は7〜8Bクラス(メモリ16GBが目安)。最高品質の一発や自律エージェントはクラウドの方が上。

目次 / INDEX

まず、必要メモリの早見表

ローカルLLMは「モデルの大きさ(パラメータ数)」でだいたい必要なメモリが決まる。モデルの大きさは「3B」「8B」のようにB(10億個)の単位で表される。

そのままだと重いので、量子化(数値を粗くしてファイルを小さくする圧縮のこと)した状態で動かすのが普通で、いま標準なのは「Q4」という4bit量子化だ。その前提での目安がこれ。

モデルの大きさ Q4での容量 必要メモリの目安 だいたい何ができるか
3Bクラス 約2GB メモリ8GBのPC / 8GBのMacでも可 要約・翻訳・整形・簡単な分類。会話の賢さは限定的
7〜8Bクラス 約5GB VRAM 8GB / 統合メモリ16GB ここが実用の底。RAG・コード相談・日常のQ&A
12〜14Bクラス 約8GB VRAM 12GB / 統合メモリ16〜24GB 指示の理解が一段しっかり。翻訳・要約の質が上がる
27〜32Bクラス 約19GB VRAM 24GB / 統合メモリ32GB クラウドの下位モデルに肉薄。コードもかなり戦える

「VRAM」はグラフィックボード(GPU)の専用メモリ、「統合メモリ」はApple SiliconのMacがCPUとGPUで共有しているメモリのこと。Macは総メモリの7割くらいをAIに回せるイメージなので、16GBのMacなら8Bが快適、32GBなら27Bも動く、という感じになる。

このメモリの話は、そのままPC選び・Mac選びに直結する。どれくらい積むべきかは別記事で実測を含めて詳しくまとめた。

関連記事 大学生のローカルLLM|メモリは16GBで足りる?それとも32GB? 結局メモリはどれくらい積めばいいのか、用途別の目安を実測でまとめた。 読む →

入口になるツールは、だいたいこの3つ

使い道の前に、道具を先に。ローカルLLM界隈のツールは山ほどあるけど、入口は実質この3つで足りる。

  • Ollama:一番の土台。ollama pull(モデルを落とす)と ollama run(動かす)だけで使える。他の多くのツールが裏でこれを使っている。まず入れるべきはこれ。
  • LM Studio:全部を画面(GUI)で完結したい人向け。モデル探し・チャット・PDFへの質問・APIサーバーまで全部入り。Macだと「MLX」(Apple Silicon向けに最適化された計算の仕組み)で速く動く。
  • Open WebUI / AnythingLLM:どちらもOllamaに繋いで使うWeb画面だ。AnythingLLMは文書への質問が主役で、初期設定なしで使えてワークスペースも分けられる。Open WebUIはまずチャット画面として使い、文書機能を後付けできる。

コマンドが苦手なら LM Studio 一本が一番つまずかない。慣れてるなら Ollama を土台にして必要な画面を足していく形がいい。では、具体的な使い道に入る。

7つの使い道を一覧で

使い道 向くモデル 必要メモリの目安
手元のPDFやノートに質問する(RAG) qwen3:8b+nomic-embed-text 統合16GB / VRAM 8GB
コードの相談と補完 Qwen2.5-Coder(1.5b〜32b) 補完は8GB機・相談は16GBが下限
要約・翻訳・下書き qwen3:7b・gemma3:4b・gemma3:12b・qwen3:14b 3〜4Bは8GB機・12〜14Bは16〜24GB
外に出したくない文章を扱う 上の3つと同じ 同上
オフラインで、回数を気にせず回す 小さめで速い3〜8B 8〜16GB
道具を使わせる簡単な自動化 Qwen3系 7〜8B以上 16GBが下限
画像やスクショを読ませる qwen2.5vl・gemma3・moondream :3bで4〜8GB・:7bでVRAM 8GB

手元のPDFやノートに質問する(RAG)

手元のPDFやノートを読み込ませて、「この資料のどこに〇〇が書いてある?」と自然な言葉で聞ける。答えの根拠になった箇所も示してくれる。

この仕組みを「RAG」と呼ぶ(自分の文書を検索して、それを見ながらAIが答える方式、くらいの理解でいい)。

組み合わせ方

  • 文書への質問が主役なら AnythingLLM が分かりやすい。「税務」「講義」みたいにワークスペースを分けられて、面倒な初期設定なしで使える
  • 答えを作るモデルは Ollama の qwen3:8b
  • 文書を検索用に変換する埋め込みモデルは nomic-embed-text。この2つを組ませるのが定番
  • すでにチャット画面として Open WebUI を使ってるなら、そこに文書機能を後付けでもいい
  • とにかく手軽にやりたいなら、LM Studio にPDFを添付するだけでも動く

メモリは、答えを作る7〜8Bが主役(統合16GB / VRAM 8GB)。埋め込みモデルは軽いので誤差だ。

契約書や個人的なノートみたいに、外に出したくない文書は迷わずローカル。逆に、公開情報を高精度で要約したいだけならクラウドの方が賢い。

コードの相談と補完

チャットでのコード生成・説明・デバッグに加えて、エディタでのタブ補完(書きかけの続きをAIが提案するやつ)までローカルでできる。コードは Qwen2.5-Coder 系が本命で、やることに合わせて大きさを変える。

やること モデル 必要メモリ
軽いタブ補完 qwen2.5-coder:1.5b 1.5〜3Bなので8GB機でも動く
まともなチャット相談・編集 qwen2.5-coder:7b 16GBが下限
質を求める 14〜32B(qwen2.5-coder:32bまで) :32bはVRAM 24GB / Mac 32GB

エディタ連携の道具

  • VS Codeなら Cline。ファイルをまたいで編集してくれる
  • 同じくVS Codeの Twinny。ローカルモデルを使う軽量な拡張で、Ollama前提
  • エディタ本体でいくなら Zed。VS Codeの代わりになるエディタで、Ollama接続が最初から入っている
  • ターミナル派には aider。ターミナルで動き、gitと連携するAIコーディングツール
  • 長く定番だった Continue.dev は2026年に別会社に買収されて縮小方向。新しく選ぶなら上の代替が無難

現実解はハイブリッドだ。ルーチンの補完はローカルのQwen、難しい設計や大規模なリファクタはクラウドのClaudeやGPTに投げる。ローカル単独が輝くのは「オフラインの機内」「コードを絶対に外に出せない案件」だ。

要約・翻訳・下書き

長文の要約、外に出したくない文章の清書、日英・日中の翻訳、定型メールの下書き。このあたりが守備範囲だ。

目的 モデル
翻訳を1モデルでこなす qwen3:7b(多言語対応で日本語も強い)
とにかく軽く速く整形・要約 gemma3:4b
質を上げる gemma3:12b・qwen3:14b。要約の粒度指定などがしっかり効くようになる
  • 短文の整形・翻訳は3〜4B(8GB機)で十分
  • 長文要約の質を求めるなら12〜14B(16〜24GB)
  • 翻訳の「最後の精度」はまだクラウド(ClaudeやDeepL)が上
  • ただし「大量処理・私的データ・従量課金の回避」が揃うとローカルが現実解になる

外に出したくない文章を扱う

推論が全部手元で完結するので、入力した文章が一切ネットに出ない。クラウドは「学習には使わない」と規約に書いてあっても、“物理的に送っていない”という安心はローカルでしか得られない。機微な情報や、NDA(秘密保持契約)のあるコードなんかが典型だ。

ここまでに出たツール(Ollama / LM Studio / AnythingLLM)は全部ローカル完結。Ollamaは初期状態だと自分のPCの中(localhost)でしか動かず、外に送らない。

注意点として、Web検索プラグインなどを足すと、そこから外部に問い合わせが出る。「完全にローカルで」を守るなら、後から足す機能の通信先だけ気にすればいい。

オフラインで、回数を気にせず回す

  • ネットのない場所(機内・電波の悪い所)で使う
  • 何万回叩いても電気代だけ、という強みを活かして、大量のデータ整形や分類をバッチで回す

一度モデルをollama pullしておけば、以降はオフラインで動く。OllamaもLM Studioも「OpenAI互換API」(OpenAIに送るのと同じ形式で命令を受け付ける窓口)を立てている。

だから、OpenAI向けに書いた自作スクリプトの接続先を差し替えるだけで、ローカルモデルに切り替えられる。ここが、課金を気にせず回せる肝になる。

常時回すバッチなら速度が効くので、少し小さめで速い3〜8Bが実務的。単発の高品質より「回数・常時稼働」が価値になる場面がローカルの独壇場で、逆に「月に数回、最高品質で」ならクラウド従量の方が安い。

道具を使わせる簡単な自動化

AIに「天気を取ってきて整形」みたいな道具(関数)を使わせる使い方。Ollamaは関数呼び出しに正式対応していて、自作の関数をAIに選ばせて実行できる。ローカルで一番安定して道具を使えるのは Qwen3系で、実用にするなら7〜8B(16GB)が下限、14B以上あると取りこぼしが減る。

5ステップ以上の長い自動処理は、途中で脱線したり引数を間違えたりしやすい。「自律的に長時間、勝手に完遂」はまだ信頼性が足りないので、要所で人が確認する”半自動”が現実的な使い方になる。

画像やスクショを読ませる

画像に質問する、スクショや書類のOCR(文字起こし)、図表や手書きの読み取り。モデルはこの3つ。

  • qwen2.5vl(:3b/:7b/:32b)はOCRや帳票の読み取りに強い
  • gemma3 はテキストも画像も扱える汎用
  • moondream は超軽量でCPUでも動く。お試しやスクショOCRに向く

手順はこれだけ。

bash
ollama pull qwen2.5vl:7b
ollama run qwen2.5vl:7b "この請求書の合計金額と日付を抜き出して" --image invoice.png

メモリはqwen2.5vl:3bなら4〜8GB、:7b級で8GB VRAM。画像は文字より少しメモリを食うので、同じ大きさでも重めに見ておく。

まず何から試すか

1つだけ選ぶなら、ollama pull qwen3:8b を入れて、LM Studio か Open WebUI でチャットするところから。メモリ16GBあれば動いて、汎用チャット・要約・翻訳・簡単なコード相談まで、“実用の底”を一通り体験できる。画面で完結したいなら LM Studio 一本が一番つまずかない。

そこから「文書への質問を本格化するならAnythingLLM」「コードならQwen2.5-Coder+Cline」「画像ならqwen2.5vl」と枝を伸ばしていくのが王道だ。まだ環境が無いなら、入れ方はこっちにまとめてある。

関連記事 Mac版Ollama最短入門|大学生が10分で始める手順 まだ入れてないなら、まずここから。10分でローカルLLMが動く。 読む →

ローカルLLMが向かない・クラウドの方がいい場面(正直に)

いいことばかり書いても仕方ないので、向かない場面も正直に。

  • とにかく最高品質の一発が欲しい:緻密な長文推論・難しい翻訳・複雑なコードの一発生成は、クラウド上位モデル(Claude / GPT)がまだ明確に上。ローカル32Bでも届かない領域がある。
  • 自律的に長く走らせたい:多段の自動処理の信頼性はクラウドが上。ローカルは半自動が現実。
  • マシンが非力(メモリ8GB以下・GPUなしの古いPC):動くのは3Bまでで、体感は”それなり”。無理して使うより素直にクラウド。
  • たまにしか使わない:月に数回なら、電気代やメモリ投資よりクラウド従量の方が安くて速い。
  • 最新の情報が要る:ローカルモデルの知識は学習時点で止まっている。時事や最新の仕様はWeb検索付きのクラウドが有利。

まとめると、「機密・大量・オフライン・課金ゼロ」がローカルの勝ち筋、「最高品質・自律エージェント・たまに使う」がクラウドの勝ち筋。この線引きさえ分かっていれば、放置してたモデルにもちゃんと居場所ができると思う。まず1個、自分の用途に一番近いところで試すのが早い。

よくある質問

ローカルLLMを動かすのに必要なメモリはどれくらい?

用途とモデルの大きさによる。要約や翻訳など軽い用途なら3Bクラス(メモリ8GB程度)、RAGやコード相談など"実用の底"は7〜8Bクラス(16GBの統合メモリ、またはVRAM 8GB)が目安。大きいモデルほど賢いが、より多くのメモリが要る。

ローカルLLMは具体的に何に使える?

自分のファイルへの質問(RAG)、コードの相談・補完、要約や翻訳、外に出したくない文章の処理、オフラインや大量処理、画像の読み取りなど。機密・大量・オフライン・課金ゼロが得意分野。

ローカルLLMとClaudeやChatGPTはどっちがいい?

使い分け。最高品質の一発や、自律的に長く走るエージェントはクラウドが上。逆に、機密データ・大量処理・オフライン・従量課金を避けたい場面ではローカルが有利。ハイブリッドが現実解。

次に読むなら

Whisper+Ollamaで議事録を完全ローカル化使い道の最初の1つに、議事録のローカル化を読む →