ローカルLLMは何に使える?実用的な使い道7つと必要なメモリ(16GBが目安)
ローカルLLM(自分のPCやMacの中だけで動くAI)を入れてみたはいいけど、結局何に使うのか分からず放置してる。そういう人は多いと思う。「動いた、すごい」で満足して、そのままになりがちなんだよね。
結論 ローカルLLMが得意なのは「機密・大量・オフライン・課金ゼロ」。自分のファイルへの質問(RAG)・コード補助・要約翻訳・画像の読み取りなどに使える。実用の底は7〜8Bクラス(メモリ16GBが目安)。最高品質の一発や自律エージェントはクラウドの方が上。
目次 / INDEX
まず、必要メモリの早見表
ローカルLLMは「モデルの大きさ(パラメータ数)」でだいたい必要なメモリが決まる。モデルの大きさは「3B」「8B」のようにB(10億個)の単位で表される。
そのままだと重いので、量子化(数値を粗くしてファイルを小さくする圧縮のこと)した状態で動かすのが普通で、いま標準なのは「Q4」という4bit量子化だ。その前提での目安がこれ。
| モデルの大きさ | Q4での容量 | 必要メモリの目安 | だいたい何ができるか |
|---|---|---|---|
| 3Bクラス | 約2GB | メモリ8GBのPC / 8GBのMacでも可 | 要約・翻訳・整形・簡単な分類。会話の賢さは限定的 |
| 7〜8Bクラス | 約5GB | VRAM 8GB / 統合メモリ16GB | ここが実用の底。RAG・コード相談・日常のQ&A |
| 12〜14Bクラス | 約8GB | VRAM 12GB / 統合メモリ16〜24GB | 指示の理解が一段しっかり。翻訳・要約の質が上がる |
| 27〜32Bクラス | 約19GB | VRAM 24GB / 統合メモリ32GB | クラウドの下位モデルに肉薄。コードもかなり戦える |
「VRAM」はグラフィックボード(GPU)の専用メモリ、「統合メモリ」はApple SiliconのMacがCPUとGPUで共有しているメモリのこと。Macは総メモリの7割くらいをAIに回せるイメージなので、16GBのMacなら8Bが快適、32GBなら27Bも動く、という感じになる。
このメモリの話は、そのままPC選び・Mac選びに直結する。どれくらい積むべきかは別記事で実測を含めて詳しくまとめた。
関連記事 大学生のローカルLLM|メモリは16GBで足りる?それとも32GB? 結局メモリはどれくらい積めばいいのか、用途別の目安を実測でまとめた。 読む →入口になるツールは、だいたいこの3つ
使い道の前に、道具を先に。ローカルLLM界隈のツールは山ほどあるけど、入口は実質この3つで足りる。
- Ollama:一番の土台。
ollama pull(モデルを落とす)とollama run(動かす)だけで使える。他の多くのツールが裏でこれを使っている。まず入れるべきはこれ。 - LM Studio:全部を画面(GUI)で完結したい人向け。モデル探し・チャット・PDFへの質問・APIサーバーまで全部入り。Macだと「MLX」(Apple Silicon向けに最適化された計算の仕組み)で速く動く。
- Open WebUI / AnythingLLM:どちらもOllamaに繋いで使うWeb画面だ。AnythingLLMは文書への質問が主役で、初期設定なしで使えてワークスペースも分けられる。Open WebUIはまずチャット画面として使い、文書機能を後付けできる。
コマンドが苦手なら LM Studio 一本が一番つまずかない。慣れてるなら Ollama を土台にして必要な画面を足していく形がいい。では、具体的な使い道に入る。
7つの使い道を一覧で
| 使い道 | 向くモデル | 必要メモリの目安 |
|---|---|---|
| 手元のPDFやノートに質問する(RAG) | qwen3:8b+nomic-embed-text |
統合16GB / VRAM 8GB |
| コードの相談と補完 | Qwen2.5-Coder(1.5b〜32b) |
補完は8GB機・相談は16GBが下限 |
| 要約・翻訳・下書き | qwen3:7b・gemma3:4b・gemma3:12b・qwen3:14b |
3〜4Bは8GB機・12〜14Bは16〜24GB |
| 外に出したくない文章を扱う | 上の3つと同じ | 同上 |
| オフラインで、回数を気にせず回す | 小さめで速い3〜8B | 8〜16GB |
| 道具を使わせる簡単な自動化 | Qwen3系 7〜8B以上 | 16GBが下限 |
| 画像やスクショを読ませる | qwen2.5vl・gemma3・moondream |
:3bで4〜8GB・:7bでVRAM 8GB |
手元のPDFやノートに質問する(RAG)
手元のPDFやノートを読み込ませて、「この資料のどこに〇〇が書いてある?」と自然な言葉で聞ける。答えの根拠になった箇所も示してくれる。
この仕組みを「RAG」と呼ぶ(自分の文書を検索して、それを見ながらAIが答える方式、くらいの理解でいい)。
組み合わせ方
- 文書への質問が主役なら AnythingLLM が分かりやすい。「税務」「講義」みたいにワークスペースを分けられて、面倒な初期設定なしで使える
- 答えを作るモデルは Ollama の
qwen3:8b - 文書を検索用に変換する埋め込みモデルは
nomic-embed-text。この2つを組ませるのが定番 - すでにチャット画面として Open WebUI を使ってるなら、そこに文書機能を後付けでもいい
- とにかく手軽にやりたいなら、LM Studio にPDFを添付するだけでも動く
メモリは、答えを作る7〜8Bが主役(統合16GB / VRAM 8GB)。埋め込みモデルは軽いので誤差だ。
契約書や個人的なノートみたいに、外に出したくない文書は迷わずローカル。逆に、公開情報を高精度で要約したいだけならクラウドの方が賢い。
コードの相談と補完
チャットでのコード生成・説明・デバッグに加えて、エディタでのタブ補完(書きかけの続きをAIが提案するやつ)までローカルでできる。コードは Qwen2.5-Coder 系が本命で、やることに合わせて大きさを変える。
| やること | モデル | 必要メモリ |
|---|---|---|
| 軽いタブ補完 | qwen2.5-coder:1.5b |
1.5〜3Bなので8GB機でも動く |
| まともなチャット相談・編集 | qwen2.5-coder:7b |
16GBが下限 |
| 質を求める | 14〜32B(qwen2.5-coder:32bまで) |
:32bはVRAM 24GB / Mac 32GB |
エディタ連携の道具
- VS Codeなら Cline。ファイルをまたいで編集してくれる
- 同じくVS Codeの Twinny。ローカルモデルを使う軽量な拡張で、Ollama前提
- エディタ本体でいくなら Zed。VS Codeの代わりになるエディタで、Ollama接続が最初から入っている
- ターミナル派には aider。ターミナルで動き、gitと連携するAIコーディングツール
- 長く定番だった Continue.dev は2026年に別会社に買収されて縮小方向。新しく選ぶなら上の代替が無難
現実解はハイブリッドだ。ルーチンの補完はローカルのQwen、難しい設計や大規模なリファクタはクラウドのClaudeやGPTに投げる。ローカル単独が輝くのは「オフラインの機内」「コードを絶対に外に出せない案件」だ。
要約・翻訳・下書き
長文の要約、外に出したくない文章の清書、日英・日中の翻訳、定型メールの下書き。このあたりが守備範囲だ。
| 目的 | モデル |
|---|---|
| 翻訳を1モデルでこなす | qwen3:7b(多言語対応で日本語も強い) |
| とにかく軽く速く整形・要約 | gemma3:4b |
| 質を上げる | gemma3:12b・qwen3:14b。要約の粒度指定などがしっかり効くようになる |
- 短文の整形・翻訳は3〜4B(8GB機)で十分
- 長文要約の質を求めるなら12〜14B(16〜24GB)
- 翻訳の「最後の精度」はまだクラウド(ClaudeやDeepL)が上
- ただし「大量処理・私的データ・従量課金の回避」が揃うとローカルが現実解になる
外に出したくない文章を扱う
推論が全部手元で完結するので、入力した文章が一切ネットに出ない。クラウドは「学習には使わない」と規約に書いてあっても、“物理的に送っていない”という安心はローカルでしか得られない。機微な情報や、NDA(秘密保持契約)のあるコードなんかが典型だ。
ここまでに出たツール(Ollama / LM Studio / AnythingLLM)は全部ローカル完結。Ollamaは初期状態だと自分のPCの中(localhost)でしか動かず、外に送らない。
注意点として、Web検索プラグインなどを足すと、そこから外部に問い合わせが出る。「完全にローカルで」を守るなら、後から足す機能の通信先だけ気にすればいい。
オフラインで、回数を気にせず回す
- ネットのない場所(機内・電波の悪い所)で使う
- 何万回叩いても電気代だけ、という強みを活かして、大量のデータ整形や分類をバッチで回す
一度モデルをollama pullしておけば、以降はオフラインで動く。OllamaもLM Studioも「OpenAI互換API」(OpenAIに送るのと同じ形式で命令を受け付ける窓口)を立てている。
だから、OpenAI向けに書いた自作スクリプトの接続先を差し替えるだけで、ローカルモデルに切り替えられる。ここが、課金を気にせず回せる肝になる。
常時回すバッチなら速度が効くので、少し小さめで速い3〜8Bが実務的。単発の高品質より「回数・常時稼働」が価値になる場面がローカルの独壇場で、逆に「月に数回、最高品質で」ならクラウド従量の方が安い。
道具を使わせる簡単な自動化
AIに「天気を取ってきて整形」みたいな道具(関数)を使わせる使い方。Ollamaは関数呼び出しに正式対応していて、自作の関数をAIに選ばせて実行できる。ローカルで一番安定して道具を使えるのは Qwen3系で、実用にするなら7〜8B(16GB)が下限、14B以上あると取りこぼしが減る。
5ステップ以上の長い自動処理は、途中で脱線したり引数を間違えたりしやすい。「自律的に長時間、勝手に完遂」はまだ信頼性が足りないので、要所で人が確認する”半自動”が現実的な使い方になる。
画像やスクショを読ませる
画像に質問する、スクショや書類のOCR(文字起こし)、図表や手書きの読み取り。モデルはこの3つ。
qwen2.5vl(:3b/:7b/:32b)はOCRや帳票の読み取りに強いgemma3はテキストも画像も扱える汎用moondreamは超軽量でCPUでも動く。お試しやスクショOCRに向く
手順はこれだけ。
ollama pull qwen2.5vl:7b
ollama run qwen2.5vl:7b "この請求書の合計金額と日付を抜き出して" --image invoice.pngメモリはqwen2.5vl:3bなら4〜8GB、:7b級で8GB VRAM。画像は文字より少しメモリを食うので、同じ大きさでも重めに見ておく。
まず何から試すか
1つだけ選ぶなら、ollama pull qwen3:8b を入れて、LM Studio か Open WebUI でチャットするところから。メモリ16GBあれば動いて、汎用チャット・要約・翻訳・簡単なコード相談まで、“実用の底”を一通り体験できる。画面で完結したいなら LM Studio 一本が一番つまずかない。
そこから「文書への質問を本格化するならAnythingLLM」「コードならQwen2.5-Coder+Cline」「画像ならqwen2.5vl」と枝を伸ばしていくのが王道だ。まだ環境が無いなら、入れ方はこっちにまとめてある。
関連記事 Mac版Ollama最短入門|大学生が10分で始める手順 まだ入れてないなら、まずここから。10分でローカルLLMが動く。 読む →ローカルLLMが向かない・クラウドの方がいい場面(正直に)
いいことばかり書いても仕方ないので、向かない場面も正直に。
- とにかく最高品質の一発が欲しい:緻密な長文推論・難しい翻訳・複雑なコードの一発生成は、クラウド上位モデル(Claude / GPT)がまだ明確に上。ローカル32Bでも届かない領域がある。
- 自律的に長く走らせたい:多段の自動処理の信頼性はクラウドが上。ローカルは半自動が現実。
- マシンが非力(メモリ8GB以下・GPUなしの古いPC):動くのは3Bまでで、体感は”それなり”。無理して使うより素直にクラウド。
- たまにしか使わない:月に数回なら、電気代やメモリ投資よりクラウド従量の方が安くて速い。
- 最新の情報が要る:ローカルモデルの知識は学習時点で止まっている。時事や最新の仕様はWeb検索付きのクラウドが有利。
まとめると、「機密・大量・オフライン・課金ゼロ」がローカルの勝ち筋、「最高品質・自律エージェント・たまに使う」がクラウドの勝ち筋。この線引きさえ分かっていれば、放置してたモデルにもちゃんと居場所ができると思う。まず1個、自分の用途に一番近いところで試すのが早い。
よくある質問
ローカルLLMを動かすのに必要なメモリはどれくらい?
用途とモデルの大きさによる。要約や翻訳など軽い用途なら3Bクラス(メモリ8GB程度)、RAGやコード相談など"実用の底"は7〜8Bクラス(16GBの統合メモリ、またはVRAM 8GB)が目安。大きいモデルほど賢いが、より多くのメモリが要る。
ローカルLLMは具体的に何に使える?
自分のファイルへの質問(RAG)、コードの相談・補完、要約や翻訳、外に出したくない文章の処理、オフラインや大量処理、画像の読み取りなど。機密・大量・オフライン・課金ゼロが得意分野。
ローカルLLMとClaudeやChatGPTはどっちがいい?
使い分け。最高品質の一発や、自律的に長く走るエージェントはクラウドが上。逆に、機密データ・大量処理・オフライン・従量課金を避けたい場面ではローカルが有利。ハイブリッドが現実解。