16GB VRAM搭載GPU上でOllamaのLLM性能を比較

ローカルで大型言語モデル（LLM）を動作させることで、プライバシー、オフライン対応、そしてAPIコストのゼロ化が実現できます。 このベンチマークでは、RTX 4080上でOllamaを利用した14の人気 LLMs on Ollama on an RTX 4080 の性能を正確に示しています。

16GBのVRAMを備えたGPUでは、常にトレードオフに直面しました。 品質が向上する可能性のある大きなモデルか、推論が速い小さなモデルか。 LLMの性能（スループットとレイテンシの関係、VRAMの限界、並列リクエスト、ランタイム横断のベンチマーク）について詳しくは、LLM Performance: Benchmarks, Bottlenecks & Optimization をご覧ください。

本記事はOllamaに焦点を当てています。同じ16 GBクラスのGPUで、19K、32K、64Kコンテキストに対して llama.cpp で測定したデータ（VRAM、GPU負荷、denseおよびMoEチェックポイントでの毎秒トークン数）については、16 GB VRAM LLM benchmarks with llama.cpp (speed and context) を参照してください。

スループットとVRAMの割り当てが許容範囲に見えるようになったとしても、エージェント型のワークロードには、QwenやGmaスタック向けに合理的なtemperatureやpenaltyの設定が必要です。詳細は agentic inference parameters for Qwen and Gemma をご覧ください。

要点まとめ (TL;DR)

以下は、Ollama 0.17.7を使用し、RTX 4080 16GBでのLLM性能の更新済み比較テーブルです。 (2026年3月9日) Qwen 3.5 9b、9bq8、27bおよび35bモデルを追加しました：

重要な洞察: VRAMに完全に収まるモデルは、はるかに高速です。GPT-OSS 20Bは139.93 tokens/secを達成しますが、CPUオフロードが重度であるGPT-OSS 120Bは12.64 tokens/secと遅く、11倍の速度差が生じます。

テストハードウェア構成

このベンチマークは、以下のシステムで実施されました：

• GPU: NVIDIA RTX 4080 (16GB VRAM搭載)
• CPU: Intel Core i7-14700 (8 Pコア + 12 Eコア)
• RAM: 64GB DDR5-6000

これは、ローカルLLM推論のための一般的なハイエンドの消費者向け構成です。 16GBのVRAMが重要な制約であり、モデルがGPUのみで実行されるのか、CPUオフロードを必要とするのかが決まります。

モデルがVRAM容量を超えた場合、CPU性能がオフロードされたレイヤーの推論速度に直接影響するため、how Ollama uses Intel CPU cores を理解することが重要になります。

このベンチマークの目的

主な目的は、現実的な条件下での推論速度を測定することでした。経験から、Mistral Small 3.2 24Bは言語品質に優れ、Qwen3 14Bは私の特定のユースケースにおいて優れた指示追従能力を持つことはすでに知っていました。

このベンチマークは、実用的な問いに答えます：各モデルはテキスト生成をどのくらいの速度でできるか、そしてVRAMの限界を超えた場合の速度上のペナルティはどれくらいか？

テストパラメータは以下の通りです：

• コンテキストサイズ: 19,000トークン。私のGenerateリクエストにおける平均値です。
• プロンプト: “compare weather and climate between capital cities of australia”（オーストラリアの首都間の天気と気候を比較してください）
• メトリクス: eval rate（生成中の毎秒トークン数）

Ollamaのインストールとバージョン

すべてのテストには、テスト時点の最新リリースであるOllamaバージョン 0.15.2を使用しました。 その後、Qwen3.5モデルを追加するためにOllama v 0.17.7で再実行しました。 このベンチマークで使用されたOllamaコマンドの完全なリファレンスについては、Ollama cheatsheet を参照してください。

LinuxでのOllamaインストールの簡単な復習：

curl -fsSL https://ollama.com/install.sh | sh

インストールを確認する：

ollama --version

スペースの制約により別のドライブにモデルを保存する必要がある場合は、how to move Ollama models to a different drive をチェックしてください。

テスト対象モデル

以下のモデルがアルファベット順でベンチマークされました：

任意のモデルをダウンロードするには：

ollama pull gpt-oss:20b
ollama pull qwen3:14b

CPUオフロードの理解

モデルのメモリ要件が利用可能なVRAMを超えると、OllamaはモデルレイヤーをGPUとシステムRAMの間に自動分配します。出力では、“18%/82% CPU/GPU” といった割合として表示されます。

これはパフォーマンスに大きな影響を与えます。 各トークンの生成には、CPUとGPUメモリ間のデータ転送が必要であり、これはCPUにオフロードされるレイヤーごとに悪化していくボトルネックです。

結果からパターンは明らかです：

• 100% GPUモデル: 61-140 tokens/sec
• 70-82% GPUモデル: 19-51 tokens/sec
• 22% GPU (主にCPU): 12.6 tokens/sec

これが、20Bパラメータのモデルが実際には120Bモデルより11倍高速で動作できる理由を説明しています。複数並列リクエストを処理することを計画している場合、容量計画において how Ollama handles parallel requests を理解することが不可欠になります。上記のCPUオフロード比率は、実際にはKVキャッシュとウェイトの予算管理の問題の裏側です — KV Cache on 16 GB GPUs では、より小さいモデルに切り替えることなく余剰能力を取り戻すための正確な計算と OLLAMA_KV_CACHE_TYPE 設定について解説しています。

詳細なベンチマーク結果

100% GPUで動作するモデル

GPT-OSS 20B — 速度のチャンピオン

ollama run gpt-oss:20b --verbose
/set parameter num_ctx 19000

NAME           SIZE     PROCESSOR    CONTEXT
gpt-oss:20b    14 GB    100% GPU     19000

eval count:           2856 token(s)
eval duration:        20.410517947s
eval rate:            139.93 tokens/s

139.93 tokens/secという速度で、GPT-OSS 20Bは速度が重要なアプリケーションにおいて明確な勝者です。VRAMの使用量はわずか14GBであり、より大きなコンテキストウィンドウや他のGPUワークロードのための余裕を残しています。

Qwen3 14B — 優れたバランス

ollama run qwen3:14b --verbose
/set parameter num_ctx 19000

NAME         SIZE     PROCESSOR    CONTEXT
qwen3:14b    12 GB    100% GPU     19000

eval count:           3094 token(s)
eval duration:        50.020594575s
eval rate:            61.85 tokens/s

私の経験上、Qwen3 14Bは最良の指示追従能力を提供し、12GBという快適なメモリフットプリントを持っています。61.85 tokens/secで、対話的な使用に十分な応答性があります。

アプリケーションへのQwen3統合を行っている開発者の方は、構造化JSONレスポンスの抽出のために、LLM Structured Output with Ollama and Qwen3 を参照してください。

Ministral 3 14B — 高速でコンパクト

ollama run ministral-3:14b --verbose
/set parameter num_ctx 19000

NAME               SIZE     PROCESSOR    CONTEXT
ministral-3:14b    13 GB    100% GPU     19000

eval count:           1481 token(s)
eval duration:        21.11734277s
eval rate:            70.13 tokens/s

Mistralの小型モデルは、VRAMに完全に収まりながら70.13 tokens/secを達成します。最大速度でMistralファミリーの品質が必要な場合の、堅実な選択肢です。

qwen3.5:9b - 速くて新しい

ollama run  qwen3.5:9b --verbose
/set parameter num_ctx 19000
compare weather and climate between capital cities of australia

NAME          ID              SIZE      PROCESSOR    CONTEXT
qwen3.5:9b    6488c96fa5fa    9.3 GB    100% GPU     19000

eval count:           3802 token(s)
eval duration:        41.830174597s
eval rate:            90.89 tokens/s

qwen3.5:9b-q8_0 - q8量子化

この量子化は、q4と比較してqwen3.5:9bの性能を30%低下させます。

ollama run  qwen3.5:9b-q8_0 --verbose
/set parameter num_ctx 19000

compare weather and climate between capital cities of australia
NAME               ID              SIZE     PROCESSOR    CONTEXT
qwen3.5:9b-q8_0    441ec31e4d2a    13 GB    100% GPU     19000

eval count:           3526 token(s)
eval duration:        57.595540159s
eval rate:            61.22 tokens/s

CPUオフロードを必要とするモデル

qwen3-coder:30b - 30b LLMセットで最速（テキストのみであるため）

ollama run qwen3-coder:30b --verbose
/set parameter num_ctx 19000
compare weather and climate between capital cities of australia

NAME               ID              SIZE     PROCESSOR          CONTEXT
qwen3-coder:30b    06c1097efce0    20 GB    25%/75% CPU/GPU    19000
22%/605%

eval count:           559 token(s)
eval duration:        9.77768875s
eval rate:            57.17 tokens/s

Qwen3-VL 30B — 部分オフロード時の最良性能

ollama run qwen3-vl:30b-a3b-instruct --verbose
/set parameter num_ctx 19000

NAME                         SIZE     PROCESSOR          CONTEXT
qwen3-vl:30b-a3b-instruct    22 GB    30%/70% CPU/GPU    19000

eval count:           1450 token(s)
eval duration:        28.439319709s
eval rate:            50.99 tokens/s

レイヤーの30%がCPU上にあるにもかかわらず、Qwen3-VLは50.99 tokens/secを維持しており、100% GPUモデルよりも速い場合さえあります。ビジョン機能は、マルチモーダルタスクにおける汎用性を高めます。

Mistral Small 3.2 24B — 品質と速度のトレードオフ

ollama run mistral-small3.2:24b --verbose
/set parameter num_ctx 19000

NAME                    SIZE     PROCESSOR          CONTEXT
mistral-small3.2:24b    19 GB    18%/82% CPU/GPU    19000

eval count:           831 token(s)
eval duration:        44.899859038s
eval rate:            18.51 tokens/s

Mistral Small 3.2は優れた言語品質を提供しますが、速度に対する厳しいペナルティを支払います。18.51 tokens/secでは、対話的なチャットにおいて明らかに遅く感じられます。レイテンシよりも品質が重要なタスクでは、その価値があります。

GLM 4.7 Flash — MoE思考モデル

ollama run glm-4.7-flash --verbose
/set parameter num_ctx 19000

NAME                 SIZE     PROCESSOR          CONTEXT
glm-4.7-flash        21 GB    27%/73% CPU/GPU    19000

eval count:           2446 token(s)
eval duration:        1m12.239164004s
eval rate:            33.86 tokens/s

GLM 4.7 Flashは、MoE（Mixture of Experts）モデルで、総パラメータ30Bのうち、トークンあたりアクティブなのは3Bのみです。「思考」モデルとして、応答の前に内部的な推論を生成します。33.86 tokens/secには、思考トークンと出力トークンの両方が含まれています。CPUオフロードにもかかわらず、MoEアーキテクチャにより比較的速く保たれています。

qwen3.5:35b - 自己ホスト環境でそこそこの性能を持つ新モデル

ollama run qwen3.5:35b --verbose
/set parameter num_ctx 19000
compare weather and climate between capital cities of australia

NAME           ID              SIZE     PROCESSOR          CONTEXT
qwen3.5:35b    4af949f8bdf0    27 GB    43%/57% CPU/GPU    19000

eval count:           3418 token(s)
eval duration:        2m45.458926548s
eval rate:            20.66 tokens/s

GPT-OSS 120B — 重量級

ollama run gpt-oss:120b --verbose
/set parameter num_ctx 19000

NAME            SIZE     PROCESSOR          CONTEXT
gpt-oss:120b    66 GB    78%/22% CPU/GPU    19000

eval count:           5008 token(s)
eval duration:        6m36.168233066s
eval rate:            12.64 tokens/s

16GB VRAMで120Bモデルを動作させることは技術的に可能ですが、苦痛を伴います。78%がCPU上で動作するため、12.64 tokens/secでは対話的な使用は frustrate（不満）を覚えます。レイテンシが重要でないバッチ処理に適しています。

qwen3.5:27b - スマートだがOllama上では遅い

ollama run qwen3.5:27b --verbose
/set parameter num_ctx 19000
compare weather and climate between capital cities of australia

NAME           ID              SIZE     PROCESSOR          CONTEXT
qwen3.5:27b    193ec05b1e80    24 GB    43%/57% CPU/GPU    19000

eval count:           3370 token(s)
eval duration:        8m40.087510281s
eval rate:            6.48 tokens/s

qwen3.5:27b をテストし、OpenCodeでのこのモデルの性能に対して非常に良い印象を持ちました。 非常に高機能で、知識も豊富で、ツール呼び出しが本当に優秀ですが、私のマシンでは Ollama上 で遅いです。 他のLLM自己ホスティングプラットフォームを試してみましたが、はるかに高速な速度を得られました。 Ollamaを見放す時期が来たと考えています。 少し後にそのことについて記事を書きます。

実用的な推奨事項

対話型チャット用

VRAMに100%収まるモデルを使用してください：

1. GPT-OSS 20B — 最大速度 (139.93 t/s)
2. Ministral 3 14B — Mistralの品質で良い速度 (70.13 t/s)
3. Qwen3 14B — 最良の指示追従 (61.85 t/s)

より良いチャット体験のために、Open-Source Chat UIs for local Ollama を検討してください。

バッチ処理用

これは再度、私の環境 - 14GB VRAMでの話です。

速度があまり重要でない場合：

• Mistral Small 3.2 24B — 優れた言語品質
• Qwen3-VL 30B — ビジョン + テキスト機能

速度が全く重要でない場合：

• Qwen3.5:35b - 優れたコーディング能力
• Qwen3.5:27b - 非常に優秀だがOllama上では遅い。ただし、llama.cpp上でこのモデルをホストしてかなり成功しました。

開発とコーディング用

Ollamaを使用してアプリケーションを構築している場合：

• Python統合の例
• Go SDKの比較

代替ホスティングオプション

Ollamaの制限が懸念される場合（Ollama enshittification concerns を参照）、Local LLM Hosting Guide で他のオプションを探るか、Docker Model Runner vs Ollama を比較してください。

結論

16GB VRAMを使用することで、賢く選べば、優れたLLMを印象的な速度で実行できます。主要な発見：

1. 対話的な使用には VRAMの限界内に留まること。多くの実用的な目的において、12 tokens/secの120Bモデルよりも、140 tokens/secの20Bモデルの方が優れています。

2. GPT-OSS 20B は純粋な速度で勝利しますが、Qwen3 14B は指示追従タスクにおいて速度と能力の最良のバランスを提供します。

3. CPUオフロードは機能しますが、3-10倍の速度低下を期待してください。バッチ処理では許容範囲ですが、チャットでは不満を覚えます。

4. コンテキストサイズが重要です。 ここで使用した19Kコンテキストは、VRAMの使用量を大幅に増加させます。より良いGPU利用のためにコンテキストを削減してください。

ローカルLLMとWeb検索結果を組み合わせたAI駆動の検索については、self-hosting Perplexica with Ollama を参照してください。

さらに多くのベンチマーク、VRAMとスループットのトレードオフ、Ollamaおよび他のランタイム横断の性能チューニングを探索するには、私たちのハブ LLM Performance: Benchmarks, Bottlenecks & Optimization をチェックしてください。

有用なリンク

内部リソース

• Ollama cheatsheet: Most useful Ollama commands
• How Ollama Handles Parallel Requests
• How Ollama is using Intel CPU Performance and Efficient Cores
• Local LLM Hosting: Complete 2026 Guide - Ollama, vLLM, LocalAI, Jan, LM Studio & More

外部リファレンス

• Ollama Official Documentation
• Ollama GitHub Repository
• Qwen3 Model Family
• Mistral AI Models
• NVIDIA CUDA Toolkit