Ollamaモデルの保存場所を変更する

OllamaのLLMモデルファイルは大量のストレージ容量を必要とする

目次

ollama をインストールする 後すぐに、ollama の設定を変更してモデルを新しい場所に保存するように再設定するのが望ましいです。これにより、新しいモデルをプルした際に、古い場所にダウンロードされるのを防ぐことができます。

帽子を被ったスマートなラマがサーバー-room で何かをしています

Ollama について

Ollama は、LLM AI モデル に対するテキストベースのフロントエンドであり、それらをホストするための API です。Ollama と vLLM、Docker Model Runner、LocalAI、クラウドプロバイダーのより広い比較(コストとインフラのトレードオフを含む)については、LLM ホスティング: ローカル、セルフホスト & クラウドインフラ比較 をご覧ください。

Ollama のインストール

https://ollama.com/download へ移動してください。

Linux に Ollama をインストールするには:

curl -fsSL https://ollama.com/install.sh | sh

Windows 用の Ollama は以下のページにあります: https://ollama.com/download/windows Mac 用の Ollama もここにあります: https://ollama.com/download/macOllamaSetup.exe

Ollama モデルのダウンロード、一覧表示、削除

Ollama モデルをダウンロードするには: Ollama ライブラリ (https://ollama.com/library) にアクセスし、必要なモデルを探してください。ここではモデルのタグとサイズも確認できます。

その後、以下を実行します:

ollama pull gemma2:latest

# または、16GB VRAM にすっぽり収まり、少し賢いもの:
ollama pull gemma2:27b-instruct-q3_K_S

# または: 
ollama pull llama3.1:latest
ollama pull llama3.1:8b-instruct-q8_0
ollama pull mistral-nemo:12b-instruct-2407-q6_K
ollama pull mistral-small:22b-instruct-2409-q4_0
ollama pull phi3:14b-medium-128k-instruct-q6_K
ollama pull qwen2.5:14b-instruct-q5_0

ローカルリポジトリに Ollama があるモデルを確認するには:

ollama list

その他の日常のコマンドセット(モデルの実行、停止、および ollama serve の環境変数)については、Ollama CLI チートシート をご覧ください。

不要なモデルを削除するには:

ollama rm qwen2:7b-instruct-q8_0 # 例

Ollama モデルの保存場所

デフォルトでは、モデルファイルは以下の場所に保存されます:

  • Windows: C:\Users%username%.ollama\models
  • Linux: /usr/share/ollama/.ollama/models
  • macOS: ~/.ollama/models

Ollama がコンテナ内で実行される場合も、同様のストレージの問題が生じます。モデルとサーバーの状態は、名前付きボリュームまたはバインドマウントに保存する必要があります(正式イメージのデフォルトの /root/.ollama パスとは異なるレイアウトにする場合は、任意で OLLAMA_MODELS を設定)。GPU の予約、OLLAMA_HOST、アップグレード、ロールバックパターンを含む完全な Compose レイアウトについては、Docker Compose と GPU、永続モデルストレージによる Ollama をご覧ください。

Windows で Ollama モデルパスの設定

Windows で環境変数を作成するには、以下の手順に従ってください:

  • Windows の設定を開く。
  • システムに移動する。
  • 詳細なパソコン情報 を選択
  • 詳細なシステム設定 を選択する。
  • 「詳細」タブに移動する。
  • 「環境変数…」を選択する。
  • 「新規…」をクリックする。
  • OLLAMA_MODELS という名前の変数を作成し、モデルを保存したい場所にポインタを設定する

Linux で Ollama モデルを移動する

ollama の systemd サービスパラメータを編集します

sudo systemctl edit ollama.service

または

sudo xed /etc/systemd/system/ollama.service

これによりエディタが開きます。

各環境変数に対して、セクション [Service] の下に Environment という行を追加します:

[Service]
Environment="OLLAMA_MODELS=/specialplace/ollama/models"

保存して終了します。

また、User と Group パラメータもあり、これらはこのフォルダにアクセスできる必要があります。

systemd を再読み込みし、Ollama を再起動します:

sudo systemctl daemon-reload
sudo systemctl restart ollama

何かが問題を起こした場合

systemctl status ollama.service
sudo journalctl -u ollama.service

NTFS でのファイルストレージのオーバーヘッド

Linux を実行しており、モデルを NTFS フォーマットされたパーティションに保存している場合、モデルの読み込みが 20% 以上遅くなる可能性があることにご注意ください。

ntfs.mount cpu usage

Windows で特定フォルダに Ollama をインストールする

モデルと共に

.\OllamaSetup.exe /DIR=D:\OllamaDir

Ollama API を内部ネットワークに公開する

ここでは「内部」とはローカルネットワークを意味します。

サービス設定に追加します:

[Service]
Environment="OLLAMA_HOST=0.0.0.0"

これにより、ネットワーク上でプレーン HTTP API が公開されます。Caddy または Nginx 経由の自動 HTTPS、正しいストリーミングと WebSocket プロキシング、エッジ強化(タイムアウト、バッファリング、API の前面での任意の認証)については、Caddy または Nginx による HTTPS ストリーミングのためのリバースプロキシ後ろの Ollama を使用してください。

公開ポートを開かずにリモートデバイスから Ollama にアクセスするには、プライベートオーバーレイ(Tailscale)または WireGuard を使用してください。公開ポートなしで Tailscale または WireGuard 経由のリモート Ollama アクセス をご覧ください。

Ollama が他のローカルおよびクラウド LLM オプションとどのように統合されるかを確認するには、私たちの LLM ホスティング: ローカル、セルフホスト & クラウドインフラ比較 ガイドをチェックしてください。

役立つリンク

購読する

システム、インフラ、AIエンジニアリングの新記事をお届けします。