Wo befindet sich der Modellpfad von Ollama unter Ubuntu?

/usr/share/ollama/.ollama/models

Wo befindet sich der Speicherort von Ollama-Modellen unter Windows?

C:\Users%username%.ollama\models

Wo speichert Ollama Modelle auf Ubuntu-basierten Systemen?

Der Ollama-Modellpfad unter Ubuntu lautet /usr/share/ollama/.ollama/models

Wo speichert Ollama Modelle unter Windows?

Der Speicherort für Ollama-Modelle unter Windows lautet C:\Users%username%.ollama\models

Wo kann ich über Alternativen zu Ollama für lokale LLMs lesen?

Der Überblick über LLM-Hosting vergleicht Ollama, vLLM, LocalAI, Docker Model Runner und Cloud-Optionen.

Ollama-Modelle an einen anderen Speicherort verschieben

Q: Wie verhält sich Ollama zu anderen Methoden zur Bereitstellung von LLMs?

Unser LLM-Hosting-Guide vergleicht Ollama mit vLLM, Docker Model Runner, LocalAI und Cloud-Anbietern, einschließlich der Trade-offs bei Kosten und Infrastruktur.

Die LLM-Modelldateien von Ollama nehmen viel Speicherplatz in Anspruch.

Inhaltsverzeichnis

Nach der Installation von Ollama ist es besser, Ollama sofort so neu zu konfigurieren, dass die Modelle im neuen Speicherort abgelegt werden. So werden neue Modelle nach dem Herunterladen nicht mehr im alten Speicherort gespeichert.

Schlauer Llama im Hut tut etwas im Serverraum

Über Ollama

Ollama ist ein textbasiertes Frontend für LLM-KI-Modelle und eine API, die diese auch hosten kann. Für einen breiteren Vergleich von Ollama mit vLLM, Docker Model Runner, LocalAI und Cloud-Anbietern – einschließlich der Abwägungen zwischen Kosten und Infrastruktur – siehe LLM-Hosting: Lokale, selbst gehostete und Cloud-Infrastruktur im Vergleich.

Ollama installieren

Gehen Sie zu https://ollama.com/download

Um Ollama unter Linux zu installieren:

curl -fsSL https://ollama.com/install.sh | sh

Ollama für Windows finden Sie auf der Seite: https://ollama.com/download/windows Ollama für Mac gibt es dort ebenfalls: https://ollama.com/download/macOllamaSetup.exe

Ollama-Modelle herunterladen, auflisten und entfernen

Um einige Ollama-Modelle herunterzuladen: Gehen Sie zur Ollama-Bibliothek (https://ollama.com/library) und suchen Sie nach dem gewünschten Modell. Dort finden Sie auch Modell-Tags und Größen.

Führen Sie dann aus:

ollama pull gemma2:latest

# Oder ein etwas klügeres Modell, das immer noch gut in 16 GB VRAM passt:
ollama pull gemma2:27b-instruct-q3_K_S

# Oder: 
ollama pull llama3.1:latest
ollama pull llama3.1:8b-instruct-q8_0
ollama pull mistral-nemo:12b-instruct-2407-q6_K
ollama pull mistral-small:22b-instruct-2409-q4_0
ollama pull phi3:14b-medium-128k-instruct-q6_K
ollama pull qwen2.5:14b-instruct-q5_0

Um die Modelle zu prüfen, die Ollama im lokalen Repository hat:

ollama list

Für den restlichen Befehlssatz des Alltags – Modellausführung, Stoppen und die Umgebungsvariablen von ollama serve – siehe das Ollama-CLI-Spickzettel.

Um ein ungewünschtes Modell zu entfernen:

ollama rm qwen2:7b-instruct-q8_0 # zum Beispiel

Speicherort der Ollama-Modelle

Standardmäßig werden die Modelldateien wie folgt gespeichert:

Windows: C:\Users%username%.ollama\models
Linux: /usr/share/ollama/.ollama/models
macOS: ~/.ollama/models

Das gleiche Speicherproblem tritt auf, wenn Ollama in Containern ausgeführt wird: Sie möchten, dass Modelle und Serverzustand auf einem benannten Volumen oder Bind-Mount liegen (und optional OLLAMA_MODELS, wenn das Layout vom Standardpfad /root/.ollama im offiziellen Image abweichen soll). Für ein vollständiges Compose-Layout mit GPU-Reservierung, OLLAMA_HOST, Upgrades und Rollback-Mustern siehe Ollama in Docker Compose mit GPU und dauerhaftem Modell-Speicher.

Ollama-Modellpfad unter Windows konfigurieren

Um eine Umgebungsvariable unter Windows zu erstellen, können Sie diese Anweisungen befolgen:

Öffnen Sie die Windows-Einstellungen.
Gehen Sie zu System.
Wählen Sie „Info".
Wählen Sie „Erweiterte Systemeinstellungen".
Gehen Sie zum Reiter „Erweitert".
Wählen Sie „Umgebungsvariablen…".
Klicken Sie auf „Neu…".
Und erstellen Sie eine Variable namens OLLAMA_MODELS, die auf den Speicherort für die Modelle zeigt.

Ollama-Modelle unter Linux verschieben

Bearbeiten Sie die systemd-Service-Parameter von ollama:

sudo systemctl edit ollama.service

oder

sudo xed /etc/systemd/system/ollama.service

Dadurch wird ein Editor geöffnet.

Fügen Sie für jede Umgebungsvariable eine Zeile Environment unter der Sektion [Service] hinzu:

[Service]
Environment="OLLAMA_MODELS=/specialplace/ollama/models"

Speichern Sie und beenden Sie.

Es gibt auch die Parameter User und Group; diese müssen auf diesen Ordner zugreifen können.

Laden Sie systemd neu und starten Sie Ollama neu:

sudo systemctl daemon-reload
sudo systemctl restart ollama

Falls etwas schiefgegangen ist:

systemctl status ollama.service
sudo journalctl -u ollama.service

Dateispeicher auf NTFS: Overhead

Bitte beachten Sie, dass Ihre Modelle unter Linux, wenn sie auf einer partitionierten NTFS-Platte gespeichert werden, viel – mehr als 20 % – langsamer geladen werden.

CPU-Verbrauch bei ntfs.mount

Ollama auf Windows in einen bestimmten Ordner installieren

Gemeinsam mit den Modellen:

.\OllamaSetup.exe /DIR=D:\OllamaDir

Ollama-API im internen Netzwerk freigeben

„Intern" bedeutet hier das lokale Netzwerk.

Fügen Sie der Service-Konfiguration hinzu:

[Service]
Environment="OLLAMA_HOST=0.0.0.0"

Das stellt die schlichte HTTP-API in Ihrem Netzwerk bereit. Für automatisiertes HTTPS, korrektes Streaming und WebSocket-Proxying über Caddy oder Nginx sowie Edge-Härtung (Timeouts, Pufferung, optionale Authentifizierung vor der API) verwenden Sie Ollama hinter einem Reverse Proxy mit Caddy oder Nginx für HTTPS-Streaming.

Um Ollama von entfernten Geräten aus zu erreichen, ohne öffentliche Ports zu öffnen, verwenden Sie ein privates Overlay (Tailscale) oder WireGuard; siehe Ferner Ollama-Zugriff über Tailscale oder WireGuard, ohne öffentliche Ports.

Um zu sehen, wie Ollama zu anderen lokalen und Cloud-LLM-Optionen passt, lesen Sie unseren Leitfaden LLM-Hosting: Lokale, selbst gehostete und Cloud-Infrastruktur im Vergleich.