Ollama-Modelle an einen anderen Ort verschieben

Ollama LLM-Modelldateien benötigen viel Speicherplatz.

Inhaltsverzeichnis

Nachdem Sie Ollama installiert haben, ist es besser, Ollama direkt so zu konfigurieren, dass die Modelle an einem neuen Ort gespeichert werden. So werden neue Modelle, die Sie herunterladen, nicht mehr an den alten Ort geladen.

Intelligente Llama in Hut macht etwas im Serverraum

Über Ollama

Ollama ist eine textbasierte Oberfläche für LLM-AI-Modelle und eine API, die diese auch hosten kann. Für eine umfassende Vergleichsanalyse von Ollama mit vLLM, Docker Model Runner, LocalAI und Cloud-Anbietern – einschließlich Kosten- und Infrastrukturkompromisse – siehe LLM-Hosting: Lokal, Selbstgehostet & Cloud-Infrastruktur im Vergleich.

Ollama installieren

Gehen Sie zu https://ollama.com/download

Um Ollama unter Linux zu installieren:

curl -fsSL https://ollama.com/install.sh | sh

Ollama unter Windows finden Sie auf der Seite: https://ollama.com/download/windows Für Mac ist Ollama ebenfalls vorhanden: https://ollama.com/download/macOllamaSetup.exe

Ollama-Modelle herunterladen, auflisten und entfernen

Um einige Ollama-Modelle herunterzuladen: Gehen Sie zur Ollama-Bibliothek (https://ollama.com/library) und suchen Sie das benötigte Modell, dort finden Sie auch Modell-Tag und -Größe.

Dann führen Sie Folgendes aus:

ollama pull gemma2:latest

# Oder Sie erhalten eine leicht intelligente Version, die gut in 16 GB VRAM passt:
ollama pull gemma2:27b-instruct-q3_K_S

# Oder:
ollama pull llama3.1:latest
ollama pull llama3.1:8b-instruct-q8_0
ollama pull mistral-nemo:12b-instruct-2407-q6_K
ollama pull mistral-small:22b-instruct-2409-q4_0
ollama pull phi3:14b-medium-128k-instruct-q6_K
ollama pull qwen2.5:14b-instruct-q5_0

Um die Modelle zu überprüfen, die Ollama lokal in der Repository hat:

ollama list

Um ein nicht benötigtes Modell zu entfernen:

ollama rm qwen2:7b-instruct-q8_0 # Beispiel

Ollama-Modell-Ort

Standardmäßig werden die Modell-Dateien gespeichert:

  • Windows: C:\Users%username%.ollama\models
  • Linux: /usr/share/ollama/.ollama/models
  • macOS: ~/.ollama/models

Ollama-Modellpfad unter Windows konfigurieren

Um eine Umgebungsvariable unter Windows zu erstellen, können Sie folgende Schritte befolgen:

  • Öffnen Sie die Windows-Einstellungen.
  • Gehen Sie zu System.
  • Wählen Sie „Über“.
  • Wählen Sie „Erweiterte Systemeinstellungen“.
  • Gehen Sie zum „Erweiterten“ Tab.
  • Wählen Sie „Umgebungsvariablen…“.
  • Klicken Sie auf „Neu…“.
  • Erstellen Sie eine Variable namens OLLAMA_MODELS, die auf den Ort verweist, an dem Sie die Modelle speichern möchten.

Ollama-Modelle unter Linux verschieben

Bearbeiten Sie die Parameter des Ollama systemd-Dienstes:

sudo systemctl edit ollama.service

oder

sudo xed /etc/systemd/system/ollama.service

Dies öffnet einen Editor.

Für jede Umgebungsvariable fügen Sie eine Zeile Environment unter dem Abschnitt [Service] hinzu:

[Service]
Environment="OLLAMA_MODELS=/specialplace/ollama/models"

Speichern Sie und beenden Sie den Editor.

Es gibt auch Parameter für Benutzer und Gruppe, diese müssen Zugriff auf diesen Ordner haben.

Laden Sie systemd neu und starten Sie Ollama neu:

sudo systemctl daemon-reload
sudo systemctl restart ollama

falls etwas schiefgelaufen ist:

systemctl status ollama.service
sudo journalctl -u ollama.service

Speicherung von Dateien auf NTFS-Überlastung

Bitte beachten Sie, dass, wenn Sie Linux verwenden und Ihre Modelle auf einer NTFS-formatierten Partition speichern, Ihre Modelle deutlich – mehr als 20 % – langsamer geladen werden.

ntfs.mount cpu usage

Ollama unter Windows in einen bestimmten Ordner installieren

Zusammen mit den Modellen

.\OllamaSetup.exe /DIR=D:\OllamaDir

Ollama-API innerhalb des internen Netzwerks verfügbar machen

Intern bedeutet hier lokales Netzwerk.

Fügen Sie zur Dienstkonfiguration hinzu:

[Service]
Environment="OLLAMA_HOST=0.0.0.0"

Um zu sehen, wie Ollama mit anderen lokalen und Cloud-LLM-Optionen zusammenpasst, prüfen Sie unseren LLM-Hosting: Lokal, Selbstgehostet & Cloud-Infrastruktur im Vergleich-Leitfaden.