Ollama CLI-Referenzkarte: ls, serve, run, ps + Befehle (Aktualisierung 2026)

Dieser Ollama CLI-Spickzettel konzentriert sich auf die Befehle, die Sie täglich verwenden (ollama ls, ollama serve, ollama run, ollama ps, Modellverwaltung und gängige Workflows), mit kopier- und einfügbaren Beispielen.

Er enthält auch die vollständige Referenz der Umgebungsvariablen für ollama serve (OLLAMA_NUM_PARALLEL, OLLAMA_CONTEXT_LENGTH, OLLAMA_KV_CACHE_TYPE und weitere), die Flags für Denkmodelle (--think, --hidethinking) und die erweiterten ollama launch-Integrationen für KI-Coding-Assistenten. Die unten aufgeführten Befehle und Flags wurden gegen Ollama v0.33.2 (Oktober 2026) verifiziert.

Dieser Ollama-Spickzettel konzentriert sich auf CLI-Befehle, Modellverwaltung und Anpassungsmöglichkeiten, enthält jedoch auch einige curl-Aufrufe.

Für ein Gesamtbild davon, wo Ollama unter den lokalen, selbst gehosteten und Cloud-Optionen einzuordnen ist – einschließlich vLLM, Docker Model Runner, LocalAI und Cloud-Anbietern – siehe LLM Hosting: Lokale, selbst gehostete & Cloud-Infrastruktur im Vergleich. Wenn Sie verschiedene lokale LLM-Hosting-Lösungen vergleichen, werfen Sie einen Blick auf unseren umfassenden Vergleich von Ollama, vLLM, LocalAI, Jan, LM Studio und weiteren. Für diejenigen, die Alternativen zu Befehlszeilenschnittstellen suchen, bietet Docker Model Runner einen anderen Ansatz für den LLM-Betrieb. Wenn gleichzeitiger Traffic oder Warteschlangen eine einzelne Ollama-Instanz überfordern, beschreibt Ollama zu vLLM: Wann Sie Ihren lokalen LLM-Server migrieren sollten die Migrationshinweise und einen gestaffelten Rollout-Plan.

Ollama Installation (Download und CLI-Installation)

• Option 1: Download von der Website
  • Besuchen Sie ollama.com und laden Sie den Installer für Ihr Betriebssystem (Mac, Linux oder Windows) herunter.
• Option 2: Installation über die Befehlszeile
  • Mac- und Linux-Nutzer verwenden den folgenden Befehl:

curl -fsSL https://ollama.com/install.sh | sh

• Folgen Sie den Anweisungen auf dem Bildschirm und geben Sie Ihr Passwort ein, wenn Sie dazu aufgefordert werden.

Ollama Systemanforderungen (RAM, Speicher, CPU)

• Betriebssystem: Mac, Linux oder Windows
• Arbeitsspeicher (RAM): Mindestens 8 GB, 16 GB oder mehr empfohlen
• Speicherplatz: Mindestens ~10 GB freien Speicherplatz (Modelldateien können sehr groß sein – siehe den Abschnitt „Modellverwaltung" unten, um sie zu verschieben)
• Prozessor: Eine relativ moderne CPU (aus den letzten 5 Jahren). Wenn Sie neugierig darauf sind, wie Ollama verschiedene CPU-Architekturen nutzt, lesen Sie unsere Analyse, wie Ollama Intel CPU Performance und Efficient Cores verwendet.

Grundlegende Ollama CLI-Befehle

Das Ausführen von ollama ohne Argumente öffnet nun dasselbe interaktive Launcher-Menü wie ollama launch – Sie wählen eine Integration und ein Modell aus einer Liste aus.

Ollama CLI (Was es ist)

Ollama CLI ist die Befehlszeilenschnittstelle zum Verwalten von Modellen und zum lokalen Ausführen/Bereitstellen derselben. Die meisten Workflows reduzieren sich auf:

• Server starten: ollama serve
• Modell ausführen: ollama run <model>
• Geprüft, was geladen/läuft: ollama ps
• Modelle verwalten: ollama pull, ollama list, ollama rm
• KI-Coding-Assistent starten: ollama launch

Ollama Modellverwaltung: pull und list Befehle für Modelle

Modelle auflisten:

ollama list

derselbe Befehl wie:

ollama ls

Dieser Befehl listet alle Modelle auf, die auf Ihrem System heruntergeladen wurden, mit ihrer Dateigröße auf Ihrer HDD/SSD, wie z. B.:

$ ollama ls
NAME                                                    ID              SIZE      MODIFIED     
deepseek-r1:8b                                          6995872bfe4c    5.2 GB    2 weeks ago     
gemma3:12b-it-qat                                       5d4fa005e7bb    8.9 GB    2 weeks ago     
LoTUs5494/mistral-small-3.1:24b-instruct-2503-iq4_NL    4e994e0f85a0    13 GB     3 weeks ago     
dengcao/Qwen3-Embedding-8B:Q4_K_M                       d3ca2355027f    4.7 GB    4 weeks ago     
dengcao/Qwen3-Embedding-4B:Q5_K_M                       7e8c9ad6885b    2.9 GB    4 weeks ago     
qwen3:8b                                                500a1f067a9f    5.2 GB    5 weeks ago     
qwen3:14b                                               bdbd181c33f2    9.3 GB    5 weeks ago     
qwen3:30b-a3b                                           0b28110b7a33    18 GB     5 weeks ago     
devstral:24b                                            c4b2fa0c33d7    14 GB     5 weeks ago  

Ein Modell herunterladen: ollama pull

ollama pull mistral-nemo:12b-instruct-2407-q6_K

Dieser Befehl lädt das angegebene Modell (z. B. Gemma 2B oder mistral-nemo:12b-instruct-2407-q6_K) auf Ihr System herunter. Die Modelldateien können ziemlich groß sein, daher lohnt es sich, auf den von Modellen auf der Festplatte oder SSD genutzten Speicherplatz zu achten. Vielleicht möchten Sie sogar alle Ollama-Modelle von Ihrem Home-Verzeichnis auf ein anderes, größeres und besseres Laufwerk verschieben.

Ein Modell hochladen: ollama push

ollama push my-custom-model

Lädt ein lokales Modell in das Ollama-Register hoch, damit andere es abrufen können. Sie müssen sich zunächst angemeldet haben (ollama signin) und der Modellname muss mit Ihrem Ollama-Bennernamen präfixiert sein, z. B. myuser/my-model. Verwenden Sie --insecure, wenn Sie in ein privates Register über HTTP hochladen:

ollama push myuser/my-model --insecure

Ein Modell kopieren: ollama cp

ollama cp llama3.2 my-llama3-variant

Erstellt eine lokale Kopie eines Modells unter einem neuen Namen, ohne etwas neu herunterzuladen. Das ist praktisch, bevor Sie eine Modelfile bearbeiten – erst kopieren, die Kopie anpassen und das Original unangetastet lassen:

ollama cp qwen3:14b qwen3-14b-custom
ollama create qwen3-14b-custom -f ./Modelfile

Modelle entfernen: ollama rm

ollama rm qwen3:8b
# neuere Versionen akzeptieren mehrere Modelle in einem Aufruf:
ollama rm qwen3:8b qwen3:14b

ollama rm löscht das Manifest des Modells und alle Blobs, die nicht mehr von anderen Modellen referenziert werden, sodass gemeinsame Basisschichten abgeleiteter Modelle erhalten bleiben.

Ollama show Befehl

ollama show gibt Informationen zu einem heruntergeladenen Modell aus.

ollama show qwen3:14b

Standardmäßig gibt es die Modellkarte aus (Architektur, Kontextlänge, Embedding-Länge, Quantisierung usw.). Es gibt sechs nützliche Flags:

# Sehen Sie genau, mit welchem System-Prompt und welcher Vorlage ein Modell erstellt wurde
ollama show deepseek-r1:8b --modelfile

# Prüfen Sie die Größe des Kontextfensters und andere Inferenzparameter
ollama show qwen3:14b --parameters

# Nur der System-Prompt eines angepassten Modells
ollama show mymodel --system

# Prüfen Sie die Lizenz, bevor Sie ein Modell in einem Produkt ausliefern
ollama show llama3.2 --license

# Vollständige Details auf Tensor-Ebene (nützlich beim Debuggen der Quantisierung)
ollama show llama3.2 --verbose

Die Ausgabe von --modelfile ist besonders nützlich, bevor Sie ein Modell anpassen: Sie können die Basis-Modelfile kopieren und von dort aus bearbeiten, anstatt eine von Grund auf neu zu schreiben.

Ollama serve Befehl

ollama serve startet den lokalen Ollama-Server (Standard-HTTP-Port 11434).

ollama serve

„ollama serve"-Befehl (systemd-freundliches Beispiel):

# setze Umgebungsvariablen, dann starte den Server
# mache ollama auf der IP-Adresse des Hosts verfügbar
export OLLAMA_HOST=0.0.0.0:11434
export OLLAMA_NUM_PARALLEL=2
ollama serve

ollama start ist ein Alias für ollama serve, daher starten beide denselben Server.

Das Binden an 0.0.0.0 macht den Server ohne Authentifizierung für Ihr Netzwerk zugänglich – stellen Sie einen Reverse Proxy mit TLS davor, wie in Ollama hinter einem Reverse Proxy mit Caddy oder Nginx beschrieben, oder erreichen Sie ihn über einen privaten Tunnel, indem Sie den Ollama Remote-Zugriffsmustern folgen. Um den Server stattdessen in einem Container auszuführen, siehe Ollama in Docker Compose mit GPU und persistentem Modell-Speicher.

Ollama serve Umgebungsvariablen (vollständige Referenz)

Dies sind die Umgebungsvariablen, die ollama serve beim Start liest (Stand Ollama v0.33):

Zum Beispiel, um das Standard-Kontextfenster für jedes Modell zu erhöhen:

OLLAMA_CONTEXT_LENGTH=32768 ollama serve

Standard-Kontextlänge nach VRAM

Wenn OLLAMA_CONTEXT_LENGTH nicht gesetzt ist, wählt der Server einen gestaffelten Standardwert basierend auf der gesamten VRAM-Größe Ihres Geräts (hinzugefügt in Ollama v0.15.5):

Ollama empfiehlt mindestens 64.000 Tokens für kontextlastige Workloads – Websuche, Agenten und Coding-Werkzeuge – und der Speicherverbrauch skaliert mit OLLAMA_NUM_PARALLEL, daher kann eine hohe Parallelisierungseinstellung in Kombination mit einem großen Standardkontext Modellschichten aus dem VRAM drücken. Der Server protokolliert den gewählten Wert beim Start als vram-based default context.

Der KV-Cache-Typ opfert Speicherplatz für Geschwindigkeit – die Quantisierung des KV-Caches auf q8_0 halbiert dessen VRAM-Fußabdruck ungefähr und eignet sich für Längskontext-Ausführungen; unser KV-Cache-Test auf einer 16GB-GPU für Längskontext misst den tatsächlichen Effekt. OLLAMA_NUM_PARALLEL und OLLAMA_MAX_QUEUE werden im Detail in Wie Ollama parallele Anfragen behandelt behandelt.

Ollama run Befehl

Ein Modell ausführen:

ollama run gpt-oss:20b

Dieser Befehl startet das angegebene Modell und öffnet eine interaktive REPL zur Interaktion. Möchten Sie verstehen, wie Ollama mehrere gleichzeitige Anfragen verwaltet? Erfahren Sie mehr über wie Ollama parallele Anfragen behandelt in unserer detaillierten Analyse.

ollama run führt ein Modell in einer interaktiven Sitzung aus, deshalb würden Sie im Fall von gpt-oss:120b etwas wie Folgendes sehen:

$ ollama run gpt-oss:120b
>>> Send a message (/? for help)

Sie können Ihre Fragen oder Befehle eingeben und das Modell wird antworten.

>>> who are you?
Thinking...
The user asks "who are you?" Simple question. Should respond as ChatGPT, an AI language model, trained by OpenAI, 
etc. Provide brief intro. Probably ask if they need help.
...done thinking.

I’m ChatGPT, an AI language model created by OpenAI. I’ve been trained on a wide range of text so I can help 
answer questions, brainstorm ideas, explain concepts, draft writing, troubleshoot problems, and much more. Think 
of me as a versatile virtual assistant—here to provide information, support, and conversation whenever you need 
it. How can I help you today?

>>> Send a message (/? for help)

Um die interaktive Ollama-Sitzung zu beenden, drücken Sie Ctrl+D oder Sie können /bye eingeben, mit demselben Ergebnis:

>>> /bye
$ 

Ollama run Befehlsbeispiele

Um ein Modell auszuführen und eine einzige Frage in nicht-interaktivem Modus zu stellen:

printf "Give me 10 bash one-liners for log analysis.\n" | ollama run llama3.2

Wenn Sie eine detaillierte, ausfürliche LLM-Antwort in der Ollama-Sitzung sehen möchten – führen Sie das Modell mit dem Parameter --verbose oder -v aus:

$ ollama run gpt-oss:20b --verbose
>>> who are you?
Thinking...
We need to respond to a simple question: "who are you?" The user is asking "who are you?" We can answer that we 
are ChatGPT, a large language model trained by OpenAI. We can also mention capabilities. The user likely expects 
a brief introduction. We'll keep it friendly.
...done thinking.

I’m ChatGPT, a large language model created by OpenAI. I’m here to help answer questions, offer explanations, 
brainstorm ideas, and chat about a wide range of topics—everything from science and history to creative writing 
and everyday advice. Just let me know what you’d like to talk about!

total duration:       1.118585707s
load duration:        106.690543ms
prompt eval count:    71 token(s)
prompt eval duration: 30.507392ms
prompt eval rate:     2327.30 tokens/s
eval count:           132 token(s)
eval duration:        945.801569ms
eval rate:            139.56 tokens/s
>>> /bye
$ 

Ja, das ist richtig, es sind 139 Tokens pro Sekunde. Das gpt-oss:20b ist sehr schnell. Wenn Sie, wie ich, eine GPU mit 16GB VRAM haben, finden Sie die Details zum LLM-Geschwindigkeitsvergleich in Beste LLMs für Ollama auf 16GB VRAM GPU.

Tipp: Wenn Sie das Modell über HTTP für mehrere Anwendungen verfügbar machen möchten, starten Sie den Server mit ollama serve und verwenden Sie den API-Client anstelle langer interaktiver Sitzungen.

Ollama run Flags (vollständige Referenz)

Zwei Umgebungsvariablen beeinflussen ollama run selbst: OLLAMA_EDITOR setzt den Editor, der mit Ctrl+G in der REPL geöffnet wird, und OLLAMA_NOHISTORY=1 deaktiviert die Persistenz der Readline-Verlaufes.

Denkmodelle: –think und –hidethinking

Modelle mit Denkfähigkeit (deepseek-r1, qwen3, gpt-oss und andere) denken standardmäßig in der CLI, und die Reasoning-Spur wird vor der Antwort angezeigt:

ollama run qwen3:14b --think=false "Answer straight, no reasoning trace"
ollama run deepseek-r1:8b --hidethinking "Is 9.9 bigger or 9.11?"   # denke, aber gib nur die Antwort aus

GPT-OSS-Modelle akzeptieren Stufen statt eines Booleans – sie justieren die Länge der Spur, anstatt sie ein- oder auszuschalten:

ollama run gpt-oss:20b --think=low "Draft a headline"

Innerhalb der interaktiven Sitzung wird das Denken mit /set think und /set nothink umgeschaltet.

Überschreiben von Modellparametern ohne Modelfile

Ältere Blogartikel zeigen einen -p / --parameters-Flag auf ollama run; er existiert in aktuellen Releases nicht mehr. Der unterstützte Weg, Inferenzparameter zu ändern, ohne eine Modelfile zu bearbeiten, ist die REPL:

$ ollama run qwen3:14b
>>> /set parameter num_ctx 32768
Set parameter 'num_ctx' to '32768'
>>> /save qwen3-14b-32k
>>> /bye

/set parameter gilt nur für die aktuelle Sitzung, und /save persistiert es in ein neues lokales Modell, das Sie später mit ollama run qwen3-14b-32k ausführen können. /show parameters listet die Einstellungen in der aktuellen Sitzung auf. Für alle Modelle auf einem Server ändert OLLAMA_CONTEXT_LENGTH auf ollama serve das Standardkontextfenster global.

Gängige Parameter, die Sie so setzen können:

ollama show <model> meldet die Kontextlänge, die das Modell unterstützen kann, während ollama ps den Kontext zeigt, der der geladenen Instanz tatsächlich zugewiesen wurde – siehe Ollama ps Befehl, wenn ein langer Prompt scheinbar stillschweigend gekürzt wird.

Mehrzeilige Eingabe in der REPL

Umschließen Sie Text mit doppelten Anführungszeichen ("""), um einen mehrzeiligen Prompt einzugeben, ohne ihn frühzeitig einzureichen:

>>> """Summarise this in one sentence:
... The quick brown fox jumps over the lazy dog.
... It happened on a Tuesday.
... """

Für längere Prompts öffnet Ctrl+G den aktuellen Prompt in einem Volltext-Editor ($EDITOR oder was auch immer OLLAMA_EDITOR zeigt) und reicht ihn ein, wenn Sie speichern und beenden – praktisch zum Iterieren eines langen System-Stil-Prompts (hinzugefügt in Ollama v0.16).

Multimodale Modelle (Bilder)

Für sehfähige Modelle (z. B. gemma3, llava) übergeben Sie einen Bildpfad direkt im Prompt:

ollama run gemma3 "What's in this image? /home/user/screenshot.png"

Generieren von Embeddings über CLI

Embedding-Modelle geben ein JSON-Array anstelle von Text aus. Leiten Sie Text direkt für schnelle Einmal-Embeddings weiter:

echo "Hello world" | ollama run nomic-embed-text

Zwei ollama run-Flags sind spezifisch für Embedding-Modelle: --dimensions 512 kürzt den Ausgabevektor auf 512 Dimensionen (nützlich für Matryoshka-fähige Modelle wie nomic-embed, wenn Sie kleinere Vektoren möchten), und --truncate=false sorgt dafür, dass Eingaben, die länger als der Kontext des Modells sind, einen Fehler zurückgeben, anstatt stillschweigend gekürzt zu werden.

Für produktionsreife Embedding-Workloads verwenden Sie stattdessen den /api/embed-REST-Endpunkt oder den Python-Client.

JSON-Ausgabe erzwingen (–format)

ollama run llama3.2 --format json "List 5 capital cities as JSON"

Das Modell wird angewiesen, gültiges JSON zurückzugeben. Nützlich, wenn die Ausgabe an jq oder ein Skript weitergeleitet wird, das strukturierte Daten erwartet.

Ollama stop Befehl

Dieser Befehl stoppt das angegebene laufende Modell.

ollama stop llama3.1:8b-instruct-q8_0

Ollama entfernt Modelle automatisch nach einer gewissen Zeit. Der Standardwert ist 5 Minuten (OLLAMA_KEEP_ALIVE=5m); ältere Ollama-Releases verwendeten 4 Minuten. Wenn Sie nicht die restliche Zeit warten möchten, verwenden Sie den ollama stop-Befehl. Beim Starten des Modells können Sie auch --keepalive an ollama run übergeben (z. B. --keepalive 30s, --keepalive -1, um das Modell dauerhaft geladen zu halten), oder den /generate-API-Endpunkt mit dem Parameter keep_alive=0 aufrufen, um das Modell sofort aus dem VRAM zu werfen – siehe unten für die Beschreibung und ein Beispiel.

Ollama ps Befehl

ollama ps zeigt aktuell laufende Modelle und Sitzungen an (nützlich, um „warum ist mein VRAM voll?" zu debuggen).

ollama ps

Ein Beispiel für die ollama ps-Ausgabe finden Sie unten:

NAME           ID              SIZE     PROCESSOR    CONTEXT    UNTIL
gpt-oss:20b    17052f91a42e    14 GB    100% GPU     4096       4 minutes from now

Die CONTEXT-Spalte ist der Kontext, der dieser geladenen Instanz tatsächlich zugewiesen ist. Er unterscheidet sich von ollama show <model>, der die Kontextlänge meldet, die das Modell unterstützt – wenn ein Modell Ihre langen Prompts stillschweigend kürzt, ist ollama ps der Befehl, der den tatsächlichen Laufzeitwert offenlegt.

Sie sehen hier auf meinem PC, dass gpt-oss:20b sehr gut in die 16GB VRAM meiner GPU passt und nur 14GB belegt.

Wenn ich ollama run gpt-oss:120b ausführe und dann ollama ps aufrufe, wird das Ergebnis nicht so hell sein: 78% der Schichten sind auf der CPU, und das nur mit dem Kontextfenster 4096 Tokens – der Speicherverbrauch wächst weiter, wenn ich den Kontext erhöhe.

NAME            ID              SIZE     PROCESSOR          CONTEXT    UNTIL
gpt-oss:120b    a951a23b46a1    66 GB    78%/22% CPU/GPU    4096       4 minutes from now

Ollama launch Befehl (KI-Coding-Integrationen)

ollama launch ist ein Befehl, der in Ollama v0.15 (Januar 2026) eingeführt wurde und Ihnen einen konfigurationslosen, einzeiligen Setup für beliebte KI-Coding-Assistenten bietet, die gegen Ihren lokalen Ollama-Server laufen.

Warum ollama launch verwenden?

Bevor ollama launch existierte, bedeutete das Verdrahten eines Coding-Agenten wie Claude Code oder Codex mit einem lokalen Ollama-Backend das manuelle Setzen von Umgebungsvariablen, das Zeigen des Tools auf den richtigen API-Endpunkt und die Auswahl eines kompatiblen Modells. ollama launch übernimmt all dies interaktiv für Sie.

Wenn Sie bereits lokal Ollama ausführen und einen agentischen Coding-Assistenten möchten, ohne für API-Aufrufe zu bezahlen oder Code in die Cloud zu senden, ist ollama launch der schnellste Weg dorthin.

Unterstützte Integrationen

Die Liste ist viel weiter gewachsen als die vier Integrationen von v0.15. Stand Ollama v0.33 unterstützt ollama launch:

Grundlegende Verwendung

# Interaktiver Auswähler – wählen Sie eine Integration und ein Modell aus einem Menü
# (der Modell-Auswähler wird seit v0.16.3 immer angezeigt)
ollama launch

# Starten Sie eine bestimmte Integration direkt
ollama launch claude

# Starten mit einem bestimmten Modell
ollama launch claude --model qwen3-coder

# Konfigurieren Sie die Integration, ohne sie zu starten (nützlich, um Einstellungen zu überprüfen)
ollama launch droid --config

# Setzen Sie eine Integration auf ihr Standardprofil zurück
ollama launch codex --restore

# Leiten Sie zusätzliche Argumente nach -- an die Integration weiter
ollama launch codex -- --sandbox workspace-write

--yes (-y) beantwortet Bestätigungsanfragen automatisch, was in Skripten und Onboarding-Flows nützlich ist.

Empfohlene Modelle

Coding-Agenten benötigen ein langes Kontextfenster, um Kontext für ganze Dateien und Multi-Turn-Gesprächsgeschichten zu halten. Ollama empfiehlt Modelle mit mindestens 64.000 Tokens Kontext:

Wenn Ihre GPU das Modell nicht aufnehmen kann, bietet Ollama auch Cloud gehostete Varianten (z. B. qwen3-coder:480b-cloud) an, die auf dieselbe Weise integriert werden, aber die Inferenz in Ollamas Cloud-Ebene leiten – dies erfordert ollama signin.

Beispiel: Lokales Ausführen von Claude Code mit Ollama

# 1. Stellen Sie sicher, dass das Modell verfügbar ist
ollama pull qwen3-coder

# 2. Starten Sie Claude Code dagegen
ollama launch claude --model qwen3-coder

Ollama setzt die notwendigen Umgebungsvariablen und startet Claude Code automatisch so, dass er auf http://localhost:11434 zeigt. Sie können dann Claude Code genau so verwenden wie gewohnt – der einzige Unterschied ist, dass die Inferenz auf Ihrer eigenen Hardware stattfindet.

Leistungsschrauben (OLLAMA_NUM_PARALLEL)

Wenn Sie unter Last Warteschlangen oder Timeouts sehen, ist die erste Schraube, die Sie lernen sollten, OLLAMA_NUM_PARALLEL.

• OLLAMA_NUM_PARALLEL = wie viele Anfragen Ollama parallel ausführt.
• Ein höherer Wert kann den Durchsatz erhöhen, aber auch den VRAM-Druck und Latenzspitzen erhöhen.
• Anfragen, die ankommen, wenn alle parallelen Slots beschäftigt sind, landen in der Warteschlange; deren Tiefe ist durch OLLAMA_MAX_QUEUE begrenzt.

Schnelles Beispiel:

OLLAMA_NUM_PARALLEL=2 ollama serve

Für eine vollständige Erklärung (einschließlich Tuning-Strategien und Fehlerszenarien), siehe:

• Wie Ollama parallele Anfragen behandelt

Ollama Modell aus dem VRAM entlassen (keep_alive)

Wenn ein Modell in das VRAM (GPU-Speicher) geladen wird, bleibt es dort, auch nachdem Sie fertig damit sind. Um ein Modell explizit aus dem VRAM zu entlassen und GPU-Speicher freizugeben, können Sie eine Anfrage an die Ollama-API mit keep_alive: 0 senden.

• Modell aus dem VRAM mit curl entlassen:

curl http://localhost:11434/api/generate -d '{"model": "MODELNAME", "keep_alive": 0}'

Ersetzen Sie MODELNAME durch Ihren tatsächlichen Modellnamen, zum Beispiel:

curl http://localhost:11434/api/generate -d '{"model": "qwen3:14b", "keep_alive": 0}'

• Modell aus dem VRAM mit Python entlassen:

import requests

response = requests.post(
    'http://localhost:11434/api/generate',
    json={'model': 'qwen3:14b', 'keep_alive': 0}
)

Dies ist besonders nützlich, wenn:

• Sie GPU-Speicher für andere Anwendungen freigeben müssen
• Sie mehrere Modelle ausführen und die VRAM-Nutzung verwalten möchten
• Sie die Verwendung eines großen Modells beendet haben und Ressourcen sofort freigeben möchten

Hinweis: Der keep_alive-Parameter steuert, wie lange (in Sekunden) ein Modell nach der letzten Anfrage im Speicher geladen bleibt. Das Setzen auf 0 entlädt das Modell sofort aus dem VRAM, ein negativer Wert (z. B. -1) hält das Modell dauerhaft geladen, und ein Zeitrang-String (z. B. 10m, 24h) wird ebenfalls akzeptiert. Der serverweite Standardwert ist OLLAMA_KEEP_ALIVE=5m, und ein pro Anfrage gesetztes keep_alive überschreibt ihn immer.

Wenn Sie Ollamas Abstraktionsebene ganz vermeiden und direkte Kontrolle darüber wollen, welches GGUF-Modell zu jedem Zeitpunkt resident ist, deckt llama-server Router-Modus den nativen llama.cpp-Ansatz zum dynamischen Modell-Umschalten ab.

Ollama Modelle anpassen (System-Prompt, Modelfile)

• System-Prompt setzen: In der Ollama REPL können Sie einen System-Prompt setzen, um das Verhalten des Modells anzupassen:

  >>> /set system For all questions asked answer in plain English avoiding technical jargon as much as possible
  >>> /save ipe
  >>> /bye
  

  Dann führen Sie das angepasste Modell aus:

  ollama run ipe
  

  Dies setzt einen System-Prompt und speichert das Modell für zukünftige Verwendung.

• Benutzerdefinierte Modelldatei erstellen: Erstellen Sie eine Textdatei (z. B. custom_model.txt) mit der folgenden Struktur:

  FROM llama3.1
  PARAMETER num_ctx 32768
  SYSTEM [Ihre benutzerdefinierten Anweisungen hier]
  

  Dann führen Sie Folgendes aus:

  ollama create mymodel -f custom_model.txt
  ollama run mymodel
  

  Dies erstellt ein angepasstes Modell basierend auf den Anweisungen in der Datei. ollama create kann auch quantisieren, während es baut – -q q4_K_M erzeugt ein Q4_K_M GGUF aus einer nicht quantisierten (safetensors)-Quelle, --draft-quantize setzt die Quantisierung für ein Draft- (Spekulatives Dekodieren-) Modell, und --experimental aktiviert Funktionen zur Erstellung von safetensors-Modellen, die weiterhin als experimentell gekennzeichnet sind.

Ollama signin und signout (Register-Authentifizierung)

ollama signin
ollama signout

ollama signin authentifiziert Ihre lokale Ollama-Installation mit dem Ollama-Register unter ollama.com. Sobald Sie angemeldet sind, speichert der Client die Anmeldeinformationen lokal und wiederholt sie automatisch für nachfolgende Befehle.

Was signin freischaltet:

• Abrufen und Hochladen privater Modelle von Ihrem Konto oder Ihrer Organisation.
• Verwendung Cloud-gehosteter Modelle (z. B. qwen3-coder:480b-cloud), die zu groß sind, um lokal ausgeführt zu werden.
• Veröffentlichen von Modellen im Register mit ollama push.

Alternative: API-Key-Authentifizierung

Wenn Sie Ollama in einer CI-Pipeline oder auf einem Headless-Server ausführen, wo interaktives ollama signin nicht praktikabel ist, erstellen Sie einen API-Key in Ihren Ollama-Konto-Einstellungen und stellen Sie ihn als Umgebungsvariable bereit:

export OLLAMA_API_KEY=ollama_...
ollama pull myorg/private-model

Die OLLAMA_API_KEY-Variable wird automatisch von jedem Ollama-Befehl und API-Anforderung übernommen – es ist nicht nötig, ollama signin auf jedem Gerät auszuführen.

Verwendung des Ollama run Befehls mit Dateien (Zusammenfassen, Weiterleiten)

• Text aus einer Datei zusammenfassen:

  ollama run llama3.2 "Summarize the content of this file in 50 words." < input.txt
  

  Dieser Befehl fasst den Inhalt von input.txt mit dem angegebenen Modell zusammen.

• Modellantworten in eine Datei protokollieren:

  ollama run llama3.2 "Tell me about renewable energy." > output.txt
  

  Dieser Befehl speichert die Antwort des Modells in output.txt.

Ollama CLI Anwendungsfälle (Textgenerierung, Analyse)

• Textgenerierung:

  • Zusammenfassen einer großen Textdatei:

    ollama run llama3.2 "Summarize the following text:" < long-document.txt
    

  • Erzeugen von Inhalten:

    ollama run llama3.2 "Write a short article on the benefits of using AI in healthcare." > article.txt
    

  • Beantworten spezifischer Fragen:

    ollama run llama3.2 "What are the latest trends in AI, and how will they affect healthcare?"
    

  • Einmalige Antworten ohne die Denkspur (bei Denkmodellen):

    ollama run qwen3:14b --think=false --hidethinking "What are the latest trends in AI, and how will they affect healthcare?"
    

• Datenverarbeitung und Analyse:

  • Klassifizieren von Text in positive, negative oder neutrale Stimmung:

    ollama run llama3.2 "Analyze the sentiment of this customer review: 'The product is fantastic, but delivery was slow.'"
    

  • Kategorisieren von Text in vordefinierte Kategorien: Verwenden Sie ähnliche Befehle, um Text basierend auf vordefinierten Kriterien zu klassifizieren oder zu kategorisieren.

Verwendung von Ollama mit Python (Client und API)

• Ollama Python-Bibliothek installieren:

  pip install ollama
  

• Text mit Python generieren:

  import ollama
  
  response = ollama.generate(model='gemma:2b', prompt='what is a qubit?')
  print(response['response'])
  

  Dieser Code-Snippet generiert Text unter Verwendung des angegebenen Modells und Prompts.

Für fortgeschrittene Python-Integration erkunden Sie Verwendung der Ollama Web Search API in Python, was Web-Suchfähigkeiten, Tool-Calling und MCP-Server-Integration behandelt.

Auf der Suche nach einer webbasierten Schnittstelle? Open WebUI bietet eine selbst gehostete Schnittstelle mit RAG-Fähigkeiten und Multi-User-Unterstützung.

Nützliche Links

Konfiguration und Verwaltung

• Ollama Modelle auf anderes Laufwerk oder Ordner verschieben
• Ollama in Docker Compose mit GPU und persistentem Modell-Speicher

Alternativen und Vergleiche

• Lokales LLM-Hosting: Kompletter 2026-Leitfaden - Ollama, vLLM, LocalAI, Jan, LM Studio & Weitere
• llama.cpp vs Ollama 2026: Welche Runtime sollten Sie ausführen?
• vLLM Quickstart: Hochleistungs-LLM-Serving
• Docker Model Runner vs Ollama: Welche zu wählen?
• Erste Anzeichen von Ollama Enshittification
• Ollama zu vLLM: Wann Sie Ihren lokalen LLM-Server migrieren sollten

Leistung und Hardware

• Wie Ollama parallele Anfragen behandelt
• Wie Ollama Intel CPU Performance und Efficient Cores verwendet
• NVIDIA DGX Spark vs Mac Studio vs RTX-4080: Ollama Leistungsvergleich

Integration und Entwicklung

• Verwendung der Ollama Web Search API in Python
• Verwendung der Ollama Web Search API in Go
• Vergleich von KI-Coding-Assistenten
• Open-Source-Chat-Oberflächen für LLMs auf lokalen Ollama-Instanzen
• LLMs mit strukturiertem Output einschränken: Ollama, Qwen3 & Python oder Go
• Integration von Ollama mit Python: REST API und Python-Client-Beispiele
• Go SDKs für Ollama - Vergleich mit Beispielen