Llamacpp on Rost Glukhov | KI-Systeme und Infrastruktur

llama.cpp vs. Ollama 2026: Welche Runtime sollten Sie verwenden?

Fri, 11 Sep 2026 00:00:00 +0000

Ollama und llama.cpp werden oft so verglichen, als wären sie konkurrierende Inferenz-Engines. Die eigentliche Wahl besteht zwischen einem verwalteten Modell-Service und einem Toolkit, das Sie direkt betreiben.

ROCm vs. Vulkan für das lokale Betreiben von LLMs auf AMD-Hardware: 2026er Leitfaden

Wed, 09 Sep 2026 00:00:00 +0000

Sowohl ROCm als auch Vulkan beschleunigen AMD-GPUs für den lokalen Betrieb von LLMs, aber sie sind nicht austauschbar. Die richtige Wahl hängt von der Engine, der GPU und der Arbeitslast ab.

KV-Cache auf 16-GB-GPUs: Lange Kontexte wirklich unterbringen

Tue, 08 Sep 2026 00:00:00 +0000

Ein Modell kann einen 128K-Kontextfenster bewerben und trotzdem bei 40K Tokens auf einer 16-GB-GPU scheitern. Die architektonische Obergrenze hat nie versprochen, dass Modellgewichte, KV-Cache, Rechenspeicher und der Desktop-Compositor gleichzeitig auf Ihrer Grafikkarte Platz finden würden.