Selfhosting

Die Migration eines KI-Assistenten unterscheidet sich grundlegend vom einfachen Kopieren einer Anwendungs-Konfiguration. Die eigentliche Herausforderung besteht darin, Identität, Gedächtnis, Tool-Verhalten, geplante Aufgaben und den Messaging-Zugriff so zu erhalten, dass nicht zwei Gateways als derselbe Bot agieren.

Ollama und llama.cpp werden oft so verglichen, als wären sie konkurrierende Inferenz-Engines. Die eigentliche Wahl besteht zwischen einem verwalteten Modell-Service und einem Toolkit, das Sie direkt betreiben.

Sowohl ROCm als auch Vulkan beschleunigen AMD-GPUs für den lokalen Betrieb von LLMs, aber sie sind nicht austauschbar. Die richtige Wahl hängt von der Engine, der GPU und der Arbeitslast ab.

Ein Modell kann einen 128K-Kontextfenster bewerben und trotzdem bei 40K Tokens auf einer 16-GB-GPU scheitern. Die architektonische Obergrenze hat nie versprochen, dass Modellgewichte, KV-Cache, Rechenspeicher und der Desktop-Compositor gleichzeitig auf Ihrer Grafikkarte Platz finden würden.

Jeder API-Aufruf fühlt sich an wie eine einfache Transaktion – bis sich genügend davon ansammeln, dass Ihre Feinabigungsdaten, Evaluierungs-Tools und Tool-Schemas alle um einen einzigen Anbieter herum geformt sind und ein Wechsel nicht mehr nur eine Routing-Änderung ist.

Ein LLM-Wiki scheitert, wenn alte Fakten plausibel bleiben, Widersprüche geglättet werden und generierte Zusammenfassungen von ihren Quellen abweichen.

Syncthing hält Dateien auf den von Ihnen kontrollierten Geräten synchronisiert und ist damit eines der praktischsten Tools für eine selbst gehostete Wissensinfrastruktur, die Cloud-Lock-in vermeidet.

Die Landschaft der KI-Hardware hat sich 2026 erheblich verändert. NVIDIA, AMD und Intel konkurrieren alle um Entwickler, die GPUs benötigen, die in der Lage sind, lokale Large Language Models (LLMs) und KI-Inferenz-Arbeitslasten auszuführen.

Das Ausführen des Hermes-Agenten auf einem headless-Server bei gleichzeitiger Verbindung von einem Desktop-Client auf einer anderen Maschine erfordert zwei Serverprozesse und eine einzelne Client-Verbindung.

Ein Docker Compose-Projekt auf einem Linux-Server sollte beim Booten starten, beim Herunterfahren sauber gestoppt werden und Neustarts ohne manuelle Eingriffe überstehen.

Die Installation von Docker auf Ubuntu sollte einfach sein, aber in der Praxis konkurrieren mehrere docker-spezifische Optionen um den gleichen Befehlsnamen, wobei jede unterschiedliche Paketierung, Upgrade-Verhalten und Sicherheitsimplikationen mit sich bringt.

APT-Fehler sind auf langläufigen Ubuntu-Systemen häufig und treten meist nach einem Release-Upgrade, einer Änderung eines Drittanbieter-Repositorys, der Entfernung eines PPA, einer manuell installierten .deb-Datei oder einer unterbrochenen Paketinstallation auf.

Speicher verwandelt Assistenten von reaktiv in persistent, ist aber auch der Ort, an dem viele Systeme stillschweigend veralten. Umfragen argumentieren, dass die Trennung zwischen kurzfristigem und langfristigem Speicher für moderne Agenten-Speicher nicht mehr ausreicht; OpenAI- und LangGraph-SDKs weisen auf einen einfacheren Stack hin – Arbeitsgedächtnis, dauerhafter Zustand und Abruf.

Open-Source-KI-Agent-Frameworks erleben auf GitHub einen rasanten Popularitätsanstieg. Zwei Projekte im Kern des Ökosystems für self-hosted KI-Systeme — OpenClaw und Hermes Agent — haben einen solchen Vorsprung herausgearbeitet, dass der Rest des Feldes um einen weit entfernten dritten Platz kämpft.

Ich habe die Leistung von spekulativem Decoding (Multi-Token Prediction, MTP) bei Qwen 3.6 27B und 35B auf einer RTX 4080 mit 16 GB VRAM getestet.

llama.cpp Router-Modus ist eine der nützlichsten Änderungen an llama-server in den letzten Jahren. Er gibt lokalen LLM-Betreibern endlich etwas, das dem Modellmanagement-Erlebnis ähnelt, das man von Ollama erwartet, während er die rohe Leistung und die niedrige Kontrollstufe beibehält, die llama.cpp überhaupt erst interessant machen.