Self-Hosting

Große Sprachmodelle (LLMs) sind leistungsfähig, aber in der Produktion wollen wir selten frei formulierte Absätze. Stattdessen wollen wir vorhersehbare Daten: Attribute, Fakten oder strukturierte Objekte, die Sie in eine Anwendung einspeisen können. Das ist LLM-Strukturierte Ausgabe.

Für KDE Plasma-Fans tauchen bei Diskussionen häufig zwei Linux-Distributionen auf: Kubuntu und KDE Neon. Sie mögen ähnlich erscheinen – beide liefern KDE Plasma als Standard-Desktop, basieren auf Ubuntu und sind benutzerfreundlich.

Hier vergleiche ich, wie viel VRAM die neue Version von Ollama für das Modell zuweist (https://www.glukhov.org/de/post/2025/09/memory-allocation-in-ollama-new-version/ “Ollama VRAM-Zuweisung”) im Vergleich zur vorherigen Version. Die neue Version ist schlechter.

Dieser Leitfaden führt Sie durch den Prozess der Änderung der statischen IP-Adresse auf einem Ubuntu-Server.

Ollama hat sich schnell zu einem der beliebtesten Tools zum lokalen Ausführen von LLMs entwickelt. Seine einfache CLI und der optimierte Modellmanagement haben es zu einer ersten Wahl für Entwickler gemacht, die mit KI-Modellen außerhalb der Cloud arbeiten möchten. Doch wie bei vielen vielversprechenden Plattformen gibt es bereits Anzeichen für Enshittification:

Mumble ist eine kostenlose und quelloffene Voice-over-IP-(VoIP-)Anwendung, die hauptsächlich für die Echtzeit-Sprachkommunikation entwickelt wurde. Sie verwendet eine Client-Server-Architektur, bei der sich Benutzer mit einem gemeinsamen Server verbinden, um miteinander zu sprechen.

Lokal gehostetes Ollama ermöglicht den Betrieb großer Sprachmodelle auf Ihrem eigenen Gerät, aber die Nutzung über die Kommandozeile ist nicht besonders benutzerfreundlich. Hier sind mehrere Open-Source-Projekte, die ChatGPT-ähnliche Oberflächen bieten, die mit einem lokalen Ollama verbunden sind.

GPU-Lastüberwachungsanwendungen: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Hier ist eine Schritt-für-Schritt-Anleitung zur Installation eines 3-Knoten-K3s-Clusters auf Bare-Metal-Servern (1 Master + 2 Worker).

Vergleich von selbstgehosteten Kubernetes-Distributionen für die Hosting auf Bare-Metal oder Heimservern, mit Fokus auf Einfachheit der Installation, Leistung, Systemanforderungen und Funktionsumfang.

Ich vergleiche selbstgehostete Kubernetes-Varianten, die für ein auf Ubuntu basierendes Homelab mit 3 Knoten (16 GB RAM, 4 Kerne pro Knoten) geeignet sind, wobei der Fokus auf einfacher Einrichtung und Wartung, Unterstützung für Persistent Volumes und LoadBalancer liegt.

GitHub Actions ist eine Automatisierungs- und CI/CD-Plattform innerhalb von GitHub, die verwendet wird, um Ihren Code basierend auf Ereignissen wie Pushes, Pull Requests oder nach einem Zeitplan zu erstellen, zu testen und zu deployen.

Hier ist ein Docker Compose Cheat Sheet mit annotierten Beispielen, um Ihnen zu helfen, Compose-Dateien und Befehle schnell zu meistern.

Hier ist eine detaillierte Aufschlüsselung von Obsidian als leistungsfähiges Werkzeug für Personal Knowledge Management (PKM), das seine Architektur, Funktionen, Stärken und die Unterstützung moderner Wissensworkflows erklärt.

Nvidia steht kurz vor der Veröffentlichung von NVIDIA DGX Spark - einem kleinen AI-Supercomputer auf Blackwell-Architektur mit 128+GB einheitlichem RAM und 1 PFLOPS AI-Leistung. Eine schöne Vorrichtung, um LLMs auszuführen.

Lasst uns einen schnellen Blick auf Matomo, Plausible, Google und andere Webanalysedienste und -systeme werfen, die für die Selbsthosting-Option verfügbar sind, und vergleichen sie.