Self-Hosting

Large Language Models (LLMs) sind leistungsstark, aber im Produktivbetrieb benötigen wir selten freie Textabsätze. Stattdessen wünschen wir uns vorhersagbare Daten: Attribute, Fakten oder strukturierte Objekte, die in eine Anwendung eingespeist werden können. Das ist Strukturierte Ausgabe von LLMs.

Für Fans von KDE Plasma tauchen in der Diskussion häufig zwei Linux-Distributionen auf: Kubuntu und KDE Neon. Sie können zwar ähnlich erscheinen – beide liefern KDE Plasma als Standard-Desktop mit, beide basieren auf Ubuntu und beide sind für Neueinsteiger freundlich –, doch unter der Haube weichen sie in Philosophie, Update-Rhythmus und Paketverwaltung voneinander ab. Lassen Sie uns dies technisch im Detail durchgehen.

Hier vergleiche ich, wie viel VRAM die neue Version von Ollama für das Modell allokiert wie viel VRAM neue Version von Ollama für das Modell allokiert
im Vergleich zur vorherigen Ollama-Version. Die neue Version ist schlechter.

Dieser Leitfaden führt Sie durch den Prozess der Änderung der statischen IP-Adresse auf einem Ubuntu-Server.

Ollama ist schnell zu einem der beliebtesten Tools für den lokalen Betrieb von LLMs geworden. Sein einfaches CLI und das durchdachte Modell-Management haben es zu einer ersten Wahl für Entwickler gemacht, die mit KI-Modellen außerhalb der Cloud arbeiten möchten.

Mumble ist eine kostenlose und quelloffene Voice-over-IP-(VoIP-)Anwendung, die hauptsächlich für die Echtzeit-Sprachkommunikation entwickelt wurde. Sie verwendet eine Client-Server-Architektur, bei der sich Benutzer mit einem gemeinsamen Server verbinden, um miteinander zu sprechen.

Locally gehostete Ollama ermöglicht es, große Sprachmodelle auf Ihrem eigenen Gerät auszuführen, aber die Verwendung über die Befehlszeile ist nicht benutzerfreundlich. Hier sind mehrere Open-Source-Projekte, die ChatGPT-ähnliche Schnittstellen bereitstellen, die mit einer lokalen Ollama verbunden sind.

GPU-Lastüberwachungsanwendungen: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Hier ist eine Schritt-für-Schritt-Anleitung zur Installation eines 3-Knoten-K3s-Clusters auf Bare-Metal-Servern (1 Master + 2 Worker).

Vergleich von selbstgehosteten Kubernetes-Distributionen für die Hosting auf Bare-Metal oder Heimservern, mit Fokus auf Einfachheit der Installation, Leistung, Systemanforderungen und Funktionsumfang.

Ich vergleiche selbstgehostete Kubernetes-Varianten, die für ein auf Ubuntu basierendes Homelab mit 3 Knoten (16 GB RAM, 4 Kerne pro Knoten) geeignet sind, wobei der Fokus auf einfacher Einrichtung und Wartung, Unterstützung für Persistent Volumes und LoadBalancer liegt.

GitHub Actions ist eine Automatisierungs- und CI/CD-Plattform innerhalb von GitHub, die verwendet wird, um Code basierend auf Ereignissen wie Pushes, Pull Requests oder Zeitplänen zu erstellen, zu testen und bereitzustellen.

Hier ist ein Docker Compose Schnellreferenz mit kommentierten Beispielen, um Compose-Dateien und -Befehle schnell zu beherrschen.

Hier ist eine detaillierte Aufschlüsselung von Obsidian als leistungsstarkes Werkzeug für das persönliche Wissensmanagement (PKM), unter Erklärung seiner Architektur, Funktionen, Stärken und wie es moderne Wissensarbeit unterstützt.

Nvidia gibt bald NVIDIA DGX Spark heraus – einen kleinen KI-Supercomputer auf Blackwell-Architektur mit über 128 GB einheitlichem Arbeitsspeicher und 1 PFLOPS KI-Leistung. Ein hervorragendes Gerät zum Betreiben von LLMs.

Lasst uns einen schnellen Blick auf Matomo, Plausible, Google und andere Webanalysedienste und -systeme werfen, die für die Selbsthosting-Option verfügbar sind, und vergleichen sie.