Self-Hosting

Ollama’s GPT-OSS-Modelle haben wiederkehrende Probleme bei der Verarbeitung strukturierter Ausgaben, insbesondere wenn sie mit Frameworks wie LangChain, OpenAI SDK, vllm und anderen verwendet werden.

Große Sprachmodelle (LLMs) sind leistungsfähig, aber in der Produktion wollen wir selten frei formulierte Absätze. Stattdessen wollen wir vorhersehbare Daten: Attribute, Fakten oder strukturierte Objekte, die Sie in eine Anwendung einspeisen können. Das ist LLM-Strukturierte Ausgabe.

Für KDE Plasma-Fans tauchen bei Diskussionen häufig zwei Linux-Distributionen auf: Kubuntu und KDE Neon. Sie mögen ähnlich erscheinen – beide liefern KDE Plasma als Standard-Desktop, basieren auf Ubuntu und sind benutzerfreundlich.

Hier vergleiche ich, wie viel VRAM die neue Version von Ollama für das Modell allokiert wie viel VRAM neue Version von Ollama für das Modell allokiert
im Vergleich zur vorherigen Ollama-Version. Die neue Version ist schlechter.

Dieser Leitfaden führt Sie durch den Prozess der Änderung der statischen IP-Adresse auf einem Ubuntu-Server.

Ollama hat sich schnell zu einem der beliebtesten Tools zur lokalen Ausführung von LLMs entwickelt. Seine einfache CLI und die nahtlose Modellverwaltung haben es zu einer bevorzugten Option für Entwickler gemacht, die mit AI-Modellen außerhalb der Cloud arbeiten möchten.

Mumble ist eine kostenlose und quelloffene Voice-over-IP-(VoIP-)Anwendung, die hauptsächlich für die Echtzeit-Sprachkommunikation entwickelt wurde. Sie verwendet eine Client-Server-Architektur, bei der sich Benutzer mit einem gemeinsamen Server verbinden, um miteinander zu sprechen.

Locally gehostete Ollama ermöglicht es, große Sprachmodelle auf Ihrem eigenen Gerät auszuführen, aber die Verwendung über die Befehlszeile ist nicht benutzerfreundlich. Hier sind mehrere Open-Source-Projekte, die ChatGPT-ähnliche Schnittstellen bereitstellen, die mit einer lokalen Ollama verbunden sind.

GPU-Lastüberwachungsanwendungen: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Hier ist eine Schritt-für-Schritt-Anleitung zur Installation eines 3-Knoten-K3s-Clusters auf Bare-Metal-Servern (1 Master + 2 Worker).

Vergleich von selbstgehosteten Kubernetes-Distributionen für die Hosting auf Bare-Metal oder Heimservern, mit Fokus auf Einfachheit der Installation, Leistung, Systemanforderungen und Funktionsumfang.

Ich vergleiche selbstgehostete Kubernetes-Varianten, die für ein auf Ubuntu basierendes Homelab mit 3 Knoten (16 GB RAM, 4 Kerne pro Knoten) geeignet sind, wobei der Fokus auf einfacher Einrichtung und Wartung, Unterstützung für Persistent Volumes und LoadBalancer liegt.

GitHub Actions ist eine Automatisierungs- und CI/CD-Plattform innerhalb von GitHub, die verwendet wird, um Ihren Code basierend auf Ereignissen wie Pushes, Pull Requests oder nach einem Zeitplan zu erstellen, zu testen und zu deployen.

Hier ist ein Docker Compose Cheat Sheet mit annotierten Beispielen, um Ihnen zu helfen, Compose-Dateien und Befehle schnell zu meistern.

Hier ist eine detaillierte Aufschlüsselung von Obsidian als leistungsfähiges Werkzeug für Personal Knowledge Management (PKM), das seine Architektur, Funktionen, Stärken und die Unterstützung moderner Wissensworkflows erklärt.

Nvidia steht kurz vor der Veröffentlichung von NVIDIA DGX Spark - einem kleinen AI-Supercomputer auf Blackwell-Architektur mit 128+GB einheitlichem RAM und 1 PFLOPS AI-Leistung. Eine schöne Vorrichtung, um LLMs auszuführen.