Self-Hosting

Hier ist ein Vergleich zwischen Qwen3:30b und GPT-OSS:20b
mit Fokus auf Befehlsfolge und Leistungsparameter, Spezifikationen und Geschwindigkeit.

Hier ist eine schnelle Information zu Write.as / WriteFreely – wie es in das Fediverse passt, wo man verwaltetes Hosting bekommt, wie der Nutzungs-Trend aussieht und wie man es selbst hostet (inklusive grober Kostenvoranschläge).

In diesem Beitrag untersuchen wir zwei Möglichkeiten, Ihre Python-Anwendung mit Ollama zu verbinden: 1. Über die HTTP REST API; 2. Über die offizielle Ollama Python-Bibliothek.

Proxmox Virtual Environment (Proxmox VE) ist eine Open-Source-, Typ-1-Hypervisor- und Rechenzentrums-Orchestrierungsplattform, die auf Debian basiert.

Vergleichen wir die Preise für Top-Konsum-Grafikkarten, die insbesondere für LLMs und allgemein für KI geeignet sind. Im Fokus stehen hier RTX-5080 und RTX-5090 Preise. Sie haben sich leicht verringert.

Ollama’s GPT-OSS-Modelle haben wiederkehrende Probleme bei der Verarbeitung strukturierter Ausgaben, insbesondere wenn sie mit Frameworks wie LangChain, OpenAI SDK, vllm und anderen verwendet werden.

Große Sprachmodelle (LLMs) sind leistungsfähig, aber in der Produktion wollen wir selten frei formulierte Absätze. Stattdessen wollen wir vorhersehbare Daten: Attribute, Fakten oder strukturierte Objekte, die Sie in eine Anwendung einspeisen können. Das ist LLM-Strukturierte Ausgabe.

Für Fans von KDE Plasma tauchen in der Diskussion häufig zwei Linux-Distributionen auf: Kubuntu und KDE Neon. Sie können zwar ähnlich erscheinen – beide liefern KDE Plasma als Standard-Desktop mit, beide basieren auf Ubuntu und beide sind für Neueinsteiger freundlich –, doch unter der Haube weichen sie in Philosophie, Update-Rhythmus und Paketverwaltung voneinander ab. Lassen Sie uns dies technisch im Detail durchgehen.

Hier vergleiche ich, wie viel VRAM die neue Version von Ollama für das Modell allokiert wie viel VRAM neue Version von Ollama für das Modell allokiert
im Vergleich zur vorherigen Ollama-Version. Die neue Version ist schlechter.

Dieser Leitfaden führt Sie durch den Prozess der Änderung der statischen IP-Adresse auf einem Ubuntu-Server.

Ollama hat sich schnell zu einem der beliebtesten Tools zur lokalen Ausführung von LLMs entwickelt. Seine einfache CLI und die nahtlose Modellverwaltung haben es zu einer bevorzugten Option für Entwickler gemacht, die mit AI-Modellen außerhalb der Cloud arbeiten möchten.

Mumble ist eine kostenlose und quelloffene Voice-over-IP-(VoIP-)Anwendung, die hauptsächlich für die Echtzeit-Sprachkommunikation entwickelt wurde. Sie verwendet eine Client-Server-Architektur, bei der sich Benutzer mit einem gemeinsamen Server verbinden, um miteinander zu sprechen.

Locally gehostete Ollama ermöglicht es, große Sprachmodelle auf Ihrem eigenen Gerät auszuführen, aber die Verwendung über die Befehlszeile ist nicht benutzerfreundlich. Hier sind mehrere Open-Source-Projekte, die ChatGPT-ähnliche Schnittstellen bereitstellen, die mit einer lokalen Ollama verbunden sind.

GPU-Lastüberwachungsanwendungen: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Hier ist eine Schritt-für-Schritt-Anleitung zur Installation eines 3-Knoten-K3s-Clusters auf Bare-Metal-Servern (1 Master + 2 Worker).

Vergleich von selbstgehosteten Kubernetes-Distributionen für die Hosting auf Bare-Metal oder Heimservern, mit Fokus auf Einfachheit der Installation, Leistung, Systemanforderungen und Funktionsumfang.