Self-Hosting

Ich habe einige interessante Leistungsbenchmarks von GPT-OSS 120b gefunden, die auf Ollama unter drei verschiedenen Plattformen durchgeführt wurden: NVIDIA DGX Spark, Mac Studio und RTX 4080. Der GPT-OSS 120b-Modell aus der Ollama-Bibliothek wiegt 65 GB, was bedeutet, dass er nicht in die 16 GB VRAM des RTX 4080 (oder der neueren RTX 5080) passt.

Docker Model Runner (DMR) ist Docks offizielle Lösung zur lokalen Ausführung von KI-Modellen, eingeführt im April 2025. Dieses Cheat Sheet bietet eine schnelle Referenz für alle wesentlichen Befehle, Konfigurationen und Best Practices.

Große Sprachmodelle (LLMs) lokal ausführen wird zunehmend beliebt, um den Schutz der Privatsphäre, den Kostenkontroll und die Offline-Fähigkeiten zu gewährleisten. Der Markt hat sich im April 2025 deutlich verändert, als Docker Docker Model Runner (DMR) eingeführt hat, seine offizielle Lösung zur Bereitstellung von KI-Modellen.

In der heutigen Rechenlandschaft ist Virtualisierung für Entwicklung, Tests und den Betrieb mehrerer Betriebssysteme unverzichtbar. Für Linux-Nutzer, die eine einfache und intuitive Möglichkeit suchen, virtuelle Maschinen zu verwalten, sticht GNOME Boxes als leichtgewichtige und benutzerfreundliche Option hervor, die Benutzerfreundlichkeit ohne Funktionalität zu opfern.

Multipass ist ein leichtgewichtiger virtueller Maschinen-Manager, der es einfach macht, Ubuntu-Cloud-Instanzen auf Linux, Windows und macOS zu erstellen und zu verwalten.

Während Google den Suchmaschinenmarkt mit über 90 % globalem Marktanteil dominiert, gibt es ein wachsendes Ökosystem von alternativen Suchmaschinen, die unterschiedliche Ansätze zur Websuche bieten.

Die Zukunft von KI ist nicht nur über intelligente Modelle definiert – sie ist über intelligente Siliziumchips definiert.
Spezialisierte Hardware für LLM Inferenz treibt eine Revolution an, die der von Bitcoin-Mining ähnelt, als es sich auf ASICs konzentrierte.

Das Web wurde ursprünglich als ein dezentralisiertes Netzwerk entworfen, in dem jeder veröffentlichen und verbinden konnte. Mit der Zeit konsolidierten Korporationen die Kontrolle und schufen geschlossene Gärten, in denen Nutzer Produkte sind und Inhalte eingesperrt werden. Die Indie-Web-Bewegung strebt danach, das ursprüngliche Versprechen des Webs wiederherzustellen: persönlicher Besitz, kreative Freiheit und echte Verbindung.

NVIDIA DGX Spark ist real, erhältlich ab dem 15. Oktober 2025 und richtet sich an CUDA-Entwickler, die lokale LLM-Arbeit mit einem integrierten NVIDIA AI-Stack benötigen. US-MSRP 3.999 $; UK/DE/JP Einzelhandel ist aufgrund von Mehrwertsteuer und Vertrieb höher. AUD/KRW öffentliche Preise sind noch nicht weit verbreitet.

Das Gemini-Protokoll stellt eine Rückkehr zu den Grundlagen der Internetkommunikation dar - eine leichtgewichtige, sichere und datenschutzfreundliche Alternative zu dem zunehmend komplexen modernen Web.

Dieser Leitfaden bietet einen umfassenden Überblick über die verfügbaren Go SDKs für Ollama und vergleicht ihre Funktionsumfänge.

Hier ist ein Vergleich zwischen Qwen3:30b und GPT-OSS:20b
mit Fokus auf Befehlsfolge und Leistungsparameter, Spezifikationen und Geschwindigkeit.

Hier ist eine schnelle Information zu Write.as / WriteFreely – wie es in das Fediverse passt, wo man verwaltetes Hosting bekommt, wie der Nutzungs-Trend aussieht und wie man es selbst hostet (inklusive grober Kostenvoranschläge).

In diesem Beitrag untersuchen wir zwei Möglichkeiten, Ihre Python-Anwendung mit Ollama zu verbinden: 1. Über die HTTP REST API; 2. Über die offizielle Ollama Python-Bibliothek.

Proxmox Virtual Environment (Proxmox VE) ist eine Open-Source-, Typ-1-Hypervisor- und Rechenzentrums-Orchestrierungsplattform, die auf Debian basiert.

Wiederholt vergleichen wir die Preise für High-End-Consumer-GPUs, die insbesondere für LLMs und allgemein für KI geeignet sind. Speziell betrachte ich die Preise für RTX-5080 und RTX-5090. Diese sind leicht gesunken.