Hardware

Der Speichermarkt erlebt Ende 2025 eine beispiellose Preisschwankung, bei der die RAM-Preise in allen Segmenten dramatisch gestiegen sind.

Vergleichen wir die Preise für High-End-Verbrauchergrafikkarten, die insbesondere für LLMs und allgemein für KI geeignet sind. Konkret betrachte ich die Preise der RTX-5080 und RTX-5090.

Die Demokratisierung der KI ist da. Mit Open-Source-LLMs wie Llama, Mistral und Qwen, die nun proprietäre Modelle herausfordern, können Teams eine leistungsstarke KI-Infrastruktur mit Consumer-Hardware aufbauen – und dabei die Kosten drastisch senken, während sie die vollständige Kontrolle über Datenschutz und Bereitstellung behalten.

FLUX.1-dev ist ein leistungsstarkes Text-zu-Bild-Modell, das beeindruckende Ergebnisse liefert, aber dessen Speicherbedarf von über 24GB die Nutzung auf vielen Systemen erschwert. GGUF-Quantisierung von FLUX.1-dev bietet eine Lösung, indem sie den Speicherbedarf um etwa 50% reduziert, während die Bildqualität erhalten bleibt.

Docker Model Runner ist das offizielle Tool von Docker, um KI-Modelle lokal zu verwenden, aber GPU-Beschleunigung mit NVidia in Docker Model Runner erfordert eine spezifische Konfiguration.

Ich habe einige interessante Leistungsbenchmarks von GPT-OSS 120b gefunden, die auf Ollama unter drei verschiedenen Plattformen durchgeführt wurden: NVIDIA DGX Spark, Mac Studio und RTX 4080. Der GPT-OSS 120b-Modell aus der Ollama-Bibliothek wiegt 65 GB, was bedeutet, dass er nicht in die 16 GB VRAM des RTX 4080 (oder der neueren RTX 5080) passt.

Docker Model Runner (DMR) ist Docks offizielle Lösung zur lokalen Ausführung von KI-Modellen, eingeführt im April 2025. Dieses Cheat Sheet bietet eine schnelle Referenz für alle wesentlichen Befehle, Konfigurationen und Best Practices.

In der heutigen Rechenlandschaft ist Virtualisierung für Entwicklung, Tests und den Betrieb mehrerer Betriebssysteme unverzichtbar. Für Linux-Nutzer, die eine einfache und intuitive Möglichkeit suchen, virtuelle Maschinen zu verwalten, sticht GNOME Boxes als leichtgewichtige und benutzerfreundliche Option hervor, die Benutzerfreundlichkeit ohne Funktionalität zu opfern.

Die Zukunft der KI dreht sich nicht nur um intelligenter werdende Modelle. Sie bezieht sich auch auf Silizium-Verarbeitung, die genau dazu passt, wie diese Modelle tatsächlich bereitgestellt werden. Spezialisierte Hardware für LLM-Inferenz folgt dabei einem Weg, der an den Übergang des Bitcoin-Mining von GPUs zu speziell dafür entwickelten ASICs erinnert – allerdings mit strengeren Einschränkungen, da sich Modelle und Präzisionsverfahren ständig weiterentwickeln.

NVIDIA DGX Spark ist real, ist am 15. Oktober 2025 im Verkauf und richtet sich an CUDA-Entwickler, die lokale LLM-Arbeit mit einem integrierten NVIDIA AI-Stack benötigen. Der US-Empfehlungspreis beträgt 3.999 USD; der Einzelhandelspreis in GB/DE/JP ist aufgrund von Mehrwertsteuer und Vertriebswegen höher. Öffentliche Etikettenpreise in AUD/KRW sind noch nicht weitgehend verfügbar.

Vergleichen wir die Preise für Top-Konsum-Grafikkarten, die insbesondere für LLMs und allgemein für KI geeignet sind. Im Fokus stehen hier RTX-5080 und RTX-5090 Preise. Sie haben sich leicht verringert.

GPU-Lastüberwachungsanwendungen: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Nvidia gibt bald NVIDIA DGX Spark heraus – einen kleinen KI-Supercomputer auf Blackwell-Architektur mit über 128 GB einheitlichem Arbeitsspeicher und 1 PFLOPS KI-Leistung. Ein hervorragendes Gerät zum Betreiben von LLMs.

Vergleichen wir die Preise für Top-Verbraucherkarten, die insbesondere für LLMs und allgemein für KI geeignet sind. Schauen wir uns insbesondere die Preise für RTX 5080 und RTX 5090 an. Sie sind leicht gesunken.

Vor genau drei Monaten waren die RTX 5090 noch nicht in den Läden zu sehen, und jetzt sind sie da, aber die Preise liegen etwas höher als der MRSP.

Vergleichen wir die günstigsten Preise für RTX 5080 und RTX 5090 in Australien und sehen wir, wie es aussieht.

Top Automatisiertes System für eine großartige Aufgabe.