GPT-OSS 120b Benchmarks auf drei KI-Plattformen
Ich habe einige interessante Leistungsuntersuchungen zu GPT-OSS 120b ausgegraben, das auf Ollama auf drei verschiedenen Plattformen läuft: NVIDIA DGX Spark, Mac Studio und RTX 4080. Das GPT-OSS 120b-Modell aus der Ollama-Bibliothek wiegt 65 GB, was bedeutet, dass es nicht in die 16 GB VRAM einer RTX 4080 (oder der neueren RTX 5080) passt.
Schnelle Referenz für Docker Model Runner-Befehle
Docker Model Runner (DMR) ist die offizielle Lösung von Docker zum lokalen Ausführen von KI-Modellen, eingeführt im April 2025. Dieses Cheatblatt bietet eine schnelle Referenz für alle wesentlichen Befehle, Konfigurationen und Best Practices.
Vergleichen Sie Docker Model Runner und Ollama für lokale LLMs
Lokales Ausführen großer Sprachmodelle (LLMs) ist aufgrund von Datenschutz, Kostenkontrolle und Offline-Fähigkeiten immer beliebter geworden. Die Landschaft veränderte sich im April 2025 erheblich, als Docker Docker Model Runner (DMR) einführte, seine offizielle Lösung für die Bereitstellung von KI-Modellen.
Verfügbarkeit, tatsächliche Einzelhandelspreise in sechs Ländern und Vergleich mit dem Mac Studio.
NVIDIA DGX Spark ist real, erhältlich ab dem 15. Oktober 2025 und richtet sich an CUDA-Entwickler, die lokale LLM-Arbeit mit einem integrierten NVIDIA AI-Stack benötigen. US-MSRP 3.999 $; UK/DE/JP Einzelhandel ist aufgrund von Mehrwertsteuer und Vertrieb höher. AUD/KRW öffentliche Preise sind noch nicht weit verbreitet.
Preise für AI-geeignete Consumer-GPUs - RTX 5080 und RTX 5090
Wiederholt vergleichen wir die Preise für High-End-Consumer-GPUs, die insbesondere für LLMs und allgemein für KI geeignet sind. Speziell betrachte ich die Preise für RTX-5080 und RTX-5090. Diese sind leicht gesunken.
Kurze Liste von Anwendungen zur Überwachung der GPU-Auslastung
GPU-Lastüberwachungsanwendungen: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.
Im Juli 2025 sollte es bald verfügbar sein
Nvidia steht kurz vor der Veröffentlichung von NVIDIA DGX Spark - einem kleinen AI-Supercomputer auf Blackwell-Architektur mit 128+GB einheitlichem RAM und 1 PFLOPS AI-Leistung. Eine schöne Vorrichtung, um LLMs auszuführen.
Aktualisierung der Preise für KI-geeignete GPUs - RTX 5080 und RTX 5090
Lassen Sie uns die Preise für Top-Level-Consumer-GPUs vergleichen, die insbesondere für LLMs und KI im Allgemeinen geeignet sind. Speziell schauen Sie sich die RTX 5080- und RTX 5090-Preise an. Sie sind leicht gesunken.
Preisrealitätscheck - RTX 5080 und RTX 5090
Vor nur 3 Monaten sahen wir die RTX 5090 noch nicht in den Geschäften, und jetzt sind sie da, aber die Preise liegen etwas höher als der MRSP. Lassen Sie uns die günstigsten Preise für RTX 5080 und RTX 5090 in Australien vergleichen und sehen, wie sich die Dinge entwickeln.
Mehr RAM, weniger Stromverbrauch und trotzdem teuer wie...
Top automatisiertes System für einen fantastischen Job.
