Hardware

A hub for compute hardware analysis covering GPUs, CPUs, memory trends, and AI-focused workstation infrastructure.

Selbstgehostete LLMs ermöglichen die Kontrolle über Daten, Modelle und Inferenz - ein praktischer Weg zur AI-Souveränität für Teams, Unternehmen und Nationen.
Hier: Was AI-Souveränität ist, welche Aspekte und Methoden zur Erstellung verwendet werden, wie LLM-Selbsthosting dabei eine Rolle spielt und wie Länder das Problem angehen.

Das Ausführen großer Sprachmodelle lokal bietet Ihnen Privatsphäre, Offline-Fähigkeit und null API-Kosten. Diese Benchmark zeigt genau, was man von 9 beliebten LLMs auf Ollama auf einer RTX 4080 erwarten kann.

Heute untersuchen wir die Top-Level-Verbraucher-GPUs und RAM-Module. Speziell betrachte ich die Preise für RTX-5080 und RTX-5090 sowie 32GB (2x16GB) DDR5 6000.

Eines der wichtigsten Werkzeuge für Linux-Benutzer ist der Terminal-Emulator.

Der NVIDIA DGX Spark (GB10 Grace Blackwell) ist jetzt in Australien erhältlich bei großen PC-Händlern mit lokalem Lagerbestand. Wenn Sie die globale DGX Spark-Preisgestaltung und Verfügbarkeit verfolgt haben, werden Sie interessiert sein zu erfahren, dass die australischen Preise je nach Speicherkonfiguration und Händler zwischen 6.249 und 7.999 AUD liegen.

Cognee ist ein Python-Framework zum Aufbau von Wissensgraphen aus Dokumenten unter Verwendung von LLMs. Aber funktioniert es mit selbstgehosteten Modellen?

Nach der automatischen Installation eines neuen Kernels hat Ubuntu 24.04 das Ethernet-Netzwerk verloren. Dieses frustrierende Problem trat bei mir ein zweites Mal auf, daher dokumentiere ich hier die Lösung, um anderen zu helfen, die dasselbe Problem haben.

Mit dieser verrückten RAM-Preisschwankung, um ein besseres Bild zu bekommen, lassen Sie uns zunächst selbst die RAM-Preise in Australien verfolgen.

Der Speichermarkt erlebt im späten Jahr 2025 eine beispiellose Preisschwankung, wobei die RAM-Preise stark gestiegen sind.

Lassen Sie uns die Preise für High-End-Consumer-GPUs vergleichen, die insbesondere für LLMs und allgemein für KI geeignet sind. Speziell betrachte ich die Preise für RTX-5080 und RTX-5090.

Die Demokratisierung von KI ist da. Mit Open-Source-LLMs wie Llama 3, Mixtral und Qwen, die nun mit proprietären Modellen mithalten, können Teams leistungsstarke KI-Infrastruktur mit Consumer-Hardware aufbauen - Kosten senken, während sie die vollständige Kontrolle über Datenschutz und Bereitstellung behalten.

FLUX.1-dev ist ein leistungsstarkes Text-zu-Bild-Modell, das beeindruckende Ergebnisse liefert, aber dessen Speicherbedarf von über 24GB die Nutzung auf vielen Systemen erschwert. GGUF-Quantisierung von FLUX.1-dev bietet eine Lösung, indem sie den Speicherbedarf um etwa 50% reduziert, während die Bildqualität erhalten bleibt.

Docker Model Runner ist Docker’s offizielles Tool zum lokalen Ausführen von KI-Modellen, aber die Aktivierung der NVidia-GPU-Beschleunigung in Docker Model Runner erfordert eine spezifische Konfiguration.

Ich habe einige interessante Leistungsuntersuchungen zu GPT-OSS 120b ausgegraben, das auf Ollama auf drei verschiedenen Plattformen läuft: NVIDIA DGX Spark, Mac Studio und RTX 4080. Das GPT-OSS 120b-Modell aus der Ollama-Bibliothek wiegt 65 GB, was bedeutet, dass es nicht in die 16 GB VRAM einer RTX 4080 (oder der neueren RTX 5080) passt.

Docker Model Runner (DMR) ist die offizielle Lösung von Docker zum lokalen Ausführen von KI-Modellen, eingeführt im April 2025. Dieses Cheatblatt bietet eine schnelle Referenz für alle wesentlichen Befehle, Konfigurationen und Best Practices.