Warum 128K Kontext auf 16 GB scheitert
Ein Modell kann einen 128K-Kontextfenster bewerben und trotzdem bei 40K Tokens auf einer 16-GB-GPU scheitern. Die architektonische Obergrenze hat nie versprochen, dass Modellgewichte, KV-Cache, Rechenspeicher und der Desktop-Compositor gleichzeitig auf Ihrer Grafikkarte Platz finden würden.
Warum Ihr KI-Stack jeden Monat anhaltender wird.
Jeder API-Aufruf fühlt sich an wie eine einfache Transaktion – bis sich genügend davon ansammeln, dass Ihre Feinabigungsdaten, Evaluierungs-Tools und Tool-Schemas alle um einen einzigen Anbieter herum geformt sind und ein Wechsel nicht mehr nur eine Routing-Änderung ist.
Vergleich von AI-GPUs dreier Anbieter
Die Landschaft der KI-Hardware hat sich 2026 erheblich verändert. NVIDIA, AMD und Intel konkurrieren alle um Entwickler, die GPUs benötigen, die in der Lage sind, lokale Large Language Models (LLMs) und KI-Inferenz-Arbeitslasten auszuführen.
MTP im Vergleich zur Standard-Decodierung auf der RTX 4080 – echte Benchmarks
Ich habe die Leistung von spekulativem Decoding (Multi-Token Prediction, MTP) bei Qwen 3.6 27B und 35B auf einer RTX 4080 mit 16 GB VRAM getestet.
Token-Geschwindigkeit von llama.cpp bei 16 GB VRAM (Tabellen).
Hier vergleiche ich die Geschwindigkeit verschiedener LLMs, die auf einer GPU mit 16 GB VRAM laufen, und wähle den besten für den Eigenbetrieb aus.
Die RTX 5090 ist in Australien knapp und überhöht im Preis.
Australien verfügt über RTX 5090-Lagerbestände. Kaum. Und wenn Sie eine finden, zahlen Sie einen Aufpreis, der sich von der Realität zu lösen scheint.
Daten und Modelle mit selbst gehosteten LLMs kontrollieren
Das Selbst-Hosting von LLMs hält Daten, Modelle und Inferenzen unter Ihrer Kontrolle – ein praktischer Weg zur AI Sovereignty für Teams, Unternehmen und Nationen.
LLM-Test der Geschwindigkeit auf einer RTX 4080 mit 16 GB VRAM
Das lokale Ausführen großer Sprachmodelle bietet Datenschutz, Offline-Fähigkeit und null API-Kosten. Dieser Benchmark zeigt genau, was man von 14 populären LLMs auf Ollama auf einer RTX 4080 erwarten kann.
GPU- und RAM-Preiskontrolle Januar 2025
Heute untersuchen wir die Top-Level-Verbraucher-GPUs und RAM-Module. Speziell betrachte ich die Preise für RTX-5080 und RTX-5090 sowie 32GB (2x16GB) DDR5 6000.
Wählen Sie das richtige Terminal für Ihren Linux-Workflow
Eines der wichtigsten Werkzeuge für Linux-Benutzer ist der Terminal-Emulator.
Echte AUD-Preise von australischen Händlern jetzt verfügbar
Die NVIDIA DGX Spark (GB10 Grace Blackwell) ist in Australien bei großen PC-Händlern mit lokaler Lagerbestellung erhältlich. Wenn Sie die globalen Preise und die Verfügbarkeit des DGX Spark verfolgt haben, werden Sie wissen wollen, dass die Preise in Australien je nach Speicherkonfiguration und Händler zwischen 6.249 und 7.999 AUD liegen.
Cognee mit lokalen LLMs testen – reale Ergebnisse
Cognee ist ein Python-Framework zur Erstellung von Wissensgraphen aus Dokumenten mithilfe von LLMs. Funktioniert es jedoch mit selbstgehosteten Modellen?
Wie ich Netzwerkprobleme in Ubuntu behoben habe
Nach der automatischen Installation eines neuen Kernels hat Ubuntu 24.04 das Ethernet-Netzwerk verloren. Dieses frustrierende Problem trat bei mir ein zweites Mal auf, daher dokumentiere ich hier die Lösung, um anderen zu helfen, die dasselbe Problem haben.
Kurzer Beitrag, in dem lediglich der Preis erwähnt wird.
Angesichts dieser verrückten Volatilität der RAM-Preise, um ein besseres Bild zu erhalten, lassen Sie uns zunächst die RAM-Preise in Australien selbst verfolgen.
RAM-Preise steigen um 163–619 %, da die Nachfrage nach KI das Angebot unter Druck setzt.
Der Speichermarkt erlebt Ende 2025 eine beispiellose Preisschwankung, bei der die RAM-Preise in allen Segmenten dramatisch gestiegen sind.
