AI

Die Demokratisierung von KI ist da. Mit Open-Source-LLMs wie Llama 3, Mixtral und Qwen, die nun mit proprietären Modellen mithalten, können Teams leistungsstarke KI-Infrastruktur mit Consumer-Hardware aufbauen - Kosten senken, während sie die vollständige Kontrolle über Datenschutz und Bereitstellung behalten.

Retrieval-Augmented Generation (RAG) hat sich weit über einfache Vektorsimilaritäts-Suche hinaus entwickelt. LongRAG, Self-RAG und GraphRAG repräsentieren die Spitze dieser Fähigkeiten.

FLUX.1-dev ist ein leistungsstarkes Text-zu-Bild-Modell, das beeindruckende Ergebnisse liefert, aber dessen Speicherbedarf von über 24GB die Nutzung auf vielen Systemen erschwert. GGUF-Quantisierung von FLUX.1-dev bietet eine Lösung, indem sie den Speicherbedarf um etwa 50% reduziert, während die Bildqualität erhalten bleibt.

Konfigurieren von Kontextgrößen im Docker Model Runner ist komplexer, als es sein sollte.

Black Forest Labs hat FLUX.1-Kontext-dev veröffentlicht, ein fortschrittliches Bild-zu-Bild-KI-Modell, das bestehende Bilder mithilfe von Textanweisungen erweitert.

Docker Model Runner ist Docker’s offizielles Tool zum lokalen Ausführen von KI-Modellen, aber die Aktivierung der NVidia-GPU-Beschleunigung in Docker Model Runner erfordert eine spezifische Konfiguration.

Tokenoptimierung ist die kritische Fähigkeit, die kosteneffiziente LLM-Anwendungen von budgetbelastenden Experimenten unterscheidet.

Immich ist eine revolutionäre Open-Source-Lösung für die selbstgehostete Verwaltung von Fotos und Videos, die Ihnen die vollständige Kontrolle über Ihre Erinnerungen gibt. Mit Funktionen, die denen von Google Photos in nichts nachstehen – einschließlich KI-gestützter Gesichtserkennung, intelligenter Suche und automatischer Mobilgeräte-Sicherung – und dabei Ihre Daten privat und sicher auf Ihrem eigenen Server halten.

Ich habe einige interessante Leistungsuntersuchungen zu GPT-OSS 120b ausgegraben, das auf Ollama auf drei verschiedenen Plattformen läuft: NVIDIA DGX Spark, Mac Studio und RTX 4080. Das GPT-OSS 120b-Modell aus der Ollama-Bibliothek wiegt 65 GB, was bedeutet, dass es nicht in die 16 GB VRAM einer RTX 4080 (oder der neueren RTX 5080) passt.

Das Model Context Protocol (MCP) revolutioniert die Art und Weise, wie KI-Assistenten mit externen Datenquellen und Tools interagieren. In diesem Leitfaden erkunden wir, wie man MCP-Server in Python aufbaut, mit Beispielen, die sich auf Websuche und Scraping-Funktionen konzentrieren.

Docker Model Runner (DMR) ist die offizielle Lösung von Docker zum lokalen Ausführen von KI-Modellen, eingeführt im April 2025. Dieses Cheatblatt bietet eine schnelle Referenz für alle wesentlichen Befehle, Konfigurationen und Best Practices.

Lokales Ausführen großer Sprachmodelle (LLMs) ist aufgrund von Datenschutz, Kostenkontrolle und Offline-Fähigkeiten immer beliebter geworden. Die Landschaft veränderte sich im April 2025 erheblich, als Docker Docker Model Runner (DMR) einführte, seine offizielle Lösung für die Bereitstellung von KI-Modellen.

Die Zukunft von AI geht nicht nur um intelligentere Modelle, sondern um intelligentere Siliziumlösungen. Spezialisierte Hardware für LLM-Inferenz treibt eine Revolution ähnlich wie der Wechsel zu ASICs beim Bitcoin-Mining.

NVIDIA DGX Spark ist real, erhältlich ab dem 15. Oktober 2025 und richtet sich an CUDA-Entwickler, die lokale LLM-Arbeit mit einem integrierten NVIDIA AI-Stack benötigen. US-MSRP 3.999 $; UK/DE/JP Einzelhandel ist aufgrund von Mehrwertsteuer und Vertrieb höher. AUD/KRW öffentliche Preise sind noch nicht weit verbreitet.

Dieser Leitfaden bietet einen umfassenden Überblick über verfügbare Go SDKs für Ollama und vergleicht deren Funktionsumfänge.

Hier ist ein Vergleich zwischen Qwen3:30b und GPT-OSS:20b mit Fokus auf Befolgung von Anweisungen und Leistungsparametern, Spezifikationen und Geschwindigkeit: