Self-Hosting

Der Speichermarkt erlebt im späten Jahr 2025 eine beispiellose Preisschwankung, wobei die RAM-Preise stark gestiegen sind.

Lokale Bereitstellung von LLMs hat an Beliebtheit zugenommen, da Entwickler und Organisationen eine verbesserte Privatsphäre, reduzierte Latenz und eine größere Kontrolle über ihre KI-Infrastruktur anstreben.

Lassen Sie uns die Preise für High-End-Consumer-GPUs vergleichen, die insbesondere für LLMs und allgemein für KI geeignet sind. Speziell betrachte ich die Preise für RTX-5080 und RTX-5090.

Die Demokratisierung von KI ist da. Mit Open-Source-LLMs wie Llama 3, Mixtral und Qwen, die nun mit proprietären Modellen mithalten, können Teams leistungsstarke KI-Infrastruktur mit Consumer-Hardware aufbauen - Kosten senken, während sie die vollständige Kontrolle über Datenschutz und Bereitstellung behalten.

Prometheus ist zum de facto Standard für die Überwachung cloud-nativer Anwendungen und Infrastruktur geworden und bietet Metriken-Sammlung, Abfragen und Integration mit Visualisierungstools.

Grafana ist die führende Open-Source-Plattform für Überwachung und Observability, die Metriken, Protokolle und Spuren in handlungsorientierte Erkenntnisse durch beeindruckende Visualisierungen umwandelt.

Kubernetes StatefulSets sind die optimale Lösung für die Verwaltung von zustandsbehafteten Anwendungen, die stabile Identitäten, dauerhafte Speicherung und geordnete Bereitstellungsmuster benötigen – essenziell für Datenbanken, verteilte Systeme und Caching-Schichten.

FLUX.1-dev ist ein leistungsstarkes Text-zu-Bild-Modell, das beeindruckende Ergebnisse liefert, aber dessen Speicherbedarf von über 24GB die Nutzung auf vielen Systemen erschwert. GGUF-Quantisierung von FLUX.1-dev bietet eine Lösung, indem sie den Speicherbedarf um etwa 50% reduziert, während die Bildqualität erhalten bleibt.

Konfigurieren von Kontextgrößen im Docker Model Runner ist komplexer, als es sein sollte.

Black Forest Labs hat FLUX.1-Kontext-dev veröffentlicht, ein fortschrittliches Bild-zu-Bild-KI-Modell, das bestehende Bilder mithilfe von Textanweisungen erweitert.

Docker Model Runner ist Docker’s offizielles Tool zum lokalen Ausführen von KI-Modellen, aber die Aktivierung der NVidia-GPU-Beschleunigung in Docker Model Runner erfordert eine spezifische Konfiguration.

Die Wahl der richtigen headless CMS kann über den Erfolg Ihrer Content-Management-Strategie entscheiden. Lassen Sie uns drei Open-Source-Lösungen vergleichen, die den Aufbau von contentgetriebenen Anwendungen beeinflussen.

Nextcloud ist die führende Open-Source-, Self-Hosting-Cloud-Speicher- und Kollaborationsplattform, die Sie vollständig in den Besitz Ihrer Daten bringt.

Immich ist eine revolutionäre Open-Source-Lösung für die selbstgehostete Verwaltung von Fotos und Videos, die Ihnen die vollständige Kontrolle über Ihre Erinnerungen gibt. Mit Funktionen, die denen von Google Photos in nichts nachstehen – einschließlich KI-gestützter Gesichtserkennung, intelligenter Suche und automatischer Mobilgeräte-Sicherung – und dabei Ihre Daten privat und sicher auf Ihrem eigenen Server halten.

Elasticsearch ist ein leistungsstarkes verteiltes Such- und Analyse-Engine, das auf Apache Lucene basiert. Dieses umfassende Cheat-Sheet behandelt wesentliche Befehle, Best Practices und schnelle Referenzen für die Arbeit mit Elasticsearch-Clustern.

Ich habe einige interessante Leistungsuntersuchungen zu GPT-OSS 120b ausgegraben, das auf Ollama auf drei verschiedenen Plattformen läuft: NVIDIA DGX Spark, Mac Studio und RTX 4080. Das GPT-OSS 120b-Modell aus der Ollama-Bibliothek wiegt 65 GB, was bedeutet, dass es nicht in die 16 GB VRAM einer RTX 4080 (oder der neueren RTX 5080) passt.