LLM

Die Optimierung von Tokens ist die entscheidende Fähigkeit, die kosteneffiziente LLM-Anwendungen von budgetintensiven Experimenten unterscheidet.

Ich habe einige interessante Leistungsbenchmarks von GPT-OSS 120b gefunden, die auf Ollama unter drei verschiedenen Plattformen durchgeführt wurden: NVIDIA DGX Spark, Mac Studio und RTX 4080. Der GPT-OSS 120b-Modell aus der Ollama-Bibliothek wiegt 65 GB, was bedeutet, dass er nicht in die 16 GB VRAM des RTX 4080 (oder der neueren RTX 5080) passt.

Das Model Context Protocol (MCP) revolutioniert die Art und Weise, wie KI-Assistenten mit externen Datenquellen und Tools interagieren. In diesem Leitfaden erkunden wir, wie man MCP-Server in Python aufbaut, mit Beispielen, die sich auf Websuche und Scraping-Funktionen konzentrieren.

HTML in Markdown konvertieren ist eine grundlegende Aufgabe in modernen Entwicklungsworkflows, insbesondere wenn Webinhalte für Large Language Models (LLMs), Dokumentationssysteme oder statische Seiten-Generatoren wie Hugo vorbereitet werden. Dieser Leitfaden ist Teil unseres Dokumentations-Tools 2026: Markdown, LaTeX, PDF & Druckworkflows Hubs.

Docker Model Runner (DMR) ist Docks offizielle Lösung zur lokalen Ausführung von KI-Modellen, eingeführt im April 2025. Dieses Cheat Sheet bietet eine schnelle Referenz für alle wesentlichen Befehle, Konfigurationen und Best Practices.

Große Sprachmodelle (LLMs) lokal ausführen wird zunehmend beliebt, um den Schutz der Privatsphäre, den Kostenkontroll und die Offline-Fähigkeiten zu gewährleisten. Der Markt hat sich im April 2025 deutlich verändert, als Docker Docker Model Runner (DMR) eingeführt hat, seine offizielle Lösung zur Bereitstellung von KI-Modellen.

Die Zukunft von KI besteht nicht nur in intelligenteren Modellen. Es geht auch um Silizium, das auf die Art und Weise zugeschnitten ist, wie diese Modelle tatsächlich bereitgestellt werden. Spezialisierte Hardware für die LLM-Inferenz folgt einem Pfad, der an den Wechsel von GPUs zu eigens gebauten ASICs beim Bitcoin-Mining erinnert, jedoch mit schwierigeren Randbedingungen, da sich Modelle und Präzisionsrezepte ständig weiterentwickeln.

NVIDIA DGX Spark ist Realität, ab dem 15. Oktober 2025 verfügbar und richtet sich an CUDA-Entwickler, die lokale LLM-Arbeitslasten mit einem integrierten NVIDIA AI-Stack benötigen. Der US-Empfehlungspreis liegt bei 3.999 USD; der Einzelhandelspreis in UK/DE/JP ist aufgrund der MwSt. und des Vertriebswegs höher. Öffentliche Aufkleberpreise für AUD/KRW sind noch nicht weit verbreitet.

Hier ist ein Vergleich zwischen Qwen3:30b und GPT-OSS:20b, der sich auf die Befehlsausführung und Leistungsparameter, Spezifikationen und Geschwindigkeit konzentriert.

In diesem Beitrag untersuchen wir zwei Möglichkeiten, Ihre Python-Anwendung mit Ollama zu verbinden: 1. Über die HTTP REST API; 2. Über die offizielle Ollama Python-Bibliothek.

Ollama’s GPT-OSS-Modelle haben wiederkehrende Probleme bei der Verarbeitung strukturierter Ausgaben, insbesondere wenn sie mit Frameworks wie LangChain, OpenAI SDK, vllm und anderen verwendet werden.

Hier ist ein direkter Vergleich der Unterstützung für strukturierte Ausgabe (verlässliche Rückgabe von JSON) bei populären LLM-Anbietern, ergänzt um minimale Python-Beispiele.

Large Language Models (LLMs) sind leistungsstark, aber im Produktivbetrieb benötigen wir selten freie Textabsätze. Stattdessen wünschen wir uns vorhersagbare Daten: Attribute, Fakten oder strukturierte Objekte, die in eine Anwendung eingespeist werden können. Das ist Strukturierte Ausgabe von LLMs.

Hier vergleiche ich, wie viel VRAM die neue Version von Ollama für das Modell allokiert wie viel VRAM neue Version von Ollama für das Modell allokiert
im Vergleich zur vorherigen Ollama-Version. Die neue Version ist schlechter.

Ollama hat sich schnell zu einem der beliebtesten Tools zur lokalen Ausführung von LLMs entwickelt. Seine einfache CLI und die nahtlose Modellverwaltung haben es zu einer bevorzugten Option für Entwickler gemacht, die mit AI-Modellen außerhalb der Cloud arbeiten möchten.

Locally gehostete Ollama ermöglicht es, große Sprachmodelle auf Ihrem eigenen Gerät auszuführen, aber die Verwendung über die Befehlszeile ist nicht benutzerfreundlich. Hier sind mehrere Open-Source-Projekte, die ChatGPT-ähnliche Schnittstellen bereitstellen, die mit einer lokalen Ollama verbunden sind.