LLM

Große Sprachmodelle (LLMs) sind leistungsfähig, aber in der Produktion wollen wir selten frei formulierte Absätze. Stattdessen wollen wir vorhersehbare Daten: Attribute, Fakten oder strukturierte Objekte, die Sie in eine Anwendung einspeisen können. Das ist LLM-Strukturierte Ausgabe.

Hier vergleiche ich, wie viel VRAM die neue Version von Ollama für das Modell allokiert wie viel VRAM neue Version von Ollama für das Modell allokiert
im Vergleich zur vorherigen Ollama-Version. Die neue Version ist schlechter.

Ollama hat sich schnell zu einem der beliebtesten Tools zur lokalen Ausführung von LLMs entwickelt. Seine einfache CLI und die nahtlose Modellverwaltung haben es zu einer bevorzugten Option für Entwickler gemacht, die mit AI-Modellen außerhalb der Cloud arbeiten möchten.

Locally gehostete Ollama ermöglicht es, große Sprachmodelle auf Ihrem eigenen Gerät auszuführen, aber die Verwendung über die Befehlszeile ist nicht benutzerfreundlich. Hier sind mehrere Open-Source-Projekte, die ChatGPT-ähnliche Schnittstellen bereitstellen, die mit einer lokalen Ollama verbunden sind.

Nvidia steht kurz vor der Veröffentlichung von NVIDIA DGX Spark - einem kleinen AI-Supercomputer auf Blackwell-Architektur mit 128+GB einheitlichem RAM und 1 PFLOPS AI-Leistung. Eine schöne Vorrichtung, um LLMs auszuführen.

Hier haben wir eine Beschreibung des Model Context Protocol (MCP), kurze Notizen zur Implementierung eines MCP-Servers in Go, einschließlich der Nachrichtenstruktur und Protokollspezifikationen.

Da das standardmäßige Ollama keinen direkten Rerank-API-Anschluss hat, müssen Sie Reranking mit Qwen3 Reranker in GO implementieren, indem Sie Embeddings für Abfrage-Dokument-Paare generieren und sie bewerten.

In diesem Test vergleiche ich, wie verschiedene LLMs, die auf Ollama gehostet werden, Hugo- Seiten von englisch auf deutsch übersetzen.

Dieses kleine Reranking Go-Codebeispiel ruft Ollama auf, um Embeddings zu generieren für die Abfrage und für jede Kandidatendokumente, dann Sortieren nach absteigender Kosinusähnlichkeit.

Die Qwen3 Embedding und Reranker Modelle sind die neuesten Veröffentlichungen in der Qwen-Familie und wurden speziell für fortgeschrittene Text-Embedding-, Retrieval- und Reranking-Aufgaben entwickelt.

Wie PCIe-Lanes die Leistung von LLMs beeinflussen? Je nach Aufgabe. Bei Training und Multi-GPU- Inferenz ist der Leistungsverlust erheblich.

Im Ollama-Modell-Repository gibt es Modelle, die in der Lage sind, HTML-Inhalt in Markdown umzuwandeln, was für Aufgaben der Inhaltskonvertierung nützlich ist. Dieser Leitfaden ist Teil unseres Hubs Dokumentations-Tools 2026: Markdown, LaTeX, PDF & Druckworkflows.

• Suche ist am besten geeignet, um Informationen schnell und direkt mit Schlüsselwörtern abzurufen.
• Tiefe Suche ist hervorragend darin, den Kontext und die Absicht zu verstehen und dadurch für komplexe Abfragen relevantere und umfassendere Ergebnisse liefert.

Hier finden Sie eine Übersicht über einige AI-betriebene Coding-Tools und ihre Vorzüge:

Die Verwendung von LLMs ist nicht sehr teuer, es könnte kein Bedarf bestehen, neue, unglaublich leistungsstarke GPUs zu kaufen.
Hier ist eine Liste der LLM-Anbieter in der Cloud mit den LLMs, die sie hosten.

Ich habe eine Theorie, die ich testen möchte – wenn man alle Kerne eines Intel-Prozessors nutzt, würde das die Geschwindigkeit von LLMs erhöhen? Test: Wie Ollama die Leistung des Intel-Prozessors und der effizienten Kerne nutzt

Es nervt mich, dass das neue Gemma3-Modell mit 27 Bit (gemma3:27b, 17 GB auf Ollama) nicht in die 16 GB VRAM meines GPUs passt und teilweise auf dem CPU läuft.