Ollama

Ich habe eine Theorie, die ich testen möchte – wenn man alle Kerne eines Intel-Prozessors nutzt, würde das die Geschwindigkeit von LLMs erhöhen? Test: Wie Ollama die Leistung des Intel-Prozessors und der effizienten Kerne nutzt

Es nervt mich, dass das neue Gemma3-Modell mit 27 Bit (gemma3:27b, 17 GB auf Ollama) nicht in die 16 GB VRAM meines GPUs passt und teilweise auf dem CPU läuft.

Wenn der Ollama-Server zwei Anfragen gleichzeitig erhält, hängt sein Verhalten von seiner Konfiguration und den verfügbaren Systemressourcen ab.

DeepSeek’s erste Generation von Reasoning-Modellen mit Leistungen, die vergleichbar sind mit OpenAI-o1, einschließlich sechs dichter Modelle, die aus DeepSeek-R1 basierend auf Llama und Qwen destilliert wurden.

Dieses Ollama CLI Cheatsheet konzentriert sich auf die Befehle, die Sie täglich verwenden (ollama ls, ollama serve, ollama run, ollama ps, Modellverwaltung und gängige Workflows), mit Beispielen, die Sie kopieren und einfügen können.

Vor nicht allzu langer Zeit wurde veröffentlicht. Lassen Sie uns aufschließen und testen Sie, wie Mistral Small sich im Vergleich zu anderen LLMs schlägt.

Reranking ist der zweite Schritt im Retrieval Augmented Generation (RAG) systemen, direkt zwischen Retrieving und Generating.

Hervorragende Nahrung ist auch ein Vergnügen für die Augen. Aber in diesem Beitrag vergleichen wir zwei AI-basierte Suchsysteme, Farfalle und Perplexica.

Das ist sehr aufregend!
Statt Copilot oder perplexity.ai zu rufen und der ganzen Welt zu erzählen, wonach Sie suchen, können Sie nun einen ähnlichen Dienst auf Ihrem eigenen PC oder Laptop hosten!

Kürzlich haben wir mehrere neue LLMs gesehen, die veröffentlicht wurden. Aufregende Zeiten. Lassen Sie uns testen und sehen, wie sie sich bei der Erkennung logischer Fehlschlüsse schlagen.

Als ich begann, mit LLMs zu experimentieren, waren die Benutzeroberflächen für sie noch in aktiver Entwicklung, und heute sind einige von ihnen wirklich gut.

Es gibt dennoch einige gängige Ansätze, um gute Prompts zu formulieren, damit LLMs nicht durcheinanderkommen, wenn sie versuchen zu verstehen, was man von ihnen möchte.

Testen, wie Modelle mit unterschiedlicher Anzahl an Parametern und Quantisierung sich verhalten.

Nachdem Sie Ollama installiert haben, ist es besser, Ollama direkt so zu konfigurieren, dass die Modelle an einem neuen Ort gespeichert werden. So werden neue Modelle, die Sie herunterladen, nicht mehr an den alten Ort geladen.