Ollama

Reranking ist ein zweiter Schritt in Retrieval-Augmented-Generation-Systemen (RAG) Systeme, genau zwischen dem Abrufen (Retrieval) und der Generierung.

Hervorragendes Essen ist auch ein Genuss für die Augen. Aber in diesem Beitrag vergleichen wir zwei KI-basierte Suchsysteme, Farfalle und Perplexica.

Das ist sehr aufregend! Anstatt Copilot oder perplexity.ai zu nutzen und der ganzen Welt mitzuteilen, wonach Sie suchen, können Sie nun einen ähnlichen Dienst auf Ihrem eigenen PC oder Laptop hosten!

Kürzlich haben wir mehrere neue LLMs gesehen, die veröffentlicht wurden. Aufregende Zeiten. Lassen Sie uns testen und sehen, wie sie sich bei der Erkennung logischer Fehlschlüsse schlagen.

Als ich anfing, mit LLMs zu experimentieren, waren die Benutzeroberflächen für diese noch in aktiver Entwicklung und heute sind einige davon wirklich gut.

Es gibt dennoch einige gängige Ansätze, um gute Prompts zu formulieren, damit LLMs nicht durcheinanderkommen, wenn sie versuchen zu verstehen, was man von ihnen möchte.

Testen, wie Modelle mit unterschiedlicher Anzahl an Parametern und Quantisierung sich verhalten.

Nach dem Installieren von Ollama ist es besser, Ollama sofort neu zu konfigurieren, um die Modelle direkt am neuen Speicherort abzulegen. So werden nach dem Herunterladen eines neuen Modells keine Dateien mehr am alten Ort gespeichert.