Ollama

Wie PCIe-Lanes die LLM-Performance beeinflussen? Je nach Aufgabe. Bei Training und Multi-GPU- Inferenz ist der Leistungsverlust erheblich.

Im Ollama-Modell-Repository gibt es Modelle, die in der Lage sind, HTML-Inhalt in Markdown umzuwandeln – was für Aufgaben zur Inhaltskonvertierung nützlich ist.

Hier finden Sie eine Übersicht über einige AI-betriebene Coding-Tools und ihre Vorzüge:

Ich habe eine Theorie, die ich testen möchte – wenn man alle Kerne eines Intel-Prozessors nutzt, würde das die Geschwindigkeit von LLMs erhöhen? Test: Wie Ollama die Leistung und effizienten Kerne von Intel-Prozessoren nutzt

Es stört mich, dass das neue Gemma3-Modell mit 27 Bit (gemma3:27b, 17 GB auf Ollama) nicht in die 16 GB VRAM meines GPUs passt und teilweise auf dem CPU läuft.

Wenn der Ollama-Server zwei Anfragen gleichzeitig erhält, hängt sein Verhalten von seiner Konfiguration und den verfügbaren Systemressourcen ab.

DeepSeek’s erste Generation von Schlussfolgerungsmodellen mit Leistung, die vergleichbar mit OpenAI-o1 ist, einschließlich sechs dichter Modelle, die aus DeepSeek-R1 basierend auf Llama und Qwen destilliert wurden.

Hier ist die Liste und Beispiele der nützlichsten Ollama-Befehle (Ollama-Befehlsübersicht), die ich vor einiger Zeit zusammengestellt habe. Hoffentlich wird sie auch für Sie nützlich sein.

Vor nicht allzu langer Zeit wurde veröffentlicht. Lassen Sie uns aufschließen und
testen, wie Mistral Small sich im Vergleich zu anderen LLMs schlägt.

Reranking ist der zweite Schritt im Retrieval Augmented Generation (RAG) systemen, direkt zwischen Retrieving und Generating.

Hervorragende Nahrung ist auch ein Vergnügen für die Augen. Aber in diesem Beitrag vergleichen wir zwei AI-basierte Suchsysteme, Farfalle und Perplexica.

Das ist sehr aufregend! Statt Copilot oder perplexity.ai zu rufen und der ganzen Welt zu erzählen, wonach Sie suchen, können Sie nun einen ähnlichen Dienst auf Ihrem eigenen PC oder Laptop hosten!

Kürzlich haben wir mehrere neue LLMs gesehen, die veröffentlicht wurden. Aufregende Zeiten. Lassen Sie uns testen und sehen, wie sie sich bei der Erkennung logischer Fehlschlüsse schlagen.

Als ich begann, mit LLMs zu experimentieren, waren die Benutzeroberflächen für sie noch in aktiver Entwicklung, und heute sind einige von ihnen wirklich gut.

Es gibt dennoch einige gängige Ansätze, um gute Prompts zu formulieren, damit LLMs nicht durcheinanderkommen, wenn sie versuchen zu verstehen, was man von ihnen möchte.

Testing, wie Modelle mit unterschiedlicher Anzahl an Parametern und Quantisierung sich verhalten.

Nachdem Sie Ollama installiert haben, ist es besser, Ollama direkt so zu konfigurieren, dass die Modelle an einem neuen Ort gespeichert werden. So werden neue Modelle nicht mehr in den alten Speicherort heruntergeladen.