Ollama

Test: Wie Ollama die Intel CPU Performance und Efficient Cores verwendet

Test: Wie Ollama die Intel CPU Performance und Efficient Cores verwendet

Ollama auf Intel CPU: Effiziente vs. Leistungscores

Ich habe eine Theorie, die ich testen möchte – wenn man alle Kerne eines Intel-Prozessors nutzt, würde das die Geschwindigkeit von LLMs erhöhen? Test: Wie Ollama die Leistung des Intel-Prozessors und der effizienten Kerne nutzt

Es nervt mich, dass das neue Gemma3-Modell mit 27 Bit (gemma3:27b, 17 GB auf Ollama) nicht in die 16 GB VRAM meines GPUs passt und teilweise auf dem CPU läuft.

Wie Ollama parallele Anfragen verarbeitet

Wie Ollama parallele Anfragen verarbeitet

„Konfigurieren von ollama für parallelle Anfragenbearbeitung.“

Wenn der Ollama-Server zwei Anfragen gleichzeitig erhält, hängt sein Verhalten von seiner Konfiguration und den verfügbaren Systemressourcen ab.

Testen von Deepseek-R1 mit Ollama

Testen von Deepseek-R1 mit Ollama

Vergleich zweier deepseek-r1-Modelle mit zwei Basismodellen

DeepSeek’s erste Generation von Reasoning-Modellen mit Leistungen, die vergleichbar sind mit OpenAI-o1, einschließlich sechs dichter Modelle, die aus DeepSeek-R1 basierend auf Llama und Qwen destilliert wurden.

Selbstgehostetes Perplexica – mit Ollama

Selbstgehostetes Perplexica – mit Ollama

Lokaler Betrieb eines Copilot-ähnlichen Services? Einfach!

Das ist sehr aufregend! Anstatt Copilot oder perplexity.ai zu nutzen und der ganzen Welt mitzuteilen, wonach Sie suchen, können Sie nun einen ähnlichen Dienst auf Ihrem eigenen PC oder Laptop hosten!

Gemma2 vs Qwen2 vs Mistral Nemo vs...

Gemma2 vs Qwen2 vs Mistral Nemo vs...

Testen der Erkennung logischer Fehlschlüsse

Kürzlich haben wir mehrere neue LLMs gesehen, die veröffentlicht wurden. Aufregende Zeiten. Lassen Sie uns testen und sehen, wie sie sich bei der Erkennung logischer Fehlschlüsse schlagen.

Die Erstellung effektiver Prompts für LLMs

Die Erstellung effektiver Prompts für LLMs

Erfordert etwas Experimentieren, aber

Es gibt dennoch einige gängige Ansätze, um gute Prompts zu formulieren, damit LLMs nicht durcheinanderkommen, wenn sie versuchen zu verstehen, was man von ihnen möchte.