Self-Hosting

Test: Wie Ollama die Intel CPU Performance und Efficient Cores verwendet

Test: Wie Ollama die Intel CPU Performance und Efficient Cores verwendet

Ollama auf Intel CPU: Effiziente vs. Leistungscores

Ich habe eine Theorie, die ich testen möchte – wenn man alle Kerne eines Intel-Prozessors nutzt, würde das die Geschwindigkeit von LLMs erhöhen? Test: Wie Ollama die Leistung des Intel-Prozessors und der effizienten Kerne nutzt

Es nervt mich, dass das neue Gemma3-Modell mit 27 Bit (gemma3:27b, 17 GB auf Ollama) nicht in die 16 GB VRAM meines GPUs passt und teilweise auf dem CPU läuft.

So behandelt Ollama parallele Anfragen

So behandelt Ollama parallele Anfragen

Verstehen Sie Ollama-Konkurrenz, Warteschlangen und die Optimierung von OLLAMA_NUM_PARALLEL für stabile parallele Anfragen.

Dieses руководство erklärt, wie Ollama parallele Anfragen verarbeitet (Konnektivität, Warteschlangen und Ressourcenlimits) und wie man dies über die Umgebungsvariable OLLAMA_NUM_PARALLEL (und verwandte Parameter) einstellt.

Testen von Deepseek-R1 mit Ollama

Testen von Deepseek-R1 mit Ollama

Vergleich zweier deepseek-r1-Modelle mit zwei Basismodellen

DeepSeek’s erste Generation von Reasoning-Modellen mit Leistungen, die vergleichbar sind mit OpenAI-o1, einschließlich sechs dichter Modelle, die aus DeepSeek-R1 basierend auf Llama und Qwen destilliert wurden.

PyInstaller Schnellstart

PyInstaller Schnellstart

Python-Programm in eine einzelne Datei zusammenführen

Verwenden Sie PyInstaller, um Python-Programme als eigenständige Ausführbare Dateien zu verpacken. Es funktioniert unter Linux, Windows und Mac.

Nicht die effizienteste Methode, aber nutzbar.