Self-Hosting

Test: Wie Ollama die Leistung und Effizienz der Intel CPU-Kerne nutzt

Test: Wie Ollama die Leistung und Effizienz der Intel CPU-Kerne nutzt

Ollama auf Intel CPU: Effiziente vs. Leistungscores

Ich habe eine Theorie, die ich testen möchte – wenn man alle Kerne eines Intel-Prozessors nutzt, würde das die Geschwindigkeit von LLMs erhöhen? Test: Wie Ollama die Leistung und effizienten Kerne von Intel-Prozessoren nutzt

Es stört mich, dass das neue Gemma3-Modell mit 27 Bit (gemma3:27b, 17 GB auf Ollama) nicht in die 16 GB VRAM meines GPUs passt und teilweise auf dem CPU läuft.

Wie Ollama parallele Anfragen verarbeitet

Wie Ollama parallele Anfragen verarbeitet

Konfigurieren Sie ollama für die parallele Ausführung von Anfragen.

Wenn der Ollama-Server zwei Anfragen gleichzeitig erhält, hängt sein Verhalten von seiner Konfiguration und den verfügbaren Systemressourcen ab.

Testen von Deepseek-R1 mit Ollama

Testen von Deepseek-R1 mit Ollama

Vergleich zweier deepseek-r1-Modelle mit zwei Basismodellen

DeepSeek’s erste Generation von Schlussfolgerungsmodellen mit Leistung, die vergleichbar mit OpenAI-o1 ist, einschließlich sechs dichter Modelle, die aus DeepSeek-R1 basierend auf Llama und Qwen destilliert wurden.

PyInstaller Schnellstart

PyInstaller Schnellstart

Python-Programm in eine einzelne Datei zusammenführen

Verwenden Sie PyInstaller, um Python-Programme als eigenständige Ausführbare Dateien zu verpacken. Es funktioniert unter Linux, Windows und Mac.

Nicht die effizienteste Methode, aber nutzbar.