Hardware

Top automatisiertes System für einen fantastischen Job.

Wie PCIe-Lanes die LLM-Performance beeinflussen? Je nach Aufgabe. Bei Training und Multi-GPU- Inferenz ist der Leistungsverlust erheblich.

Ich wurde von diesem Problem stark getroffen. Aber Sie sollten Ihre PC-Systeme untersuchen und testen, wenn Ihr BSOD wie meiner ist.
Die Ursache lag bei Intel’s CPU Degradation Issue in 13th and 14th generation.

Ich habe eine Theorie, die ich testen möchte – wenn man alle Kerne eines Intel-Prozessors nutzt, würde das die Geschwindigkeit von LLMs erhöhen? Test: Wie Ollama die Leistung und effizienten Kerne von Intel-Prozessoren nutzt

Es stört mich, dass das neue Gemma3-Modell mit 27 Bit (gemma3:27b, 17 GB auf Ollama) nicht in die 16 GB VRAM meines GPUs passt und teilweise auf dem CPU läuft.

Inmitten der Turbulenzen der modernen Welt hier vergleiche ich die technischen Spezifikationen verschiedener Grafikkarten für KI-Aufgaben
(Deep Learning,
Objekterkennung
und LLMs).
Sie sind jedoch alle unglaublich teuer.

Wenn der Ollama-Server zwei Anfragen gleichzeitig erhält, hängt sein Verhalten von seiner Konfiguration und den verfügbaren Systemressourcen ab.

Die Installation des ET-8500 auf Windows ist gut dokumentiert. Die ET-8500 Linux-Treiber-Installation ist einfach, aber nicht trivial.

Vergleich der Vorhersagegeschwindigkeit verschiedener Versionen von LLMs: llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (Open Source) auf CPU und GPU.