Czy myślisz o zainstalowaniu drugiej karty graficznej dla modeli LLM?
Jak liczba linii PCIe wpływa na wydajność LLM? Zależy to od zadania. Dla treningu i inferencji wielo-GPU spadek wydajności jest znaczący.
A dlaczego widzę ten BSOD...
Zostałem mocno trafiony tym problemem. Ale jeśli twój BSOD wygląda podobnie jak mój, powinieneś zbadać i przetestować swój komputer.
Przyczyna tkwi w problecie degradacji procesora Intel w 13. i 14. generacji.
Ollama na procesorze Intel CPU: wydajność w porównaniu do rdzeni o wysokiej wydajności
Mam teorię do przetestowania – czy wykorzystanie Wszystkich rdzeni na procesorze Intel zwiększy szybkość LLM? Denerwuje mnie fakt, że nowy model gemma3 27 bit (gemma3:27b, 17 GB na ollama) nie mieści się w 16 GB VRAM mojej karty graficznej i częściowo działa na procesorze.
AI wymaga dużo mocy...
Wśród burzy współczesnego świata tutaj porównuję specyfikację techniczną różnych kart odpowiednich do zadań AI
(uczenia maszynowego,
wykrywania obiektów
i modeli językowych).
Są one jednak ogromnie drogie.
Konfigurowanie ollama do wykonywania równoległych żądań.
Gdy serwer Ollama otrzymuje dwa żądania w tym samym czasie, jego zachowanie zależy od konfiguracji i dostępnych zasobów systemowych.
Jest znacznie prostsze niż porównywanie do starych sterowników drukarek
Zainstalowanie drukarki ET-8500 na systemie Windows jest dobrze opisane w instrukcji.
Instalacja druku ET-8500 dla systemu Linux jest prosta, ale nie jest trywialna.
Sprawdźmy prędkość LLM na GPU vs CPU
Porównanie prędkości przewidywania kilku wersji modeli językowych (LLM): llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (open source) na procesorze (CPU) i karcie graficznej (GPU).
