Hardware

Znowu i znowu porównajmy ceny najnowszych kart graficznych dla użytkowników końcowych, które są odpowiednie do LLM i ogólnie do AI.

Konkretnie patrzę na ceny RTX-5080 i RTX-5090. Słabo spadły.

Monitorowanie obciążenia GPU: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

NVIDIA wkrótce wyda NVIDIA DGX Spark – mały superkomputer AI oparty na architekturze Blackwell z 128+GB jednolitej pamięci RAM i wydajnością 1 PFLOPS w zakresie AI. Świetny sprzęt do uruchamiania LLM.

Porównajmy ceny najlepszych kart graficznych na poziomie konsumenckim, które są odpowiednie do LLM i ogólnie do AI.

Zobacz dokładnie na ceny RTX 5080 i RTX 5090. Slighty spadły.

Dopiero trzy miesiące temu nie widzieliśmy RTX 5090 w sklepach, a teraz już są, ale ceny są nieco wyższe niż MRSP. Porównajmy najtańsze ceny RTX 5080 i RTX 5090 w Australii i zobaczmy, jak to wygląda.

Najlepszy automatyczny system do pewnego wspaniałego zadania.

Jak liczba linii PCIe wpływa na wydajność LLM? Zależy to od zadania. Dla treningu i inferencji wielo-GPU spadek wydajności jest znaczący.

Zostałem mocno trafiony tym problemem. Ale jeśli twój BSOD wygląda podobnie jak mój, powinieneś zbadać i przetestować swój komputer.
Przyczyna tkwi w problecie degradacji procesora Intel w 13. i 14. generacji.

Mam teorię do przetestowania – czy wykorzystanie Wszystkich rdzeni na procesorze Intel zwiększy szybkość LLM? Denerwuje mnie fakt, że nowy model gemma3 27 bit (gemma3:27b, 17 GB na ollama) nie mieści się w 16 GB VRAM mojej karty graficznej i częściowo działa na procesorze.

Wśród burzy współczesnego świata tutaj porównuję specyfikację techniczną różnych kart odpowiednich do zadań AI
(uczenia maszynowego,
wykrywania obiektów
i modeli językowych).
Są one jednak ogromnie drogie.

Gdy serwer Ollama otrzymuje dwa żądania w tym samym czasie, jego zachowanie zależy od konfiguracji i dostępnych zasobów systemowych.

Zainstalowanie drukarki ET-8500 na systemie Windows jest dobrze opisane w instrukcji.
Instalacja druku ET-8500 dla systemu Linux jest prosta, ale nie jest trywialna.

Porównanie prędkości przewidywania kilku wersji modeli językowych (LLM): llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (open source) na procesorze (CPU) i karcie graficznej (GPU).