Hardware

Porównajmy ceny głównych kart graficznych konsumenckich, które są szczególnie odpowiednie dla modeli LLM i sztucznej inteligencji ogólnie.

W szczególności analizuję ceny RTX-5080 i RTX-5090.

Demokratyzacja sztucznej inteligencji jest tuż przed nami. Dzięki otwartym modelom LLM takim jak Llama, Mistral i Qwen, które dorównują już modelom własnościowym, zespoły mogą budować potężną infrastrukturę AI na sprzęcie konsumenckim – drastycznie obniżając koszty, jednocześnie zachowując pełną kontrolę nad prywatnością danych i wdrożeniem.

Docker Model Runner to oficjalne narzędzie firmy Docker do uruchamiania modeli AI lokalnie, ale włączanie przyspieszenia GPU od firmy NVidia w Docker Model Runner wymaga konkretnej konfiguracji.

Znalazłem pewne ciekawe testy wydajności GPT-OSS 120b działającego na Ollama na trzech różnych platformach: NVIDIA DGX Spark, Mac Studio, i RTX 4080. Model GPT-OSS 120b z biblioteki Ollama waży 65 GB, co oznacza, że nie mieści się w 16 GB VRAM na RTX 4080 (ani w nowszej RTX 5080).

Docker Model Runner (DMR) to oficjalne rozwiązanie firmy Docker do uruchamiania modeli AI lokalnie, wprowadzone w kwietniu 2025. Ten cheatsheet zawiera szybki przewodnik po wszystkich istotnych poleceniach, konfiguracjach i najlepszych praktykach.

W obecnej sytuacji informatycznej wirtualizacja stała się nieodzowna dla rozwoju, testowania i uruchamiania wielu systemów operacyjnych. Dla użytkowników systemu Linux poszukujących prostego i intuicyjnego sposobu zarządzania maszynami wirtualnymi, GNOME Boxes wyróżnia się jako lekki i przyjazny dla użytkownika wybór, który priorytetyzuje łatwość użycia bez poświęcania funkcjonalności.

Przyszłość AI dotyczy nie tylko inteligentniejszych modeli. Chodzi również o krzem, który odpowiada sposobowi, w jaki te modele są faktycznie obsługiwane. Specjalizowany sprzęt do wnioskowania LLM podąża ścieżką przypominającą ewolucję kopania Bitcoina z kart GPU na przeznaczone do tego ASIC, przy czym ograniczenia są trudniejsze, ponieważ modele i przepisy dotyczące precyzji nieustannie się rozwijają.

NVIDIA DGX Spark jest prawdziwy, dostępny od 15 października 2025 r., skierowany do deweloperów CUDA potrzebujących lokalnej pracy z modelami LLM z zintegrowanym stackiem AI NVIDIA. Cena MSRP w USA: 3 999 USD; ceny detaliczne w Wielkiej Brytanii/Niemczech/Japonii są wyższe ze względu na VAT i kanały dystrybucji. Publiczne ceny w AUD/KRW nie są jeszcze szeroko publikowane.

Porównajmy ceny najwyższych pod względem wydajności kart graficznych konsumenckich, które są szczególnie odpowiednie do modeli językowych (LLM) oraz sztucznej inteligencji ogólnie. Konkretnie przyglądam się cenom RTX-5080 i RTX-5090. Nieco spadły.

Monitorowanie obciążenia GPU: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Nvidia wkrótce wypuści NVIDIA DGX Spark – mały superkomputer AI oparty na architekturze Blackwell, z ponad 128 GB pamięci unifikowanej i wydajnością AI na poziomie 1 PFLOPS. Wspaniałe urządzenie do uruchamiania LLM.

Porównajmy ceny czołowych kart GPU dla konsumentów, które są szczególnie odpowiednie dla modeli LLM i ogólnie dla AI. W szczególności zwróćmy uwagę na ceny RTX 5080 i RTX 5090. Nieco spadły.

Tylko trzy miesiące temu nie mogliśmy kupić RTX 5090 w sklepach, a teraz są już dostępne, choć ceny są nieco wyższe niż MSRP. Porównajmy najniższe ceny RTX 5080 i RTX 5090 w Australii i zobaczmy, jak wygląda sytuacja.

Dla porównania zobacz też Ceny RTX 5080 i RTX 5090 w Australii – lipiec 2025, październik 2025 oraz listopad 2025.

Najlepszy zautomatyzowany system do niesamowitej pracy.

Jak liczba linii PCIe wpływa na wydajność LLM? W zależności od zadania. Dla treningu i inferencji wielo-GPU spadek wydajności jest znaczący.

Zostałem mocno trafiony tym problemem. Ale jeśli twój BSOD wygląda podobnie jak mój, powinieneś zbadać i przetestować swój komputer.
Przyczyna tkwi w problecie degradacji procesora Intel w 13. i 14. generacji.