Hardware

Rynek pamięci doświadcza niezwykłej zmienności cen w późnym 2025 roku, z nadmierne wzrosty cen RAM obserwowane w całych segmentach.

Porównajmy ceny najnowszych kart graficznych dla użytkowników końcowych, które są szczególnie odpowiednie do LLM, a także ogólnie do AI. Konkretnie zajmuję się cenami RTX-5080 i RTX-5090.

Demokratyzacja AI jest tu. Z powodu otwartych źródeł LLM takich jak Llama 3, Mixtral i Qwen, które teraz rywalizują z modelami prywatnymi, zespoły mogą tworzyć potężną infrastrukturę AI za pomocą sprzętu konsumenta - znacznie obniżając koszty, jednocześnie utrzymując pełną kontrolę nad prywatnością danych i wdrażaniem.

Docker Model Runner to narzędzie oficjalne Dockera do uruchamiania modeli AI lokalnie, ale włączanie przyspieszenia GPU od firmy NVidia w Docker Model Runner wymaga konkretnej konfiguracji.

Znalazłem kilka ciekawych testów wydajności GPT-OSS 120b działającego na Ollama na trzech różnych platformach: NVIDIA DGX Spark, Mac Studio i RTX 4080. Model GPT-OSS 120b z biblioteki Ollama waży 65 GB, co oznacza, że nie mieści się w 16 GB VRAM na RTX 4080 (ani w nowszej RTX 5080).

Docker Model Runner (DMR) to oficjalne rozwiązanie firmy Docker do uruchamiania modeli AI lokalnie, wprowadzone w kwietniu 2025 roku. Ten cheatsheet zawiera szybki przewodnik po wszystkich istotnych komendach, konfiguracjach i najlepszych praktykach.

W obecnej sytuacji informatycznej wirtualizacja stała się nieodzowna dla rozwoju, testowania i uruchamiania wielu systemów operacyjnych. Dla użytkowników systemu Linux poszukujących prostego i intuicyjnego sposobu zarządzania maszynami wirtualnymi, GNOME Boxes wyróżnia się jako lekki i przyjazny dla użytkownika wybór, który priorytetyzuje łatwość użycia bez poświęcania funkcjonalności.

Przyszłość AI nie jest tylko o bardziej inteligentne modele – jest o bardziej inteligentny krzem.
Specjalistyczne sprzęty do wyznaczania wyników LLM napędzają rewolucję podobną do przejścia od wydobywania bitcoina do ASICów.

NVIDIA DGX Spark jest rzeczywisty, dostępny do zakupu 15 października 2025 roku, i skierowany do programistów CUDA, którzy potrzebują lokalnej pracy z LLM zintegrowanej z NVIDIA AI stack. Cena MSRP w Stanach Zjednoczonych to $3 999; UK/DE/JP ma wyższą cenę detaliczną z powodu VAT i kanałów. AUD/KRW publiczne ceny są jeszcze nie powszechnie opublikowane.

Proxmox Virtual Environment (Proxmox VE) to otwarty źródłowy, typu 1 hypervisor i platforma orchestracji centrów danych oparta na Debianie.

Znowu i znowu porównajmy ceny najnowszych kart graficznych dla użytkowników końcowych, które są odpowiednie do LLM i ogólnie do AI.

Konkretnie patrzę na ceny RTX-5080 i RTX-5090. Słabo spadły.

Monitorowanie obciążenia GPU: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

NVIDIA wkrótce wyda NVIDIA DGX Spark – mały superkomputer AI oparty na architekturze Blackwell z 128+GB jednolitej pamięci RAM i wydajnością 1 PFLOPS w zakresie AI. Świetny sprzęt do uruchamiania LLM.

Porównajmy ceny najlepszych kart graficznych na poziomie konsumenckim, które są odpowiednie do LLM i ogólnie do AI.

Zobacz dokładnie na ceny RTX 5080 i RTX 5090. Slighty spadły.

Dopiero trzy miesiące temu nie widzieliśmy RTX 5090 w sklepach, a teraz już są, ale ceny są nieco wyższe niż MRSP. Porównajmy najtańsze ceny RTX 5080 i RTX 5090 w Australii i zobaczmy, jak to wygląda.

Najlepszy automatyczny system do pewnego wspaniałego zadania.