Hardware

Docker Model Runner är Docks officiella verktyg för att köra AI-modeller lokalt, men aktivera NVidia GPU-acceleration i Docker Model Runner kräver specifik konfiguration.

Jag hittade några intressanta prestandatest av GPT-OSS 120b som kör på Ollama över tre olika plattformar: NVIDIA DGX Spark, Mac Studio, och RTX 4080. GPT-OSS 120b-modellen från Ollama-biblioteket väger 65 GB, vilket innebär att den inte passar in i den 16 GB VRAM som finns på en RTX 4080 (eller den nyare RTX 5080).

Docker Model Runner (DMR) är Docks officiella lösning för att köra AI-modeller lokalt, introducerad i april 2025. Den här cheatsheten ger en snabb referens för alla viktiga kommandon, konfigurationer och bästa praxis.

I dagens datormiljö har virtualisering blivit avgörande för utveckling, testning och körning av flera operativsystem. För Linux-användare som söker ett enkelt och intuitivt sätt att hantera virtuella maskiner, sticker GNOME Boxes ut som ett lättviktigt och användarvänligt alternativ som prioriterar enkelhet utan att offra funktionalitet.

Framtiden för AI handlar inte bara om smartare modeller. Det handlar också om kiselbaserad hårdvara som matchar hur dessa modeller faktiskt serveras. Specialiserad hårdvara för LLM-inferens följer en väg som påminner om Bitcoin-gruvdrifts övergång från GPU till specialbyggda ASIC, men med hårdare begränsningar eftersom modeller och precisionsschemat ständigt utvecklas.

NVIDIA DGX Spark är en realitet, till salu 15 oktober 2025, och riktar sig mot CUDA-utvecklare som behöver lokal LLM-arbete med en integrerad NVIDIA AI-stack. US MSRP $3 999; UK/DE/JP-pris är högre på grund av moms och kanal. AUD/KRW-priser är ännu inte allmänt postade.

Låt oss jämföra prissättning för toppkategorins konsument-GPU:n, som är särskilt lämpade för LLM och AI i allmänhet. Specifikt tittar jag på RTX-5080 och RTX-5090-priser. De har sjunkit lite.

GPU-lastmätningsprogram: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Nvidia är på väg att släppa NVIDIA DGX Spark – en liten AI-superdator med Blackwell-arkitektur, 128+ GB enhetligt minne och 1 PFLOPS AI-prestation. En bra enhet att köra LLM på.

Låt oss jämföra priser för toppmoderna konsument-GPU:n, som är särskilt lämpade för LLM och AI i allmänhet. Titta särskilt på priser för RTX 5080 och RTX 5090. De har sjunkit något.

För precis tre månader sedan såg vi inte RTX 5090 i butiker, och nu finns de där, men priserna är något högre än MRSP (rekommenderat butikspris). Låt oss jämföra de lägsta priserna för RTX 5080 och RTX 5090 i Australien och se hur det ser ut.

För jämförelse, se även RTX 5080 och RTX 5090-priser i Australien – juli 2025, oktober 2025 och november 2025.

Top Automatiserat system för ett fantastiskt jobb.

Hur påverkar PCIe-laner LLM-prestanda? Beroende på uppgiften. För träning och fler-GPU-inferens – prestandaförändringen är betydande.

Jag drabbades hårt av detta problem. Men du bör undersöka och testa din dator om din blå skärm (BSOD) liknar min. Orsaken var Intels CPU-försämringsproblem i 13:e och 14:e generationen.

Jag har en teori att testa – om man använder alla kärnor på Intel CPU skulle det öka hastigheten hos LLMs? Det är irriterande att den nya gemma3 27-bit model (gemma3:27b, 17GB på ollama) inte passar in i min GPU:s 16GB VRAM och delvis kör på CPU.

Mitt i modern världens turbulens jämför jag här tekniska specifikationer för olika grafikkort som passar för AI-uppgifter (Djupinlärning, Objektdetektion och LLM). De är dock alla otroligt dyra.