Hardware

Proxmox Virtual Environment (Proxmox VE) is een open-source, type-1 hypervisor en datacenter-orchestratieplatform gebaseerd op Debian.

Weer en weer vergelijken we de prijzen van topniveau consumenten GPU’s, die geschikt zijn voor LLMs in het bijzonder en AI in het algemeen. Specifiek kijk ik naar RTX-5080 en RTX-5090 prijzen. Ze zijn licht gedaald.

GPU belasting monitoring toepassingen: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Nvidia is op het punt om NVIDIA DGX Spark te lanceren - een kleine AI-supercomputer op Blackwell-architectuur met 128+GB geïntegreerde RAM en 1 PFLOPS AI-prestaties. Mooi apparaat om LLMs uit te voeren.

Laat ons de prijzen van de top-level consumenten-GPUs vergelijken, die geschikt zijn voor LLMs in het bijzonder en AI over het algemeen. Kijk specifiek naar prijzen van RTX 5080 en RTX 5090. Ze zijn licht gedaald.

Precies 3 maanden geleden zagen we de RTX 5090 nog niet in winkels, en nu zijn ze er, maar de prijzen zijn iets hoger dan de MRSP. Laten we de goedkoopste prijzen voor RTX 5080 en RTX 5090 in Australië vergelijken en kijken hoe het ervoor staat.

Top geautomatiseerd systeem voor een geweldige taak.

Hoe beïnvloeden PCIe-lanes de prestaties van LLM’s? Afhangend van de taak. Voor training en multi-GPU-inferentie - is de prestatievermindering aanzienlijk.

Ik werd hard getroffen door dit probleem. Maar je zou moeten onderzoeken en testen op je PC als je BSOD er net zo uitziet als het mijne.
De oorzaak was Intel’s CPU Degradation Issue in 13th en 14th generatie.

Ik heb een theorie om te testen – als we alle kernen op een Intel CPU gebruiken, verhoogt dat de snelheid van LLMs? Het irriteert me dat de nieuwe gemma3 27 bit model (gemma3:27b, 17 GB op ollama) niet past in de 16 GB VRAM van mijn GPU en gedeeltelijk op de CPU draait.

In het midden van de moderne wereld’s onrust ben ik tech specs van verschillende kaarten vergelijken die geschikt zijn voor AI taken (Deep Learning, Object Detectie en LLMs). Ze zijn allemaal enorm duur, echter.

Wanneer de Ollama-server twee aanvragen tegelijkertijd ontvangt, hangt het gedrag ervan af van de configuratie en de beschikbare systeemresources.

Het installeren van de ET-8500 op Windows is goed gedocumenteerd in de instructie. De installatie van de ET-8500 Linux Driver is eenvoudig, maar niet triviaal.

Vergelijking van de voorspellende snelheid van verschillende versies van LLMs: llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (open source) op CPU en GPU.