Snelheid van llama.cpp-tokens bij 16 GB VRAM (tabellen).
Hier vergelijk ik de snelheid van verschillende LLMs die draaien op een GPU met 16 GB VRAM en kies ik de beste optie voor self-hosting.
De RTX 5090 is in Australië schaars en overprijsd.
Australië heeft voorraad RTX 5090. Amper. En als je er eentje vindt, betaal je een premie die los staat van de realiteit.
Componeren-als-basis Ollama-server met GPU en persistentie.
Ollama werkt uitstekend op bare metal. Het wordt nog interessanter wanneer je het als een service behandelt: een stabiel eindpunt, vastgezet versies, persistente opslag en een GPU die ofwel beschikbaar is of niet.
LLM-snelheidstest op RTX 4080 met 16 GB VRAM
Het lokaal uitvoeren van grote taalmodellen biedt privacy, offline mogelijkheden en nul API-kosten. Deze benchmark laat precies zien wat men kan verwachten van 14 populaire LLMs op Ollama op een RTX 4080.
Kies het juiste terminalvenster voor je Linux-werkstroom
Een van de meest essentiële tools voor Linux-gebruikers is de terminal emulator.
Real AUD-prijzen van Australische retailers, nu.
De NVIDIA DGX Spark (GB10 Grace Blackwell) is nu in Australië beschikbaar bij grote PC-handelaars met lokale voorraad. Als u de welvaartsprijzen en beschikbaarheid van de DGX Spark wereldwijd volgt, bent u misschien geïnteresseerd om te weten dat de prijzen in Australië variëren van $6.249 tot $7.999 AUD, afhankelijk van de opslagconfiguratie en de handelaar.
Prijzen van voor AI geschikte consumentsgpu's - RTX 5080 en RTX 5090
Laten we prijzen vergelijken voor topconsumptie-GPU’s, die met name geschikt zijn voor LLM’s en AI in het algemeen. Specifiek kijk ik naar RTX-5080- en RTX-5090-prijzen.
Vereenig tekst, afbeeldingen en audio in gedeelde embedding-ruimtes
Cross-modale ingebedden stellen een doorbraak voor in de kunstmatige intelligentie, waardoor begrip en redeneren mogelijk worden over verschillende gegefstypen binnen een gedeelde representatie-ruimte.
Implementeer enterprise AI op budgethardware met open modellen
De democratisering van AI is een feit. Met open-source LLM’s zoals Llama, Mistral en Qwen die nu eigen modellen rivaliseren, kunnen teams krachtige AI-infrastructuur op consumentenhardware bouwen – kosten drastisch verlagen terwijl volledige controle over gegevensprivacy en implementatie behouden blijft.
Stel contextgroottes in in Docker Model Runner met omzeilingen
Het instellen van contextgrootte in Docker Model Runner is complexer dan het zou moeten zijn.
AI-model voor het aanvullen van afbeeldingen met tekstinstructies
Black Forest Labs heeft FLUX.1-Kontext-dev, een geavanceerd beeld-naar-beeld AI-model dat bestaande beelden verrijkt met behulp van tekstinstructies, vrijgegeven.
Stel GPU-acceleratie in voor Docker Model Runner met ondersteuning voor NVIDIA CUDA
Docker Model Runner is Docker’s officiële tool om AI-modellen lokaal uit te voeren, maar NVIDIA GPU-acceleratie inschakelen in Docker Model Runner vereist specifieke configuratie.
GPT-OSS 120b benchmarks op drie AI-platforms
Ik vond enkele interessante prestatietests van GPT-OSS 120b die draaien op Ollama over drie verschillende platforms: NVIDIA DGX Spark, Mac Studio, en RTX 4080. De GPT-OSS 120b model uit de Ollama bibliotheek weegt 65 GB, wat betekent dat het niet past in de 16 GB VRAM van een RTX 4080 (of de nieuwere RTX 5080).
Snelle verwijzing naar Docker Model Runner-commands
Docker Model Runner (DMR) is de officiële oplossing van Docker voor het lokaal uitvoeren van AI-modellen, geïntroduceerd in april 2025. Deze cheatsheet biedt een snelle verwijzing naar alle essentiële opdrachten, configuraties en beste praktijken.
Vergelijk Docker Model Runner en Ollama voor lokale LLM
Het uitvoeren van grote taalmodellen (LLMs) lokaal is steeds populairder geworden vanwege privacy, kostcontrole en offlinefunctionaliteiten. Het landschap is aanzienlijk veranderd in april 2025 toen Docker Docker Model Runner (DMR) introduceerde, hun officiële oplossing voor AI-modellering.
Beschikbaarheid, daadwerkelijke retailprijzen in zes landen en een vergelijking met de Mac Studio.
NVIDIA DGX Spark is een feit, verkrijgbaar vanaf 15 oktober 2025, en is gericht op CUDA-ontwikkelaars die lokale LLM-werklasten nodig hebben met een geïntegreerde NVIDIA AI-stack. De US MSRP bedraagt $3.999; de retailprijs in UK/DE/JP is hoger door BTW en kanaalkosten. Publieke stickerprijzen voor AUD/KRW zijn nog niet algemeen gepubliceerd.
