AI

Lokale implementatie van LLMs is steeds populairder geworden, aangezien ontwikkelaars en organisaties betere privacy, lagere latentie en grotere controle over hun AI-infrastructuur nastreven.

Aan de slag met AI- en ML-werkbelastingen die steeds complexer worden, is het belangrijk dat er robuuste orkestratiesystemen zijn. De eenvoud, prestaties en gelijktijdigheid van Go maken het ideaal om de orkestratielag van ML-pijplijnen te bouwen, zelfs als de modellen zelf in Python zijn geschreven.

Cross-modale ingebedden stellen een doorbraak voor in de kunstmatige intelligentie, waardoor begrip en redeneren mogelijk worden over verschillende gegefstypen binnen een gedeelde representatie-ruimte.

De democratisering van AI is nu een feit. Met open-source LLMs zoals Llama 3, Mixtral en Qwen die nu concurreren met eigenaarmodellen, kunnen teams krachtige AI-infrastructuur op consumentenhardware bouwen - kosten verminderen terwijl volledige controle wordt behouden over gegevensprivacy en implementatie.

Retrieval-Augmented Generation (RAG) heeft zich veel verder ontwikkeld dan alleen het gebruik van vectorgelijkeniszoekopdrachten. LongRAG, Self-RAG en GraphRAG stellen de nieuwste ontwikkelingen in deze technologie voor.

Linux is geworden tot het standaardbesturingssysteem voor data science professionals, met ongeëvenaarde flexibiliteit, prestaties en een rijke ecosystem van tools.

FLUX.1-dev is een krachtig tekst-naar-afbeelding model dat indrukwekkende resultaten produceert, maar zijn geheugengebruik van 24GB+ maakt het lastig om te draaien op veel systemen. GGUF-quantisatie van FLUX.1-dev biedt een oplossing, met een verminderings van het geheugengebruik met ongeveer 50% terwijl de afbeeldingskwaliteit goed behouden blijft.

Het configureren van contextgrootte in Docker Model Runner is complexer dan het zou moeten zijn.

Black Forest Labs heeft FLUX.1-Kontext-dev, een geavanceerd beeld-naar-beeld AI-model dat bestaande beelden verrijkt met behulp van tekstinstructies, vrijgegeven.

Docker Model Runner is het officiële hulpmiddel van Docker om AI-modellen lokaal uit te voeren, maar NVidia GPU-acceleratie inschakelen in Docker Model Runner vereist specifieke configuratie.

Tokenoptimalisatie is de kritieke vaardigheid die het verschil maakt tussen kostenefficiënte LLM-toepassingen en kostbare experimenten.

Ik vond enkele interessante prestatietests van GPT-OSS 120b die draaien op Ollama over drie verschillende platforms: NVIDIA DGX Spark, Mac Studio en RTX 4080. De GPT-OSS 120b model uit de Ollama bibliotheek weegt 65 GB, wat betekent dat het niet past in de 16 GB VRAM van een RTX 4080 (of de nieuwere RTX 5080).

De Model Context Protocol (MCP) is revolutionair voor de manier waarop AI-assistenten met externe gegevensbronnen en tools interacteren. In deze gids bespreken we hoe je MCP-servers in Python kunt bouwen, met voorbeelden gericht op webzoekfuncties en web scraping.

Docker Model Runner (DMR) is de officiële oplossing van Docker voor het lokaal uitvoeren van AI-modellen, geïntroduceerd in april 2025. Deze cheatsheet biedt een snelle verwijzing naar alle essentiële opdrachten, configuraties en best practices.

Het lokaal uitvoeren van grote taalmodellen (LLMs) is steeds populairder geworden vanwege privacy, kostcontrole en offline functionaliteit. Het landschap veranderde aanzienlijk in april 2025 toen Docker Docker Model Runner (DMR) introduceerde, hun officiële oplossing voor AI-modellering.

De toekomst van AI is niet alleen over slimme modellen - het gaat om slimme silicium.

Specialistische hardware voor LLM-inferentie trekt een revolutie aan die vergelijkbaar is met de overgang van Bitcoin-mining naar ASICs.