Self-Hosting

Deze gids biedt een uitgebreid overzicht van beschikbare Go SDKs voor Ollama en vergelijkt hun functionaliteiten.

Hier is een vergelijking tussen Qwen3:30b en GPT-OSS:20b
met aandacht voor instructievolgzaamheid en prestatieparameters, specificaties en snelheid:

Hier is een korte info over Write.as / WriteFreely – hoe het past in de fediverse, waar je beheerde hosting kunt vinden, wat de gebruikstrend eruitziet, en hoe je het zelf kan hosten (plus ruwe kostenoverzicht).

In dit bericht verkennen we twee manieren om uw Python-toepassing te verbinden met Ollama: 1. Via de HTTP REST API; 2. Via de officiële Ollama Python-bibliotheek.

Proxmox Virtual Environment (Proxmox VE) is een open-source, type-1 hypervisor en datacenter-orchestratieplatform gebaseerd op Debian.

Weer en weer vergelijken we de prijzen van topniveau consumenten GPU’s, die geschikt zijn voor LLMs in het bijzonder en AI in het algemeen. Specifiek kijk ik naar RTX-5080 en RTX-5090 prijzen. Ze zijn licht gedaald.

Ollama’s GPT-OSS modellen hebben herhalende problemen bij het verwerken van gestructureerde uitvoer, vooral wanneer ze worden gebruikt met frameworks zoals LangChain, OpenAI SDK, vllm en andere.

Large Language Models (LLMs) zijn krachtig, maar in productie willen we zelden vrije tekst. In plaats daarvan willen we voorspelbare data: kenmerken, feiten of gestructureerde objecten die je kunt voeden in een app. Dat is LLM Structured Output.

Voor KDE Plasma-fans komen twee Linux-distributies vaak ter sprake in discussies: Kubuntu en KDE Neon. Ze kunnen op het eerste gezicht gelijk lijken – beide gebruiken KDE Plasma als standaard bureaublad, zijn gebaseerd op Ubuntu en zijn toegankelijk voor beginners.

Hier vergelijk ik hoeveel VRAM de nieuwe versie van Ollama toewijst aan het model hier met de vorige Ollama-versie. De nieuwe versie is erger.

Deze gids leidt je stap voor stap door het proces van het wijzigen van de statische IP-adres op een Ubuntu Server.

Ollama is snel geworden tot een van de populairste tools voor het lokaal uitvoeren van LLMs. Zijn eenvoudige CLI en gestroomlijnde modelbeheer hebben het tot de favoriete optie gemaakt voor ontwikkelaars die willen werken met AI-modellen buiten de cloud. Maar net als bij veel veelbelovende platforms zijn er al tekenen van Enshittification:

Mumble is een gratis en open-source voice over IP (VoIP)-toepassing die vooral is ontworpen voor real-time spraakcommunicatie. Het gebruikt een client-serverarchitectuur waarbij gebruikers verbinding maken met een gedeelde server om met elkaar te praten.

Locally geïnstalleerde Ollama stelt u in staat om grote taalmodellen op uw eigen computer te draaien, maar het gebruik ervan via de opdrachtnaam is niet gebruikersvriendelijk. Hier zijn verschillende open-source projecten die ChatGPT-stijl interfaces bieden die verbinding maken met een lokale Ollama.

GPU belasting monitoring toepassingen: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.