Self-Hosting

Large Language Models (LLMs) zijn krachtig, maar in productie willen we zelden vrije tekst. In plaats daarvan willen we voorspelbare data: kenmerken, feiten of gestructureerde objecten die je kunt voeden in een app. Dat is LLM Structured Output.

Voor KDE Plasma-fans komen twee Linux-distributies vaak ter sprake in discussies: Kubuntu en KDE Neon. Ze kunnen op het eerste gezicht gelijk lijken – beide gebruiken KDE Plasma als standaard bureaublad, zijn gebaseerd op Ubuntu en zijn toegankelijk voor beginners.

Hier vergelijk ik hoeveel VRAM de nieuwe versie van Ollama toewijst aan het model hier met de vorige Ollama-versie. De nieuwe versie is erger.

Deze gids leidt je stap voor stap door het proces van het wijzigen van de statische IP-adres op een Ubuntu Server.

Ollama is snel geworden tot een van de populairste tools voor het lokaal uitvoeren van LLMs. Zijn eenvoudige CLI en gestroomlijnde modelbeheer hebben het tot de favoriete optie gemaakt voor ontwikkelaars die willen werken met AI-modellen buiten de cloud. Maar net als bij veel veelbelovende platforms zijn er al tekenen van Enshittification:

Mumble is een gratis en open-source voice over IP (VoIP)-toepassing die vooral is ontworpen voor real-time spraakcommunicatie. Het gebruikt een client-serverarchitectuur waarbij gebruikers verbinding maken met een gedeelde server om met elkaar te praten.

Locally geïnstalleerde Ollama stelt u in staat om grote taalmodellen op uw eigen computer te draaien, maar het gebruik ervan via de opdrachtnaam is niet gebruikersvriendelijk. Hier zijn verschillende open-source projecten die ChatGPT-stijl interfaces bieden die verbinding maken met een lokale Ollama.

GPU belasting monitoring toepassingen: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Hier is een stap-voor-stap walkthrough van
installatie van een 3-knooppunt K3s cluster
op bare-metal servers (1 master + 2 workers).

Vergelijking van self-hosting Kubernetes distributies voor het hosten op bare-metal of thuis-servers, met aandacht voor eenvoud van installatie, prestaties, systeemvereisten en functie-aanbod.

Ik ben het vergelijken van self-hosted Kubernetes varianten die geschikt zijn voor de Ubuntu-gebaseerde homelab met 3 knooppunten (16 GB RAM, 4 cores elk), met aandacht voor eenvoud van installatie en onderhoud, ondersteuning voor persistente volumes en LoadBalancers.

GitHub Actions
is een automatiserings- en CI/CD-platform binnen GitHub, gebruikt om uw code te bouwen, te testen en te implementeren op basis van gebeurtenissen zoals pushes, pull requests of op een schema.

Hier is een
Docker Compose naslagblad
met aangegeven voorbeelden om je snel te helpen Compose-bestanden en -opdrachten te beheersen.

Hier is een gedetailleerde uitleg over
Obsidian als krachtig hulpmiddel voor persoonlijke kennisbeheersing (PKM),
die de architectuur, functies, sterktes en hoe het moderne kennisstromen ondersteunt, uitlegt.

Nvidia is op het punt om NVIDIA DGX Spark te lanceren - een kleine AI-supercomputer op Blackwell-architectuur met 128+GB geïntegreerde RAM en 1 PFLOPS AI-prestaties. Mooi apparaat om LLMs uit te voeren.

Laat ons snel een kijkje nemen naar
Matomo, Plausible, google en andere webanalyseproviders en -systemen
die beschikbaar zijn voor zelfhosting en vergelijk ze.