Cheatsheet

Routermodus van llama.cpp is een van de meest nuttige wijzigingen aan llama-server in jaren. Het geeft lokale LLM-beheerders eindelijk iets dat lijkt op de modelbeheerservaring die mensen verwachten van Ollama, terwijl het de ruwe prestaties en lage-level controle behoudt die llama.cpp in de eerste plaats de moeite waard maken.

Deze pagina is een praktische referentie voor het afstemmen van agentische LLM-inferentie (temperatuur, top_p, top_k, penalties en hoe deze interacteren in meervoudige stappen en workflows met veel hulpmiddelen).

Hermes Agent van Nous Research is een modelagnostische, toolgebruikende assistent die lokaal of op een VPS wordt uitgevoerd.

De meeste AI-agent-stacks behandelen beveiliging nog steeds als een reparatie na de demonstratie. NemoClaw begint van het tegenovergestelde uitgangspunt en maakt isolatie, beleid en routing vanaf dag één tot de standaard.

Lang bestond er een opvallende beperking in llama.cpp: je kon slechts één model per proces hosten, en overschakelen betekende een herstart.

Batch-bestanden en shell-scripts hebben vaak een korte wachttijd nodig zodat een met dubbelklik geopend venster of installatie-logboek zichtbaar blijft. Windows CMD heeft een dedicated pause-commando. Unix-shells gebruiken read.

SGLang is een high-performance framework voor het uitvoeren van inference bij grote taalmodellen en multimodale modellen, ontworpen om lage latentie en hoge doorvoer te leveren, variërend van een enkele GPU tot gedistribueerde clusters.

Binnenkort balanceren vLLM, llama.cpp en meer—elk stack op zijn eigen poort. Alles downstream wil nog steeds één /v1 basis-URL; anders blijf je met poorten, profielen en eenmalige scripts shuffelen. llama-swap is de /v1 proxy voor die stacks.

OpenHands is een open-source, model-agnostisch platform voor door AI-aangedreven softwareontwikkelingsagenten.
Het stelt een agent in staat om zich meer te gedragen als een programmeerpartner dan als een eenvoudig hulpmiddel voor automatische voltooijing.

LocalAI is een self-hosted, local-first inference server die ontworpen is om te gedragen als een drop-in OpenAI API voor het uitvoeren van AI-werklasten op uw eigen hardware (laptop, workstation of on-premise server).

Ik keer steeds terug naar llama.cpp voor lokale inferentie – het geeft je controle die Ollama en anderen abstracteren, en het werkt gewoon. Het is eenvoudig om GGUF-modellen interactief te draaien met llama-cli of een OpenAI-compatibele HTTP-API bloot te stellen met llama-server.

OpenCode is een open-source AI-coding agent die je in de terminal (TUI + CLI) kunt uitvoeren, met optionele desktop- en IDE-interfaces. Dit is de OpenCode Quickstart: installeren, verifiëren, een model/anbieder verbinden en echte workflows uitvoeren (CLI + API).

Het kiezen van de juiste browser automatisering stack en webscraping in Go heeft invloed op snelheid, onderhoud en waar je code draait.

Desktop launchers op Ubuntu 24 (en meeste Linux desktops) worden gedefinieerd door .desktop bestanden: kleine, tekstgebaseerde configuratiebestanden die een applicatie of link beschrijven.

Het kiezen van de juiste browserautomatiseringsstack in Python beïnvloedt de snelheid, stabiliteit en onderhoud. Deze overzicht vergelijkt Playwright vs Selenium vs Puppeteer vs LambdaTest vs ZenRows vs Gauge - met een focus op Python, terwijl aangegeven wordt waar Node.js of andere talen een rol spelen.

Twee sterke opties voor het bouwen van terminalgebruikersinterfaces vandaag zijn BubbleTea (Go) en Ratatui (Rust). Een biedt je een opgezette, Elm-stijl framework; de ander een flexibele, immediate-mode bibliotheek.