LLM

Als u werkt aan generatie versterkt met ophalen (RAG), leidt dit gedeelte u in eenvoudige taal door tekst-embeddings: wat ze zijn, hoe ze passen binnen zoeken en ophalen, en hoe u twee veelvoorkomende lokale opstellingen in Python kunt aanroepen via Ollama of een OpenAI-compatibele HTTP-API (zoals veel op llama.cpp gebaseerde servers exposen).

SGLang is een high-performance framework voor het uitvoeren van inference bij grote taalmodellen en multimodale modellen, ontworpen om lage latentie en hoge doorvoer te leveren, variërend van een enkele GPU tot gedistribueerde clusters.

Binnenkort balanceren vLLM, llama.cpp en meer—elk stack op zijn eigen poort. Alles downstream wil nog steeds één /v1 basis-URL; anders blijf je met poorten, profielen en eenmalige scripts shuffelen. llama-swap is de /v1 proxy voor die stacks.

De meeste lokale AI-opstellingen beginnen met een model en een runtime.

Oh My Opencode belooft een “virtueel AI-ontwikkelteam” — Sisyphus die specialisten coördineert, taken die parallel worden uitgevoerd en het magische ultrawork-sleutelwoord dat alles activeert.

De grootste sprong in capaciteit in OpenCode komt van gespecialiseerde agents: een doordachte scheiding van orkestratie, planning, uitvoering en onderzoek.

Oh My Opencode maakt van OpenCode een multi-agent codeerhulpmiddel: een orchestrator delegeert werk aan specialistische agenten die parallel draaien.

Ik heb getest hoe OpenCode werkt met verschillende lokaal gehoste LLM’s op Ollama en llama.cpp, en voor de vergelijking heb ik enkele gratis modellen van OpenCode Zen toegevoegd.

OpenHands is een open-source, model-agnostisch platform voor door AI-aangedreven softwareontwikkelingsagenten.
Het stelt een agent in staat om zich meer te gedragen als een programmeerpartner dan als een eenvoudig hulpmiddel voor automatische voltooijing.

LocalAI is een self-hosted, local-first inference server die ontworpen is om te gedragen als een drop-in OpenAI API voor het uitvoeren van AI-werklasten op uw eigen hardware (laptop, workstation of on-premise server).

Ik keer steeds terug naar llama.cpp voor lokale inferentie – het geeft je controle die Ollama en anderen abstracteren, en het werkt gewoon. Het is eenvoudig om GGUF-modellen interactief te draaien met llama-cli of een OpenAI-compatibele HTTP-API bloot te stellen met llama-server.

Kunstmatige intelligentie (AI) hervormt de manier waarop software wordt geschreven, gecontroleerd, uitgebracht en onderhouden. Van AI-coderingsassistenten tot GitOps-automatisering en DevOps-workflows: ontwikkelaars vertrouwen nu op AI-aangedreven tools in de volledige softwarelevenscyclus.

OpenCode is een open-source AI-coding agent die je in de terminal (TUI + CLI) kunt uitvoeren, met optionele desktop- en IDE-interfaces. Dit is de OpenCode Quickstart: installeren, verifiëren, een model/anbieder verbinden en echte workflows uitvoeren (CLI + API).

LLM-inferentie lijkt op “nog een API” — totdat de latentie piekt, wachtrijen oplopen en je GPU’s 95% geheugen gebruiken zonder duidelijke verklaring.

OpenClaw is een self-hosted AI-assistent die is ontworpen om te draaien met lokale LLM-runtime-omgevingen zoals Ollama of met cloudmodellen zoals Claude Sonnet.

De meeste lokale AI-opstellingen beginnen op dezelfde manier: een model, een runtime en een chatinterface.