Välj rätt containerarbetsflöde.
Docker Compose och Podman Quadlet löser överlappande problem, men de kommer från olika designperspektiv. Valet mellan dem beror på om du tänker i termer av applikationsstackar eller Linux-tjänster.
Docker Compose vid start, hanterad av systemd.
Docker Compose på en Linux-server bör starta vid systemstart, stoppa smidigt vid avstängning och överleva omstarter utan manuell inblandning.
Välj rätt installationsväg för Docker på Ubuntu.
Installation av Docker på Ubuntu bör vara enkel, men i praktiken konkurrerar flera olika Docker-installationsmetoder om samma kommandonamn, var och en med olika paketering, uppdateringsbeteende och säkerhetsimplikationer.
Åtgärda Ubuntu APT utan gissningar.
APT-fel är vanliga på Ubuntu-maskiner med lång användningstid, och de dyker oftast upp efter en versionsuppdatering, en ändring av ett tredjepartsrepository, ett borttaget PPA, en manuellt installerad .deb-fil eller en avbruten paketinstallation.
Frigör VRAM utan att stoppa llama-server.
Routerläge för llama.cpp är en av de mest användbara förändringarna i llama-server på flera år. Det ger slutligen lokala aktörer av LLM (Large Language Models) något som liknar modellhanteringsupplevelsen som man förväntar sig från Ollama, samtidigt som det behåller den råa prestanda och den lågnivåkontroll som gör llama.cpp värd att använda i första hand.
Referens för agensbaserad LLM-tuning
Denna sida är en praktisk referens för justering av agentic LLM-inferens (temperatur, top_p, top_k, strafftermer och hur de samverkar i flerstegs- och verktygstäta arbetsflöden).
Kontakta Hermes från din telefon
Du chattar redan med Hermes Agent från din telefon med text. Nu vill du prata med den direkt och få muntliga svar tillbaka. Det är oftast rätt val, särskilt om du redan använder Hermes som en självhostad assistent. Att skriva långa prompter på en liten skärm är långsamt och benäget för fel
Kör OpenClaw säkert med NemoClaw
De flesta AI-agentstackar behandlar fortfarande säkerhet som en korrigering efter demonstrationen. NemoClaw utgår från motsatta antaganden och gör isolering, policy och ruttning till standard från dag ett.
Jämförelse av PKM-verktyg, metoder och självhostade wikier.
Personlig kunskapsförvaltning omfattar Obsidian, Logseq, DokuWiki, Zettelkasten och PARA – rätt val beror på om du vill ha en lokal noteringssgraf, en självhostad wiki eller ett arbetsflöde baserat på utdragning (outliner).
Claude-prenumerationer drivs inte längre av agenter
Den tysta luckan som drev en våg av agentexperiment är nu stängd.
Självhöstad AI-sökning med lokala stora språkmodeller
Vane är en av de mer pragmatiska lösningarna inom området för “AI-sök med källhänvisningar”: ett självärbetet svarsmotor som blandar live-webbhämtning med lokala eller molnbaserade LLM:er, samtidigt som hela stacken hålls under din kontroll.
Installera TGI, leverera snabbt, felsök ännu snabbare
Text Generation Inference (TGI) har en mycket specifik energi. Det är inte den nyaste killen på inferensgatan, men det är den som redan har lärt sig hur produktion bryts –
Tokenhastighet för llama.cpp på 16 GB VRAM (tabeller).
Här jämför jag hastigheten hos flera LLM:s (storspråkmodeller) som körs på GPU med 16 GB VRAM, och väljer den bästa för egen hosting.
RTX 5090 är svår att få tag på i Australien och prisbelagd för högt.
Australien har lagervaror av RTX 5090. Knappast. Och om du hittar en, kommer du att betala en premie som känns frånkopplad från verkligheten.
Remote Ollama-åtkomst utan publika portar
Ollama är som mest lyckligt när det behandlas som en lokal daemon: CLI:n och dina appar pratar med en loopback HTTP-API, och resten av nätverket får aldrig veta att det finns.
Ollama-server med komposition i förgrunden, GPU och uthållighet.
Ollama fungerar utmärkt på “bare metal”. Det blir ännu mer intressant när du behandlar det som en tjänst: en stabil slutpunkt, fastlagda versioner, beständig lagring och en GPU som antingen är tillgänglig eller inte.
