LLM

En lång tid hade llama.cpp en uppenbar begränsning:
du kunde bara servera en modell per process, och byte innebar ett omstart.

De flesta team missbrukar Claude Skills på ett av två sätt. De antingen gör SKILL.md till en soptipp, eller så kliver de aldrig upp från att kopiera och klistra in jättelika promptar.

Hermes AI-assistenten, officiellt dokumenterad som Hermes Agent, positioneras inte som en enkel chatt-hylsa.

OpenClaw har två typer av utökningsberättelser, och de är lätta att blanda ihop.

Plugin utökar runtime-miljön. Färdigheter (skills) utökar agentens beteende.

Den här artikeln handlar om OpenClaw-tillägg — inbyggda gateway-paket som lägger till kanaler, modellleverantörer, verktyg, röstminne, media, webbsökning och andra runtime-ytor.

OpenClaw ser enkelt ut i demonstrationer. I produktion blir det ett system.

Den tysta lösningen som drev en våg av experiment med agenter är nu stängd.

Vane är en av de mer pragmatiska lösningarna inom området för “AI-sök med källhänvisningar”: ett självärbetet svarsmotor som blandar live-webbhämtning med lokala eller molnbaserade LLM:er, samtidigt som hela stacken hålls under din kontroll.

Claude Code är inte bara autocomplete med bättre marknadsföring. Det är ett agenterande verktyg för kodning: det läser din kodbas, redigerar filer, kör kommandon och integrerar med dina utvecklingsverktyg.

Hermes Agent är en självhöstad, modellagnostisk AI-assistent som kör på en lokal maskin eller en billig VPS, fungerar via terminal- och meddelargränssnitt och förbättras över tid genom att omvandla upprepade uppgifter till återanvändbara färdigheter.

Text Generation Inference (TGI) har en mycket specifik energi. Det är inte den nyaste killen på inferensgatan, men det är den som redan har lärt sig hur produktion bryts –

Här jämför jag hastigheten för flera LLM-modeller som körts på en GPU med 16 GB VRAM och väljer den bästa för självhostning.

Australien har lagervaror av RTX 5090. Knappast. Och om du hittar en, kommer du att betala en premie som känns frånkopplad från verkligheten.

Ollama är som mest lyckligt när det behandlas som en lokal daemon: CLI:n och dina appar pratar med en loopback HTTP-API, och resten av nätverket får aldrig veta att det finns.

Ollama fungerar utmärkt på “bare metal”. Det blir ännu mer intressant när du behandlar det som en tjänst: en stabil slutpunkt, fastlagda versioner, beständig lagring och en GPU som antingen är tillgänglig eller inte.

Att köra Ollama bakom en omvänd proxy är det enklaste sättet att få HTTPS, valfri åtkontroll och förutsägbart strömmande beteende.