DevOps

Snabbstart och referensguide för Mermaid-diagram för utvecklare

Snabbstart och referensguide för Mermaid-diagram för utvecklare

Diagram som kod, utan krångel.

Mermaid är ett textbaserat verktyg för diagramskapning, riktat till de som föredrar att skriva diagram framför att dra runt rutor på en canvas. Det använder en Markdown-liknande syntax för att beskriva flödesdiagram, sekvensdiagram, klassdiagram, statmaskiner, tidslinjer, Gantt-diagram, entitetsrelationsdiagram och mer.

Arkitektur för AI-assistent: LLM, minne, verktyg, routing, observabilitet

Arkitektur för AI-assistent: LLM, minne, verktyg, routing, observabilitet

Hur seriösa assistenter faktiskt byggs.

Ett produktionsberett AI-assistent är inte “en LLM med en prompt”. Det är ett system som accepterar avsikt, behåller tillstånd, avgör när det ska hämta data eller utföra åtgärder, och exponerar tillräckligt med detaljer om körningen för att kunna felsöka misslyckanden.

Avladda alla llama.cpp-routermodeller utan att starta om

Avladda alla llama.cpp-routermodeller utan att starta om

Frigör VRAM utan att stoppa llama-server.

Routerläge för llama.cpp är en av de mest användbara förändringarna i llama-server på flera år. Det ger slutligen lokala aktörer av LLM (Large Language Models) något som liknar modellhanteringsupplevelsen som man förväntar sig från Ollama, samtidigt som det behåller den råa prestanda och den lågnivåkontroll som gör llama.cpp värd att använda i första hand.

Ollama i Docker Compose med GPU och bestående modelllagring

Ollama i Docker Compose med GPU och bestående modelllagring

Ollama-server med komposition i förgrunden, GPU och uthållighet.

Ollama fungerar utmärkt på “bare metal”. Det blir ännu mer intressant när du behandlar det som en tjänst: en stabil slutpunkt, fastlagda versioner, beständig lagring och en GPU som antingen är tillgänglig eller inte.