Wählen Sie den richtigen Container-Workflow.
Docker Compose und Podman Quadlet lösen überlappende Probleme, stammen jedoch aus unterschiedlichen Designzentren. Die Wahl zwischen ihnen hängt davon ab, ob Sie in Anwendungsstacks oder in Linux-Dienste denken.
Headless Hermes-Server mit Remote-Desktop-Zugriff
Das Ausführen des Hermes-Agenten auf einem headless-Server bei gleichzeitiger Verbindung von einem Desktop-Client auf einer anderen Maschine erfordert zwei Serverprozesse und eine einzelne Client-Verbindung.
Docker Compose beim Systemstart, verwaltet durch systemd.
Ein Docker Compose-Projekt auf einem Linux-Server sollte beim Booten starten, beim Herunterfahren sauber gestoppt werden und Neustarts ohne manuelle Eingriffe überstehen.
Wählen Sie den richtigen Docker-Installationspfad auf Ubuntu.
Die Installation von Docker auf Ubuntu sollte einfach sein, aber in der Praxis konkurrieren mehrere docker-spezifische Optionen um den gleichen Befehlsnamen, wobei jede unterschiedliche Paketierung, Upgrade-Verhalten und Sicherheitsimplikationen mit sich bringt.
Zuverlässige Polling-Muster für KI-Agenten.
Polling-Agenten gehören zu den wenig glamourösen Aspekten der Architektur von KI-Assistenten, sind jedoch gleichzeitig eine der nützlichsten Komponenten.
Diagrams as Code, ohne den Stress.
Mermaid ist ein textbasiertes Diagrammwerkzeug für Menschen, die Diagramme lieber schreiben, als Kästchen auf einer Leinwand zu verschieben. Es verwendet eine Markdown-ähnliche Syntax, um Flussdiagramme, Sequenzdiagramme, Klassendiagramme, Zustandsautomaten, Zeitachsen, Gantt-Diagramme, Entity-Relationship-Diagramme und mehr zu beschreiben.
Wie seriöse Assistenten tatsächlich entwickelt werden.
Ein produktionsreifes KI-Assistentensystem ist nicht einfach „ein LLM mit einem Prompt“. Es handelt sich um ein System, das Absichten entgegennimmt, den Zustand verwaltet, entscheidet, wann Daten abgerufen oder Aktionen ausgeführt werden sollen, und genügend Laufzeitdetails bereitstellt, um Fehler zu debuggen.
Kostenfreier VRAM, ohne den llama-server zu beenden.
llama.cpp Router-Modus ist eine der nützlichsten Änderungen an llama-server in den letzten Jahren. Er gibt lokalen LLM-Betreibern endlich etwas, das dem Modellmanagement-Erlebnis ähnelt, das man von Ollama erwartet, während er die rohe Leistung und die niedrige Kontrollstufe beibehält, die llama.cpp überhaupt erst interessant machen.
Steuern Sie die Hermes-Kanban-Auslastung auf Ihrem selbst gehosteten LLM.
Der Hermes Agent wird mit einem Kanban-Board und dem Hermes Gateway ausgeliefert. Wenn zu viele Aufgaben auf einmal zugewiesen werden, kann dies Ihr selbst gehostetes LLM überlasten.
LLMs bereitstellen und austauschen, ohne Neustarts.
Lange Zeit hatte llama.cpp eine offensichtliche Einschränkung: Man konnte nur ein Modell pro Prozess bereitstellen, und ein Wechsel bedeutete einen Neustart.
Plugins zuerst. Eine kurze Übersicht der Fähigkeiten.
Dieser Artikel handelt von OpenClaw-Plugins — nativen Gateway-Paketen, die Kanäle, Modellanbieter, Tools, Sprachfunktionen, Speicher, Medien, Websuche und andere Laufzeitschnittstellen hinzufügen.
Hermes Agent Installation und Schnellstart für Entwickler
Hermes Agent ist ein selbst gehosteter, modellagnostischer KI-Assistent, der auf einem lokalen Computer oder einem kostengünstigen VPS läuft, über Terminal- und Messaging-Schnittstellen arbeitet und sich im Laufe der Zeit verbessert, indem er wiederholte Aufgaben in wiederverwendbare Fertigkeiten umwandelt.
Remote-Zugriff auf Ollama ohne öffentliche Ports
Ollama ist am glücklichsten, wenn es wie ein lokaler Daemon behandelt wird: Die CLI und Ihre Apps kommunizieren mit einer Loopback-HTTP-API, und der Rest des Netzwerks erfährt nie von ihrer Existenz.
Compose-first Ollama-Server mit GPU und Persistenz.
Ollama funktioniert hervorragend auf Bare Metal. Es wird noch interessanter, wenn man es wie einen Service behandelt: ein stabiler Endpunkt, fixierte Versionen, persistente Speicherung und eine GPU, die entweder verfügbar ist oder eben nicht.
HTTPS mit Ollama, ohne die Streaming-Antworten zu beeinträchtigen.
Das Betreiben von Ollama hinter einem Reverse-Proxy ist der einfachste Weg, HTTPS, optionale Zugriffskontrolle und ein vorhersagbares Streaming-Verhalten zu erhalten.
Zustandsbehaftetes Streaming, Checkpoints, K8s, PyFlink, Go.
Apache Flink ist ein Framework für zustandsbehaftete Berechnungen über unendliche und endliche Datenströme.
