Bereitstellung und Austausch von LLMs ohne Neustart.
Seit langem hatte llama.cpp eine eklatante Einschränkung:
Man konnte nur ein Modell pro Prozess bereitstellen, und ein Wechsel erforderte einen Neustart.
Plugins zuerst. Eine kurze Übersicht der Fähigkeiten.
Dieser Artikel handelt von OpenClaw-Plugins — nativen Gateway-Paketen, die Kanäle, Modellanbieter, Tools, Sprachfunktionen, Speicher, Medien, Websuche und andere Laufzeitschnittstellen hinzufügen.
Installation und Schnellstart des Hermes-Agenten für Entwickler
Hermes Agent ist ein selbst gehosteter, modellagnostischer KI-Assistent, der auf einem lokalen Rechner oder einem kostengünstigen VPS läuft, über Terminal- und Messaging-Schnittstellen arbeitet und sich im Laufe der Zeit verbessert, indem er wiederholte Aufgaben in wiederverwendbare Fähigkeiten umwandelt.
Remote-Zugriff auf Ollama ohne öffentliche Ports
Ollama ist am glücklichsten, wenn es wie ein lokaler Daemon behandelt wird: Die CLI und Ihre Apps kommunizieren mit einer Loopback-HTTP-API, und der Rest des Netzwerks erfährt nie von ihrer Existenz.
Compose-first Ollama-Server mit GPU und Persistenz.
Ollama funktioniert hervorragend auf Bare Metal. Es wird noch interessanter, wenn man es wie einen Service behandelt: ein stabiler Endpunkt, fixierte Versionen, persistente Speicherung und eine GPU, die entweder verfügbar ist oder eben nicht.
HTTPS mit Ollama, ohne die Streaming-Antworten zu beeinträchtigen.
Das Betreiben von Ollama hinter einem Reverse-Proxy ist der einfachste Weg, HTTPS, optionale Zugriffskontrolle und ein vorhersagbares Streaming-Verhalten zu erhalten.
Zustandsbehaftetes Streaming, Checkpoints, K8s, PyFlink, Go.
Apache Flink ist ein Framework für zustandsbehaftete Berechnungen über unendliche und endliche Datenströme.
Graphen, Cypher, Vektoren und die Härtung von Operationen.
Neo4j ist das Mittel der Wahl, wenn die Beziehungen die eigentlichen Daten sind. Wenn Ihr Domänenmodell wie eine Whiteboard-Zeichnung mit Kreisen und Pfeilen aussieht, ist die Zwangsumsetzung in Tabellen schmerzhaft.
Pushen Sie URL-Updates nach dem Deployment an die Suchmaschinen.
Statische Websites und Blogs ändern sich beim Deploy. Suchmaschinen, die IndexNow unterstützen, können über diese Änderungen informiert werden, ohne auf das nächste blinde Crawling warten zu müssen.
Dienen Sie Open-Modelle schnell mit SGLang.
SGLang ist ein leistungsfähiges Bereitstellungsframework für große Sprachmodelle und multimodale Modelle, das entwickelt wurde, um Inferenz mit geringer Latenz und hohem Durchsatz von einzelnen GPUs bis hin zu verteilten Clustern zu ermöglichen.
Installieren Sie Kafka 4.2 und streamen Sie Events in wenigen Minuten.
Apache Kafka 4.2.0 ist die aktuell unterstützte Release-Linie und stellt die beste Basis für einen modernen Quickstart dar, da Kafka 4.x standardmäßig vollständig ohne ZooKeeper auskommt und auf KRaft aufbaut.
Lokale LLMs ohne Änderung der Clients austauschen.
Bald jonglieren Sie mit vLLM, llama.cpp und mehr – jeder Stack auf einem eigenen Port. Alles nachgeschaltete System erwartet dennoch eine einzige /v1-Basis-URL; andernfalls sortieren Sie ständig Ports, Profile und Einmal-Skripte neu. llama-swap ist der /v1-Proxy vor diesen Stacks.
Die Softwareentwicklung umfasst Git für die Versionskontrolle, Docker für die Containerisierung, Bash für die Automatisierung, PostgreSQL für Datenbanken und VS Code für die Bearbeitung – sowie unzählige weitere Werkzeuge, die Ihre Produktivität entscheiden. Diese Seite sammelt die wesentlichen Cheat-Sheets, Workflows und Vergleiche, die Sie benötigen, um in der gesamten Entwicklungsumgebung effizient zu arbeiten.
Bereitstellen von OpenAI-kompatiblen APIs mit LocalAI in wenigen Minuten auf dem eigenen Server.
LocalAI ist ein selbstgehosteter, lokal-first Inferenzserver, der sich wie eine Drop-in OpenAI API verhält, um KI-Arbeitslasten auf Ihrer eigenen Hardware (Laptop, Workstation oder lokaler Server) auszuführen.
Installation, Konfiguration und Nutzung von OpenCode
Ich komme immer wieder zu llama.cpp für die lokale Inferenz zurück – es gibt Ihnen Kontrolle, die Ollama und andere abstrahieren, und es funktioniert einfach. Das interaktive Ausführen von GGUF-Modellen mit llama-cli oder das Bereitstellen einer OpenAI-kompatiblen HTTP-API mit llama-server ist einfach.
Künstliche Intelligenz verändert die Art und Weise, wie Software geschrieben, überprüft, bereitgestellt und gewartet wird. Von KI-Coding-Assistenten bis hin zu GitOps-Automatisierung und DevOps-Workflows setzen Entwickler heute KI-gestützte Tools über den gesamten Software-Lebenszyklus hinweg ein.
