SelfHosting

Vane ist einer der pragmatischeren Einträge im Bereich „KI-Suche mit Quellenangaben": eine selbst gehostete Antwortmaschine, die live abrufbare Websuche mit lokalen oder Cloud-LLMs kombiniert, während der gesamte Stack unter Ihrer Kontrolle bleibt.

Hermes Agent ist ein selbst gehosteter, modellunabhängiger KI-Assistent, der auf einem lokalen Rechner oder einem kostengünstigen VPS läuft, über Terminal- und Messaging-Schnittstellen arbeitet und sich im Laufe der Zeit verbessert, indem er wiederkehrende Aufgaben in wiederverwendbare Fähigkeiten umwandelt.

Text Generation Inference (TGI) hat eine sehr spezifische Energie. Es ist nicht das neueste Kind auf der Inferenz-Straße, aber es ist dasjenige, das bereits gelernt hat, wie Produktion funktioniert –

SGLang ist ein leistungsfähiges Bereitstellungsframework für große Sprachmodelle und multimodale Modelle, das entwickelt wurde, um Inferenz mit geringer Latenz und hohem Durchsatz von einzelnen GPUs bis hin zu verteilten Clustern zu ermöglichen.

Bald jonglieren Sie mit vLLM, llama.cpp und mehr – jeder Stack auf einem eigenen Port. Alles nachgeschaltete System erwartet dennoch eine einzige /v1-Basis-URL; andernfalls sortieren Sie ständig Ports, Profile und Einmal-Skripte neu. llama-swap ist der /v1-Proxy vor diesen Stacks.

Die meisten lokalen KI-Setups beginnen mit einem Modell und einer Laufzeitumgebung.

Ich komme immer wieder auf llama.cpp für lokale Inferenz zurück – es bietet eine Kontrolle, die Ollama und andere abstrahieren, und es funktioniert einfach. GGUF-Modelle lassen sich mit llama-cli interaktiv und mühelos ausführen oder eine OpenAI-kompatible HTTP-API mit llama-server bereitstellen.

Die meisten lokalen KI-Setups beginnen auf die gleiche Weise: ein Modell, eine Laufzeitumgebung und eine Chat-Schnittstelle.

Die Wahl der richtigen headless CMS kann über den Erfolg Ihrer Content-Management-Strategie entscheiden. Lassen Sie uns drei Open-Source-Lösungen vergleichen, die den Aufbau von contentgetriebenen Anwendungen beeinflussen.

Nextcloud ist die führende Open-Source-Plattform für selbst gehosteten Cloud-Speicher und Zusammenarbeit, die Ihnen die vollständige Kontrolle über Ihre Daten gibt.

Hier werden einige KI-gestützte Coding-Tools und KI-Coding-Assistenten sowie deren Vorteile vorgestellt.

Hier ist ein Docker-Referenzblatt, das die wichtigsten Befehle und Konzepte von der Installation bis zum Ausführen von Containern und der Bereinigung abdeckt:

Als ich anfing, mit LLMs zu experimentieren, waren die Benutzeroberflächen für diese noch in aktiver Entwicklung und heute sind einige davon wirklich gut.