SelfHosting

Pendant longtemps, llama.cpp avait une limitation flagrante :
vous ne pouviez servir qu’un seul modèle par processus, et changer de modèle nécessitait un redémarrage.

La gestion des connaissances personnelles (PKM) englobe Obsidian, Logseq, DokuWiki, Zettelkasten et PARA — le choix approprié dépend de savoir si vous souhaitez un graphe de notes local, un wiki auto-hébergé ou un flux de travail piloté par un outliner.

L’assistant IA Hermes, officiellement documenté comme Hermes Agent, n’est pas positionné comme un simple wrapper de chat.

OpenClaw dispose de deux récits d’extension, et il est facile de les confondre.

Les plugins étendent le temps d’exécution. Les compétences (skills) étendent le comportement de l’agent.

Cet article porte sur les plugins OpenClaw — des paquets de passerelle natifs qui ajoutent des canaux, des fournisseurs de modèles, des outils, de la parole, de la mémoire, des médias, une recherche web et d’autres surfaces d’exécution.

OpenClaw semble simple dans les démonstrations. En production, il devient un système.

Vane est l’une des entrées les plus pragmatiques dans le domaine de la « recherche IA avec citations » : un moteur de réponse auto-hébergé qui combine la récupération web en direct avec des LLM locaux ou cloud, tout en gardant toute la pile sous votre contrôle.

Hermes Agent est un assistant IA auto-hébergé, agnostique quant aux modèles, qui s’exécute sur une machine locale ou un VPS à faible coût, fonctionne via l’interface terminal et des interfaces de messagerie, et s’améliore avec le temps en transformant les tâches répétitives en compétences réutilisables.

Text Generation Inference (TGI) possède une énergie très particulière. Ce n’est pas le nouveau venu de la rue de l’inférence, mais c’est celui qui a déjà appris comment la production peut se briser -

SGLang est un framework de service haute performance pour les grands modèles de langage et les modèles multimodaux, conçu pour fournir une inférence à faible latence et à haut débit sur tout, d’une seule GPU à des clusters distribués.

Bientôt, vous jonglerez avec vLLM, llama.cpp et plus encore — chaque pile sur son propre port. Tout ce qui se trouve en aval souhaite toujours une URL de base /v1; sinon, vous continuez à changer de ports, de profils et de scripts ponctuels. llama-swap est le proxy /v1 avant ces piles.

Je reviens sans cesse à llama.cpp pour l’inférence locale : il vous offre un contrôle qu’Ollama et autres abstraient, et cela fonctionne simplement. Il est facile d’exécuter des modèles GGUF de manière interactive avec llama-cli ou d’exposer une API HTTP compatible OpenAI avec llama-server.

La plupart des configurations locales d’IA commencent de la même manière : un modèle, un environnement d’exécution et une interface de chat.

Le choix du bon headless CMS peut faire la différence dans votre stratégie de gestion du contenu. Comparons trois solutions open source qui influencent la manière dont les développeurs construisent des applications orientées contenu.

Liste ici certains outils de codage assistés par IA et Assistants de codage IA et leurs points forts.