DevOps

Pendant longtemps, llama.cpp avait une limitation flagrante :
vous ne pouviez servir qu’un seul modèle par processus, et changer de modèle nécessitait un redémarrage.

Cet article porte sur les plugins OpenClaw — des paquets de passerelle natifs qui ajoutent des canaux, des fournisseurs de modèles, des outils, de la parole, de la mémoire, des médias, une recherche web et d’autres surfaces d’exécution.

Hermes Agent est un assistant IA auto-hébergé, agnostique quant aux modèles, qui s’exécute sur une machine locale ou un VPS à faible coût, fonctionne via l’interface terminal et des interfaces de messagerie, et s’améliore avec le temps en transformant les tâches répétitives en compétences réutilisables.

Ollama est à son meilleur lorsque l’on le traite comme un démon local : la CLI et vos applications communiquent avec une API HTTP en boucle locale (loopback), et le reste du réseau ignore son existence.

Ollama fonctionne parfaitement sur du matériel nu. Cela devient encore plus intéressant lorsque vous le traitez comme un service : une extrémité stable, des versions figées, un stockage persistant et une GPU qui est soit disponible, soit non.

Exécuter Ollama derrière un proxy inversé est le moyen le plus simple d’obtenir HTTPS, un contrôle d’accès facultatif et un comportement de streaming prévisible.

Apache Flink est un cadre pour les calculs à état sur des flux de données bornés et non bornés.

Neo4j est la solution à laquelle on se tourne lorsque les relations sont les données. Si votre domaine ressemble à un tableau blanc rempli de cercles et de flèches, le forcer dans des tables est douloureux.

Les sites statiques et les blogs changent à chaque déploiement. Les moteurs de recherche prenant en charge IndexNow peuvent prendre connaissance de ces changements sans attendre le prochain cycle de crawl aveugle.

SGLang est un framework de service haute performance pour les grands modèles de langage et les modèles multimodaux, conçu pour fournir une inférence à faible latence et à haut débit sur tout, d’une seule GPU à des clusters distribués.

Apache Kafka 4.2.0 est la ligne de version actuellement supportée, et elle constitue la meilleure base pour un démarrage rapide moderne, car Kafka 4.x est totalement libre de ZooKeeper et construit autour de KRaft par défaut.

Bientôt, vous jonglerez avec vLLM, llama.cpp et plus encore — chaque pile sur son propre port. Tout ce qui se trouve en aval souhaite toujours une URL de base /v1; sinon, vous continuez à changer de ports, de profils et de scripts ponctuels. llama-swap est le proxy /v1 avant ces piles.

Le développement logiciel implique l’utilisation de Git pour le contrôle de version, de Docker pour la conteneurisation, de Bash pour l’automatisation, de PostgreSQL pour les bases de données et de VS Code pour l’édition — ainsi que d’innombrables autres outils qui peuvent faire ou briser votre productivité. Cette page rassemble les fiches mémo, les flux de travail et les comparaisons essentielles dont vous avez besoin pour travailler efficacement sur toute la pile de développement.

LocalAI est un serveur d’inférence auto-hébergé, conçu en priorité pour une utilisation locale, qui se comporte comme une API OpenAI de remplacement pour exécuter des charges de travail d’IA sur votre propre matériel (ordinateur portable, station de travail ou serveur sur site).

Je reviens sans cesse à llama.cpp pour l’inférence locale : il vous offre un contrôle qu’Ollama et autres abstraient, et cela fonctionne simplement. Il est facile d’exécuter des modèles GGUF de manière interactive avec llama-cli ou d’exposer une API HTTP compatible OpenAI avec llama-server.

L’intelligence artificielle est en train de redéfinir la façon dont les logiciels sont écrits, revus, déployés et entretenus. Des assistants de codage IA à l’automatisation GitOps et aux flux de travail DevOps, les développeurs s’appuient désormais sur des outils alimentés par l’IA tout au long du cycle de vie du logiciel.