Docker

Un agent IA auto-hébergé a besoin de bien plus qu’une fenêtre de contexte longue. Il a besoin d’une manière de retenir des faits utiles, de récupérer des décisions antérieures et de réviser ce qu’il pense savoir à mesure que les projets évoluent.

ROCm et Vulkan accélèrent tous deux les GPU AMD pour l’hébergement local de LLM, mais ils ne sont pas interchangeables. Le bon choix dépend du moteur, du GPU et de la charge de travail.

Ollama est l’une des méthodes les plus simples pour exécuter un modèle de langage local, mais la praticité peut masquer le moment où une expérience locale se transforme en service de déduction partagé nécessitant une meilleure planification et une meilleure observabilité.

Docker Compose et Podman Quadlet résolvent des problèmes qui se chevauchent, mais ils proviennent de philosophies de conception différentes. Le choix entre les deux dépend de votre façon de penser : en piles d’applications ou en services Linux.

Docker Compose sur un serveur Linux doit démarrer au boot, s’arrêter proprement à l’extinction et survivre aux redémarrages sans intervention manuelle.

L’installation de Docker sur Ubuntu devrait être simple, mais en pratique, plusieurs options « en forme de Docker » rivalisent pour le même nom de commande, chacune avec sa propre gestion des paquets, son comportement de mise à jour et ses implications en matière de sécurité.

Vane est l’une des entrées les plus pragmatiques de l’espace de la « recherche IA avec citations » : un moteur de réponses auto-hébergé qui mêle la récupération web en direct avec des LLM locaux ou cloud, tout en gardant toute la pile sous votre contrôle.

L’Agent Hermes est un assistant IA auto-hébergé, agnostique quant au modèle, qui fonctionne sur une machine locale ou un VPS à faible coût. Il opère via des interfaces de terminal et de messagerie, et s’améliore au fil du temps en transformant les tâches répétitives en compétences réutilisables.

Text Generation Inference (TGI) possède une énergie très particulière. Ce n’est pas le nouveau venu de la rue de l’inférence, mais c’est celui qui a déjà appris comment la production peut se briser -

Ollama fonctionne très bien sur du matériel nu. Cela devient encore plus intéressant lorsque vous la traitez comme un service : un point de terminaison stable, des versions épinglées, un stockage persistant et une carte graphique (GPU) qui est soit disponible, soit ne l’est pas.

Neo4j est la solution à laquelle on se tourne lorsque les relations sont les données. Si votre domaine ressemble à un tableau blanc rempli de cercles et de flèches, le forcer dans des tables est douloureux.

SGLang est un framework de service haute performance pour les grands modèles de langage et les modèles multimodaux, conçu pour fournir une inférence à faible latence et à haut débit sur tout, d’une seule GPU à des clusters distribués.

Apache Kafka 4.2.0 est la version actuellement prise en charge, et c’est la meilleure base pour un démarrage rapide moderne, car Kafka 4.x est entièrement dépourvu de ZooKeeper et construit autour de KRaft par défaut.

Vous voilà bientôt à jongler avec vLLM, llama.cpp et d’autres composants — chaque pile sur son propre port. Tout en aval exige toujours une URL de base /v1 unique ; sinon, vous continuez à jongler avec des ports, des profils et des scripts spécifiques. llama-swap est le proxy /v1 situé devant ces piles.

Le développement logicielle implique Git pour le contrôle de versions, Docker pour la conteneurisation, bash pour l’automatisation, PostgreSQL pour les bases de données et VS Code pour l’édition — sans compter les innombrables autres outils qui font ou défont votre productivité. Cette page regroupe les fiches de triche essentielles, les workflows et les comparaisons dont vous avez besoin pour travailler efficacement sur toute la pile de développement.

OpenHands est une plateforme open-source et agnostique des modèles pour les agents de développement logiciel pilotés par l’IA. Il permet à un agent de se comporter davantage comme un partenaire de codage que comme un simple outil de complétion automatique.