Prometheus

L’alerte est trop souvent décrite comme une fonctionnalité de surveillance. Cette formulation est commode, mais elle cache le vrai problème.

Je reviens sans cesse à llama.cpp pour l’inférence locale : il vous offre un contrôle que Ollama et d’autres solutions abstraissent, et il fonctionne simplement. Il est facile d’exécuter des modèles GGUF de manière interactive avec llama-cli ou d’exposer une API HTTP compatible OpenAI avec llama-server.

L’inférence LLM ressemble à « une API comme les autres » — jusqu’à ce que les pics de latence apparaissent, les files d’attente s’allongent et que vos GPU atteignent 95 % de mémoire sans explication évidente.

Les systèmes LLM échouent de manière que la surveillance d’API traditionnelle ne peut pas révéler : les files d’attente se remplissent silencieusement, la mémoire GPU sature bien avant que le CPU ne semble occupé, et la latence explose au niveau de la mise en lot plutôt qu’au niveau de l’application.

L’observabilité est le fondement des systèmes de production fiables.

Sans métriques, tableaux de bord et alertes, les clusters Kubernetes dérivent, les charges de travail IA échouent silencieusement et les régressions de latence passent inaperçues jusqu’à ce que les utilisateurs se plaignent.

Prometheus est devenu le standard de facto pour la surveillance des applications et des infrastructures cloud-native, offrant la collecte de métriques, la requête et l’intégration avec des outils de visualisation.

Grafana est la plateforme open source leader pour le monitoring et l’observabilité, transformant les métriques, les logs et les traces en informations exploitables grâce à des visualisations spectaculaires.