Prometheus

El enmascaramiento de alertas se describe con demasiada frecuencia como una característica de monitoreo. Ese encuadre es conveniente, pero oculta el verdadero problema.

Sigo volviendo a llama.cpp para la inferencia local: te ofrece un control que Ollama y otras herramientas abstraen, y simplemente funciona. Es fácil ejecutar modelos GGUF de forma interactiva con llama-cli o exponer una API HTTP compatible con OpenAI con llama-server.

La inferencia de LLM parece ser “solo otra API” hasta que se producen picos de latencia, las colas se saturan y tus GPUs se mantienen al 95% de uso de memoria sin una explicación obvia.

Los sistemas de LLM fallan de maneras que la monitorización de APIs tradicional no puede detectar: las colas se llenan en silencio, la memoria de la GPU se satura mucho antes de que la CPU parezca estar ocupada, y la latencia se dispara en la capa de agrupamiento (batching) en lugar de en la capa de aplicación.

Observabilidad es la base de los sistemas de producción confiables.

Sin métricas, paneles de control y alertas, los clústeres de Kubernetes se desvían, las cargas de trabajo de IA fallan en silencio y las regresiones de latencia pasan desapercibidas hasta que los usuarios se quejan.

Prometheus ha se convertido en el estándar de facto para monitorear aplicaciones y infraestructura nativas en la nube, ofreciendo recolección de métricas, consulta e integración con herramientas de visualización.

Grafana es la plataforma de código abierto líder para monitoreo y observabilidad, transformando métricas, registros y rastreos en insights accionables mediante visualizaciones impactantes.