Prometheus

Alerting wird viel zu oft als ein Überwachungsfunktion beschrieben. Diese Einordnung ist bequem, verschleiert aber das eigentliche Problem.

Ich komme immer wieder auf llama.cpp für lokale Inferenz zurück – es bietet eine Kontrolle, die Ollama und andere abstrahieren, und es funktioniert einfach. GGUF-Modelle lassen sich mit llama-cli interaktiv und mühelos ausführen oder eine OpenAI-kompatible HTTP-API mit llama-server bereitstellen.

LLM-Inferenz sieht aus wie „nur eine weitere API" – bis die Latenzspitzen auftreten, Warteschlangen sich stauen und Ihre GPUs eine Speichernutzung von 95 % haben, ohne dass eine offensichtliche Erklärung dafür vorhanden ist.

LLM-Systeme versagen auf Arten, die herkömmliches API-Monitoring nicht aufdecken kann – Warteschlangen füllen sich stillschweigend, der GPU-Speicher sättigt lange bevor die CPU ausgelastet wirkt, und die Latenz steigt im Batching-Layer an, nicht im Anwendungslayer.

Beobachtbarkeit ist das Fundament zuverlässiger Produktionsumgebungen.

Ohne Metriken, Dashboards und Alarmierung treiben Kubernetes-Cluster unbeobachtet umher, KI-Workloads fallen still aus und Latenzverschlechterungen werden übersehen, bis Benutzer sich beschweren.

Prometheus ist zum de facto Standard für die Überwachung cloud-nativer Anwendungen und Infrastruktur geworden und bietet Metriken-Sammlung, Abfragen und Integration mit Visualisierungstools.

Grafana ist die führende Open-Source-Plattform für Überwachung und Observability, die Metriken, Protokolle und Spuren in handlungsorientierte Erkenntnisse durch beeindruckende Visualisierungen umwandelt.