Prometheus

알람 (Alerting) 은 너무 자주 모니터링 기능으로 묘사됩니다. 그런 틀을 잡는 것은 편리하지만, 실제 문제를 가립니다.

로컬 추론을 위해 llama.cpp 로 계속 돌아오게 됩니다. 이 도구는 Ollama 와 다른 도구들이 추상화하는 제어를 제공하며, 실제로 작동합니다. llama-cli 를 통해 GGUF 모델을 대화식으로 쉽게 실행하거나, llama-server 를 통해 OpenAI 호환 HTTP API 를 노출할 수 있습니다.

LLM 추론은 “단순한 또 하나의 API"처럼 보이지만, 지연 시간이 급증하고 대기열이 쌓이며 GPU 메모리가 95% 사용되는데도 명확한 원인을 파악할 수 없게 되면 상황이 달라집니다.

LLM 시스템은 전통적인 API 모니터링으로는 감지할 수 없는 방식으로 실패할 수 있습니다. 큐는 조용히 채워지고, GPU 메모리가 CPU가 바쁜 상태가 되기 훨씬 전에 포화 상태가 되며, 지연은 애플리케이션 계층이 아닌 배치 계층에서 급증합니다. 이 가이드는 LLM 추론 및 LLM 애플리케이션에 대한 종단간 관찰 전략 을 다룹니다:
측정해야 할 항목, Prometheus, OpenTelemetry, Grafana로 어떻게 기기를 설정할지, 그리고 텔레메트리 파이프라인을 대규모로 어떻게 배포할지에 대해 설명합니다.

관측 가능성 은 신뢰할 수 있는 프로덕션 시스템의 토대입니다.

메트릭, 대시보드, 경보가 없으면 쿠버네티스 클러스터는 점진적으로 이상을 띠게 되고, AI 워크로드가 조용히 실패하며, 사용자가 불평하기 전까지 지연 시간의 악화는 감지되지 않습니다.

프로메테우스 는 클라우드 네이티브 애플리케이션 및 인프라를 모니터링하는 데 facto 표준이 되었으며, 메트릭 수집, 쿼리, 시각화 도구와의 통합을 제공합니다.

Grafana은 메트릭, 로그, 트레이스를 시각화하여 실행 가능한 통찰을 제공하는 모니터링 및 관찰 플랫폼으로, 시각적으로 인상적인 시각화를 통해 리딩 오픈소스 플랫폼입니다.