들어가며PromQL 작성의 어려움Alert Rule을 설정하거나 Grafana 대시보드를 만들다 보면 "이 쿼리가 정말 내가 모니터링하려는 대상을 정확하게 표현하고 있을까?"라는 고민이 들곤 했다. AI가 PromQL을 꽤 잘 작성해주기는 하지만, 결국 좋은(정확한) 쿼리를 작성하려면 무엇을 관측하려는지 명확히 정의하고, 메트릭의 특성을 이해한 뒤 적절한 함수를 조합하는 것이 중요하다고 느꼈다. 이를 위해서는 먼저 메트릭이 어떤 특성(Counter, Gauge 등)을 가지는지 이해해야 한다. 또한, 같은 메트릭이라도 관측하려는 목적에 따라 쿼리가 달라질 수 있다. ✔ 경험상 아래 세 가지가 PromQL 정확도, 가시화에 도움되었다.메트릭 타입(Metric Type): Counter, Gauge, Hist..

개요인턴 때부터 Grafana 작업을 하면서 Metrics, TSDB, PromQL 관련 내용들을 개인 노션에 쭉 작성했는데, 블로그에도 새로운 카테고리를 생성하고 정리하는 공간을 만들었다. 요즘 Alert Rule을 세팅하는 작업을 하고 있는데, 노션 문서를 자주 참고하게 되어서 아예 블로그로 올려버리기로 결심!1. 시계열 기반 모니터링시간의 변화에 따라 축적된 데이터들을 수집, 저장, 분석, 알람하는 시스템예를 들어서.. Prometheus는 다음과 같은 일을 한다.15초마다 /metrics 에 접속해서 현재 상태값 긁어오기수집한 메트릭을 시간과 함께 저장PromQL 쿼리를 통해 과거 1시간 평균 rate같은 걸 분석1.1 운영 시스템에서 시계열 데이터과거에 무슨 일이 있었는지?변화 추이는 어떠한지?..