[GCP] Cloud Logging 에러 사항을 메일로 모니터링하기

DevOps/DevOps

[GCP] Cloud Logging 에러 사항을 메일로 모니터링하기

sebinChu 2024. 2. 14. 17:18

개요

예기치 못한 에러 때문에 개발자가 모르는 사이 서비스가 갑자기 다운될 수도 있다. 이러한 이슈를 방지하기 위해 로그를 모니터링하는 것은 매우 중요한 일이며, 메일, slack, chat 등으로 실시간 알림을 통해 로그를 모니터링할 수 있다.

Cloud Logging

Cloud Logging을 보면 정말 많은 로그들이 실시간으로 쌓이고 있다.

이번 포스팅에서는 Error 관련 로그가 발생했을 때 회사의 DEV 계정으로 메일 알림을 전송하는 것을 세팅해보도록 한다.

Cloud Logging의 가장 우측에 알림 만들기라는 버튼을 클릭하자.

원래 이 서비스는 없었고 StackDriver라는 서비스로 지원됐었는데, 새로 생겼다고 한다. 그래서 Cloud Logging 관련 리서치를 하면 여전히 Stackdriver에 관련한 자료가 훨씬 많다. 😭 ~~GCP 최대단점 자료가 비교적 없다.....!~~

여튼 알림 만들기 버튼을 클릭하면 어떤 로그를 트리거할지 설정하는 창이 나온다.

이름을 적절하게 만들어주고 Policy 레벨도 긴급도를 판단하여 설정해주면 된다.

이제 ERROR 사항을 트리거하기 위해서 쿼리를 설정하는데, 크리티컬하지 않은 ssh key 관련 에러사항까지 모두 알림을 받게된다. 로깅 쿼리 작성을 통해 원하는 로그만 트리거할 수 있다.

Cloud Logging 쿼리문을 통해 원하는 로그 트리거하기

먼저 로그를 살펴보면 jsonPayload 로 작성되어 있는데, 이는 로그 항목을 구조화한 것으로 이 문서에서 자세히 확인할 수 있다. 로그의 가독성을 높이기 위해서 JSON 형식으로 로그 메시지를 구조화하여 기록한 것이다. 이러한 구조화된 로깅은 쿼리문을 구조에 맞춰서 작성해주어야 한다.

로깅 검색창에 원하는 키워드를 체크하면 아래와 같이 쿼리문을 자동으로 작성해주므로 문법을 다 외울 필요는 없다. 이 내용을 복사해서 알림을 생성할 때 작성해주면 된다. 다만 좀 더 세밀한 조작을 위해 Cloud Logging에서 제공하는 정규표현식 사용에 대해 알아보자.

정규 표현식을 사용한 Cloud Logging 쿼리

일반 텍스트 쿼리보다 더 빠르고, 더 세밀한 쿼리문 작성을 위해서 정규 표현식을 제공한다.

정규 표현식 쿼리의 특징은 다음과 같다.

문자열 유형의 필드만 정규 표현식과 일치할 수 있다.
문자열 정규화는 수행되지 않는다. 소문자/대문자 구별 O, kubernetes와 KUBERNETES는 다른 것으로 처리한다.
=~ 및 !~는 쿼리를 정규 표현식 쿼리로 변경하며, 일치시키려는 패턴은 큰따옴표 안에 있어야 한다.

패턴 일치

jsonPayload.message =~ "이 표현을 포함해줘"

패턴과 일치하지 않음

jsonPayload.message !~ "이 표현은 걸러줘"

정규 표현식에 맞춰서 로깅을 트리거 해보면 내가 제거하고자하는 에러메시지들은 트리거가 되지 않는 것을 확인할 수 있다.

작성한 로깅 쿼리 예시

resource.type="gce_instance"
severity: "ERROR"
jsonPayload.message !~ "Invalid ssh key entry"
jsonPayload.message !~ "Failed to re-create tokens"
jsonPayload.message !~ "The refresh token has been expired"
NOT jsonPayload.message =~ "^can't find"