자체 관리형 Kubernetes에서의 Prometheus와 Grafana 구축

Fri, 12 Sep 2025 09:00:00 +0900

매니지드 K8S가 아닌 자체 관리형 K8S에서의 Prometheus + Grafana 구축 방법

UI 접근을 위한 외부 통신으로 MetalLB+HAproxy+Nginx Controller가 구성 되었다는 전제 하에 구축

CSP 환경이라면 Ingress 설정에서 AWS ALB Controller와 같은 로드밸런서를 사용해 훨씬 간편하게 구축 가능

Prometheus 공식문서: https://prometheus.io/docs/prometheus/latest/installation/
Grafana 공식문서: https://grafana.com/docs/grafana/latest/setup-grafana/installation/

개요

kube-prometheus-stack helm chart 구조

1
2
3
4
5
6
7
8


kube-prometheus-stack
├── Prometheus Operator (핵심 엔진)
├── Prometheus 인스턴스
├── Grafana (시각화 대시보드)
├── AlertManager (알람 관리)
├── Node Exporter (Node 매트릭 수집)
├── kube-state-metrics (K8S 리소스 매트릭 수집)
└── 기본 ServiceMonitors/PrometheusRules (정책)

Prometheus Operator란

CRD 기반 Prometheus 관리 도구
Prometheus, ServiceMonitor, PrometheusRule 등의 Custom Resource 제공
선언적 방식으로 Prometheus 설정 관리

Prometheus + Grafana 설치

깃허브: https://github.com/prometheus-community/helm-charts

helm 리포지토리 추가

1
2
3


helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm repo add grafana https://grafana.github.io/helm-charts
helm repo update

kube-prometheus-stack 설치

prometheus + grafana 합쳐진 패키지
values.yaml 수정

1

helm show values prometheus-community/kube-prometheus-stack > values.yaml

grafana pvc 설정

1
2
3
4
5
6
7


 persistence:
 enabled: true
 type: sts
 storageClassName: "longhorn"
 accessModes:
 - ReadWriteOnce
 size: 5Gi

prometheus pvc 설정
- selector: {} 삭제
  - longhorn은 selector 지원하지 않음

1
2
3
4
5
6
7
8


 storageSpec:
 volumeClaimTemplate:
 spec:
 storageClassName: longhorn
 accessModes: ["ReadWriteOnce"]
 resources:
 requests:
 storage: 40Gi

alertmanager pvc 설정
- selector: {} 삭제
  - longhorn은 selector 지원하지 않음

1
2
3
4
5
6
7
8


 storage:
 volumeClaimTemplate:
 spec:
 storageClassName: longhorn
 accessModes: ["ReadWriteOnce"]
 resources:
 requests:
 storage: 2Gi

kube-prometheus-stack 설치

1

helm install prometheus prometheus-community/kube-prometheus-stack -f values.yaml --namespace monitoring --create-namespace

Grafana UI 접근

ingress 생성

8082포트를 사용하는 grafana service로 연결

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25


cat <<EOF > grafana-ingress.yaml
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
 name: grafana-ingress
 namespace: monitoring
 annotations:
 nginx.ingress.kubernetes.io/backend-protocol: "HTTP"
 nginx.ingress.kubernetes.io/proxy-body-size: "50m"
spec:
 ingressClassName: nginx
 rules:
 - host: "grafana.<도메인>"
 http:
 paths:
 - path: /
 pathType: Prefix
 backend:
 service:
 name: prometheus-grafana
 port:
 number: 80
EOF

kubectl -n monitoring apply -f grafana-ingress.yaml

HAproxy 설정

ingress를 조회하여 MetalLB로부터 부여받은 IP 확인

현재는 172.27.1.100

1
2
3
4


# kubectl get ingress -n monitoring 
# kubectl get ingress -n monitoring 
NAME CLASS HOSTS ADDRESS PORTS AGE
grafana-ingress nginx grafana.<도메인> 172.27.1.100 80 9s

확인한 IP를 HAproxy 설정에 추가

HAproxy 서버 공인 IP로 접근 시 grafana의 Ingress로 통신되도록 설정

1
2
3


vim /etc/haproxy/haproxy.cfg
haproxy -c -f /etc/haproxy/haproxy.cfg
systemctl reload haproxy

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


frontend unified_frontend_8080
 bind *:8080
 mode http
 option forwardfor

 http-request set-header X-Forwarded-Host %[req.hdr(host)]
 http-request set-header X-Forwarded-Proto http
 http-request set-header X-Forwarded-Port %[dst_port]

 # Host 기반 라우팅
 use_backend metallb_backend_grafana if { hdr(host) -m sub grafana }

backend metallb_backend_grafana
 server grafana 172.27.1.100:80

접근 성공!

Grafana 관리자 비밀번호 확인

1

kubectl --namespace monitoring get secrets prometheus-grafana -o jsonpath="{.data.admin-password}" | base64 -d ; echo

대시보드 그래프 origin not allowed 에러 발생 시

IP주소로의 직접 접근을 Grafana의 CSRF 정책이 요청 차단

도메인을 통해 접근해서 CSRF 정책 통과

ingrass, haproxy에 설정되어있던 grafana.local을 새로 설정한 도메인으로 변경
values.yaml 수정

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


 grafana:
 ...
 adminPassword: <GRAFANA_PASSWORD>
 grafana.ini:
 server:
 domain: <도메인>:48082
 root_url: http://<도메인>:48082
 security:
 csrf_trusted_origins: "<도메인>:48082"
 csrf_cookies_secure: false
 cookie_secure: false
 cookie_samesite: lax
 ...

설정 반영

1
2
3
4



helm uninstall prometheus --namespace monitoring
kubectl --namespace monitoring delete pvc --all
helm install prometheus prometheus-community/kube-prometheus-stack -f values.yaml --namespace monitoring

Prometheus UI 접근