Monitoring on Joonlog

Kubernetes 환경에서 Prometheus를 많이 사용하는 이유

Fri, 12 Sep 2025 09:00:00 +0900

흔히 Kubernetes 환경에서 매트릭 모니터링으로 Prometheus를 많이 사용한다는데, 왜 많이 쓰는지, 정확한 이유를 알아보고자 작성한 글입니다.

K8S에서 Prometheus를 쓰는 이유

Prometheus 구축을 kube-prometheus-stack Helm Chart로만 구축해봤다 보니 처음에는 Helm에 그 이유가 있을 줄 알았는데, 알고 보니 Prometheus 자체가 K8S와의 호환성이 좋았다. Helm은 Prometheus를 구축하기 편하게 Chart 형태로만 패키징 해놓은 것. 이 Helm Chart의 베이스 엔진인 Prometheus-Operator도 이유 중 하나로, CRD(podmonitor, servicemonitor)로 promtheus를 관리할 수 있다.

결론적으로, 크게 아래 두 이유 때문에 K8S에서 Prometheus를 사용한다고 볼 수 있다.

K8S 환경에서의 호환성
K8S 환경에서의 관리 용이성

K8S 환경에서의 Prometheus 호환성

Prometheus는 K8S 서비스 디스커버리를 지원

내장된 서비스 디스커버리로 인해 K8S API(서비스/파드/노드/인그레스 등)가 스케일인/아웃, 신규 네임스페이스 추가되는 등등의 상황에서도 동적으로 탐색 가능
- 서비스 디스커버리: 엔드포인트를 미리 하드코딩하지 않고, 런타임에 자동으로 찾아 쓰는 패턴

K8S에서는 kubelet 프로세스가 cAdvisor를 통해서 지표를 수집하는데, 이 데이터를 Prometheus 서버가 읽어서 신규 서비스/파드 추가 시 모니터링 대상으로 자동으로 편입 가능

prometheus.yml에서 kubelet의 엔트포인트인 /metrics, /metrics/cadvisor를 스크랩하도록 설정할 경우에 Prometheus가 자동으로 읽음
바닐라 prometheus를 사용할 경우의 prometheus.yml 예시

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26


scrape_configs:
 - job_name: kubelet
 scheme: https
 metrics_path: /metrics
 kubernetes_sd_configs:
 - role: node
 bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token
 tls_config:
 ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
 relabel_configs:
 - source_labels: [__meta_kubernetes_node_address_InternalIP]
 target_label: __address__
 replacement: $1:10250

 - job_name: kubelet-cadvisor
 scheme: https
 metrics_path: /metrics/cadvisor
 kubernetes_sd_configs:
 - role: node
 bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token
 tls_config:
 ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
 relabel_configs:
 - source_labels: [__meta_kubernetes_node_address_InternalIP]
 target_label: __address__
 replacement: $1:10250

K8S 환경에서의 Prometheus 관리 용이성

Prometheus Operator: https://github.com/prometheus-operator/prometheus-operator
Prometheus Operator는 Prometheus를 K8S에서 사용하기 편하게 패키징한 툴
- CRD 기반의 선언형으로 Prometheus 관리 가능
  - CRD 예: ServiceMonitor, PodMonitor, PrometheusRule 등의 커스텀 리소스
  - CRD에서의 Label Selector, Namespace Selector 설정으로 신규 파드 추가 시 자동 모니터링 편입
  - kubelet을 ServiceMonitor로 생성할 경우 kubelet의 cadvisor가 수집한 지표를 이 kubelet CRD로 인해 Prometheus 서버가 읽고, 신규 서비스/파드 추가 시 모니터링 대상으로 자동으로 편입 가능
  - Prometheus CRD로 Alerting 룰 분리

kube-prometheus-stack

prometheus operator부터 grafana까지 모니터링에 필요한 올인원 Helm 패키지

구조

1
2
3
4
5
6
7
8


kube-prometheus-stack
├── Prometheus Operator (핵심 엔진)
├── Prometheus 인스턴스
├── Grafana (시각화 대시보드)
├── AlertManager (알람 관리)
├── Node Exporter (Node 매트릭 수집)
├── kube-state-metrics (K8S 리소스 매트릭 수집)
└── 기본 ServiceMonitors/PrometheusRules (정책)

기본 생성 servicemonitor 목록

아래 리스트가 전부 생성되므로 사실상 kube-prometheus-stack을 설치하는 것만으로 기본 매트릭 모니터링은 끝

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


prometheus-grafana
prometheus-kube-prometheus-alertmanager
prometheus-kube-prometheus-apiserver
prometheus-kube-prometheus-coredns
prometheus-kube-prometheus-kube-controller-manager
prometheus-kube-prometheus-kube-etcd
prometheus-kube-prometheus-kube-proxy
prometheus-kube-prometheus-kube-scheduler
prometheus-kube-prometheus-kubelet
prometheus-kube-prometheus-operator
prometheus-kube-prometheus-prometheus
prometheus-kube-state-metrics
prometheus-prometheus-node-exporter

자체 관리형 Kubernetes에서의 Prometheus와 Grafana 구축

Fri, 12 Sep 2025 09:00:00 +0900

매니지드 K8S가 아닌 자체 관리형 K8S에서의 Prometheus + Grafana 구축 방법

UI 접근을 위한 외부 통신으로 MetalLB+HAproxy+Nginx Controller가 구성 되었다는 전제 하에 구축

CSP 환경이라면 Ingress 설정에서 AWS ALB Controller와 같은 로드밸런서를 사용해 훨씬 간편하게 구축 가능

Prometheus 공식문서: https://prometheus.io/docs/prometheus/latest/installation/
Grafana 공식문서: https://grafana.com/docs/grafana/latest/setup-grafana/installation/

개요

kube-prometheus-stack helm chart 구조

1
2
3
4
5
6
7
8


kube-prometheus-stack
├── Prometheus Operator (핵심 엔진)
├── Prometheus 인스턴스
├── Grafana (시각화 대시보드)
├── AlertManager (알람 관리)
├── Node Exporter (Node 매트릭 수집)
├── kube-state-metrics (K8S 리소스 매트릭 수집)
└── 기본 ServiceMonitors/PrometheusRules (정책)

Prometheus Operator란

CRD 기반 Prometheus 관리 도구
Prometheus, ServiceMonitor, PrometheusRule 등의 Custom Resource 제공
선언적 방식으로 Prometheus 설정 관리

Prometheus + Grafana 설치

깃허브: https://github.com/prometheus-community/helm-charts

helm 리포지토리 추가

1
2
3


helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm repo add grafana https://grafana.github.io/helm-charts
helm repo update

kube-prometheus-stack 설치

prometheus + grafana 합쳐진 패키지
values.yaml 수정

1

helm show values prometheus-community/kube-prometheus-stack > values.yaml

grafana pvc 설정

1
2
3
4
5
6
7


 persistence:
 enabled: true
 type: sts
 storageClassName: "longhorn"
 accessModes:
 - ReadWriteOnce
 size: 5Gi

prometheus pvc 설정
- selector: {} 삭제
  - longhorn은 selector 지원하지 않음

1
2
3
4
5
6
7
8


 storageSpec:
 volumeClaimTemplate:
 spec:
 storageClassName: longhorn
 accessModes: ["ReadWriteOnce"]
 resources:
 requests:
 storage: 40Gi

alertmanager pvc 설정
- selector: {} 삭제
  - longhorn은 selector 지원하지 않음

1
2
3
4
5
6
7
8


 storage:
 volumeClaimTemplate:
 spec:
 storageClassName: longhorn
 accessModes: ["ReadWriteOnce"]
 resources:
 requests:
 storage: 2Gi

kube-prometheus-stack 설치

1

helm install prometheus prometheus-community/kube-prometheus-stack -f values.yaml --namespace monitoring --create-namespace

Grafana UI 접근

ingress 생성

8082포트를 사용하는 grafana service로 연결

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25


cat <<EOF > grafana-ingress.yaml
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
 name: grafana-ingress
 namespace: monitoring
 annotations:
 nginx.ingress.kubernetes.io/backend-protocol: "HTTP"
 nginx.ingress.kubernetes.io/proxy-body-size: "50m"
spec:
 ingressClassName: nginx
 rules:
 - host: "grafana.<도메인>"
 http:
 paths:
 - path: /
 pathType: Prefix
 backend:
 service:
 name: prometheus-grafana
 port:
 number: 80
EOF

kubectl -n monitoring apply -f grafana-ingress.yaml

HAproxy 설정

ingress를 조회하여 MetalLB로부터 부여받은 IP 확인

현재는 172.27.1.100

1
2
3
4


# kubectl get ingress -n monitoring 
# kubectl get ingress -n monitoring 
NAME CLASS HOSTS ADDRESS PORTS AGE
grafana-ingress nginx grafana.<도메인> 172.27.1.100 80 9s

확인한 IP를 HAproxy 설정에 추가

HAproxy 서버 공인 IP로 접근 시 grafana의 Ingress로 통신되도록 설정

1
2
3


vim /etc/haproxy/haproxy.cfg
haproxy -c -f /etc/haproxy/haproxy.cfg
systemctl reload haproxy

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


frontend unified_frontend_8080
 bind *:8080
 mode http
 option forwardfor

 http-request set-header X-Forwarded-Host %[req.hdr(host)]
 http-request set-header X-Forwarded-Proto http
 http-request set-header X-Forwarded-Port %[dst_port]

 # Host 기반 라우팅
 use_backend metallb_backend_grafana if { hdr(host) -m sub grafana }

backend metallb_backend_grafana
 server grafana 172.27.1.100:80

접근 성공!

Grafana 관리자 비밀번호 확인

1

kubectl --namespace monitoring get secrets prometheus-grafana -o jsonpath="{.data.admin-password}" | base64 -d ; echo

대시보드 그래프 origin not allowed 에러 발생 시

IP주소로의 직접 접근을 Grafana의 CSRF 정책이 요청 차단

도메인을 통해 접근해서 CSRF 정책 통과

ingrass, haproxy에 설정되어있던 grafana.local을 새로 설정한 도메인으로 변경
values.yaml 수정

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


 grafana:
 ...
 adminPassword: <GRAFANA_PASSWORD>
 grafana.ini:
 server:
 domain: <도메인>:48082
 root_url: http://<도메인>:48082
 security:
 csrf_trusted_origins: "<도메인>:48082"
 csrf_cookies_secure: false
 cookie_secure: false
 cookie_samesite: lax
 ...

설정 반영

1
2
3
4



helm uninstall prometheus --namespace monitoring
kubectl --namespace monitoring delete pvc --all
helm install prometheus prometheus-community/kube-prometheus-stack -f values.yaml --namespace monitoring

Prometheus UI 접근

ingress 생성

8080포트를 사용하는 prometheus service로 연결

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25


cat <<EOF > prometheus-ingress.yaml
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
 name: prometheus-ingress
 namespace: monitoring
 annotations:
 nginx.ingress.kubernetes.io/backend-protocol: "HTTP"
 nginx.ingress.kubernetes.io/proxy-body-size: "50m"
spec:
 ingressClassName: nginx
 rules:
 - host: "prometheus.local"
 http:
 paths:
 - path: /
 pathType: Prefix
 backend:
 service:
 name: prometheus-kube-prometheus-prometheus
 port:
 number: 9090
EOF

kubectl -n monitoring apply -f prometheus-ingress.yaml

HAproxy 설정

ingress를 조회하여 MetalLB로부터 부여받은 IP 확인

현재는 172.27.1.100

1
2
3


# kubectl get ingress -n monitoring 
NAME CLASS HOSTS ADDRESS PORTS AGE
prometheus-ingress nginx prometheus.<도메인> 172.27.1.100 80 9s

확인한 IP를 HAproxy 설정에 추가

HAproxy 서버 공인 IP로 접근 시 prometheus의 Ingress로 통신되도록 설정

1
2
3


vim /etc/haproxy/haproxy.cfg
haproxy -c -f /etc/haproxy/haproxy.cfg
systemctl reload haproxy

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


frontend unified_frontend_8080
 bind *:8080
 mode http
 option forwardfor

 http-request set-header X-Forwarded-Host %[req.hdr(host)]
 http-request set-header X-Forwarded-Proto http
 http-request set-header X-Forwarded-Port %[dst_port]

 # Host 기반 라우팅
 use_backend metallb_backend_prometheus if { hdr(host) -m sub prometheus }

backend metallb_backend_prometheus
 server prometheus 172.27.1.100:80

접근 성공!

Rocky8.10 Cacti 설치

Sat, 26 Jul 2025 09:00:00 +0900

참고: https://ko.linux-console.net/?p=2502

Apache 웹서버

1
2


sudo dnf install httpd -y
sudo systemctl enable --now httpd

MariaDB

1
2


sudo dnf install -y mariadb-server mariadb
sudo systemctl enable --now mariadb

PHP

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


sudo dnf install dnf-utils http://rpms.remirepo.net/enterprise/remi-release-8.rpmmi
sudo dnf module reset php
sudo dnf module enable php:remi-7.4
sudo dnf install @php
sudo dnf install -y php php-{mysqlnd,curl,gd,intl,pear,recode,ldap,xmlrpc,snmp,mbstring,gettext,gmp,json,xml,common}
sudo systemctl enable --now php-fpm

sudo vim /etc/opt/remi/php74/php.ini

date.timezone = Africa/Nairobi
memory_limit = 512M
max_execution_style = 60

SNMP & RRDtool

1
2


sudo dnf install -y net-snmp net-snmp-utils net-snmp-libs rrdtool
sudo systemctl enable --now snmpd

Cacti DB 생성

cacti 사용자 생성 및 cacti DB ALL 권한 부여
cacti 사용자에 timezone 조회 권한 부여

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


mysql -u root -p

MariaDB [(none)]> CREATE DATABASE cactidb;
MariaDB [(none)]> GRANT ALL ON cactidb.* TO cacti_user@localhost IDENTIFIED BY 'passwd123';
MariaDB [(none)]> FLUSH PRIVILEGES;
MariaDB [(none)]> EXIT;

mysql -u root -p mysql < /usr/share/mariadb/mysql_test_data_timezone.sql

MariaDB [(none)]> GRANT SELECT ON mysql.time_zone_name TO cacti_user@localhost;
MariaDB [(none)]> FLUSH PRIVILEGES;
MariaDB [(none)]> EXIT;

선택 - DB 파라미터 튜닝

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18


sudo vi /etc/my.cnf.d/mariadb-server.cnf

collation-server=utf8mb4_unicode_ci
character-set-server=utf8mb4
max_heap_table_size=32M
tmp_table_size=32M
join_buffer_size=64M
25% Of Total System Memory
innodb_buffer_pool_size=1GB
pool_size/128 for less than 1GB of memory
innodb_buffer_pool_instances=10
innodb_flush_log_at_timeout=3
innodb_read_io_threads=32
innodb_write_io_threads=16
innodb_io_capacity=5000
innodb_file_format=Barracuda
innodb_large_prefix=1
innodb_io_capacity_max=10000

Cacti 설치 및 테이블 생성

1
2
3
4
5
6
7


sudo dnf install epel-release -y
sudo dnf install cacti -y
rpm -qi cacti
 cacti 1.12.17
rpm -ql cacti | grep cacti.sql
 /usr/share/doc/cacti/cacti.sql
mysql -u root -p cactidb < /usr/share/doc/cacti/cacti.sql

Cacti MariaDB 연동

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


sudo vim /usr/share/cacti/include/config.php

$database_type = 'mysql';
$database_default = 'cactidb';
$database_hostname = 'localhost';
$database_username = 'cacti_user';
$database_password = '<PASSWORD>';
$database_port = '3306';
$database_retries = 5;
$database_ssl = false;
$database_ssl_key = '';

Cacti 풀링 설정

1
2
3


sudo vim /etc/cron.d/cacti

*/5 * * * * apache /usr/bin/php /usr/share/cacti/poller.php > /dev/null 2>&1

Cacti 웹페이지 설정

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26


sudo vim /etc/httpd/conf.d/cacti.conf

Alias /cacti /usr/share/cacti

<Directory /usr/share/cacti/>
 <IfModule mod_authz_core.c>
 # httpd 2.4
 # Require all granted
 Require ip 192.168.0.0/24
 </IfModule>
 <IfModule !mod_authz_core.c>
 # httpd 2.2
 Order deny,allow
 Deny from all
 # Allow from all
 Allow from 192.168.0.0/24
 </IfModule>
</Directory>

<Directory /usr/share/cacti/install>
</Directory>

sudo systemctl restart httpd
sudo systemctl restart php-fpm
sudo firewall-cmd --permanent --add-service=http
sudo firewall-cmd --reload

Cacti 웹페이지 접근

1
2


http://server-ip/cacti
 admin/admin

Munin 모니터링 구축

Mon, 16 Dec 2024 09:00:00 +0900

목표

Munin 서버 1대, 클라이언트 1대로 모니터링 구축
웹 인터페이스를 통해 실시간 데이터 시각화

환경 설정

OS: Rocky 8.10
Monitoring: munin 2.0.73

개념 및 설정

Munin

/etc/munin/munin.conf

주 설정 파일
모니터링할 노드 설정

/etc/httpd/conf.d/munin.conf

munin용 Apache 설정
비밀번호 설정

/etc/munin/munin-node.conf

클라이언트에서의 서버 연결 설정 파일

/etc/cron.d/munin

munin 모니터링 주기 설정

작업 과정

1. Munin Server

사용자 생성

1
2


useradd -m -G wheel moserver
echo "moserver" | passwd --stdin moserver

1) Munin 설정

패키지 설치

1
2
3
4
5


sudo dnf update --exclude=kernel* -y
sudo dnf config-manager --set-enabled powertools
sudo dnf install -y epel-release
sudo dnf install -y munin munin-node
sudo dnf install -y httpd

munin.conf 설정

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


sudo vi /etc/munin/munin.conf

# 주석해제
dbdir /var/lib/munin
htmldir /var/www/html/munin
logdir /var/log/munin
rundir /var/run/munin

[localhost]
 address 127.0.0.1
 use_node_name yes

[pjt-moclient]
 address <Client-IP>
 use_node_name yes

2) Munin 웹 인터페이스 설정

munin 패스워드 설정

1

sudo htpasswd -s -c /etc/munin/munin-htpasswd muninadmin

apache munin.conf 생성

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16


sudo vi /etc/httpd/conf.d/munin.conf

# /munin으로 온 요청 /var/www/html/munin으로 매핑
alias /munin /var/www/html/munin
# 이 코드가 있어야 상세 그래프 페이지에서 그래프가 나타남
ScriptAlias /munin-cgi/munin-cgi-graph /var/www/html/munin/cgi/munin-cgi-graph

<Directory /var/www/html/munin>
 AuthUserFile /etc/munin/munin-htpasswd
 AuthName munin-auth
 AuthType Basic
 <RequireAll>
 Require valid-user
 Require ip 127.0.0.1 <내 현재 IP>
 </RequireAll>
</Directory>

3) Munin Node(localhost) 설정

munin-node.conf 수정
- 서버도 모니터링 할 시 추가

1
2
3
4
5
6
7
8
9


# vi 편집기를 이용해 수정
vi /etc/munin/munin-node.conf

# 해당 부분 아래에 모니터링 서버 IP를 추가
allow ^127\.0\.0\.1$
allow ^::1$
allow ^172\.27\.0\.74$

sudo systemctl enable --now munin-node

4) Munin Cron 설정

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


sudo vi /etc/cron.d/munin

# cron 작업 출력 메세지를 root에게 메일로 보냄
MAILTO=root
# 1분마다 동작
# munin 사용자 권한으로 실행
# test -x /usr/bin/munin-cron: 파일이 실행 가능한 상태인지 확인
* * * * * munin test -x /usr/bin/munin-cron && /usr/bin/munin-cron

sudo systemctl restart crond
sudo systemctl enable --now httpd

방화벽

1
2
3
4


sudo systemctl enable --now firewalld
sudo firewall-cmd --permanent --add-port=80/tcp
sudo firewall-cmd --permanent --add-port=4949/tcp
sudo firewall-cmd --reload

2. Munin Client

사용자 생성

1
2


useradd -m -G wheel moclient
echo "moclient" | passwd --stdin moclient

1) Munin Node(Client) 설정

패키지 설치

1
2
3
4


sudo dnf update --exclude=kernel* -y
sudo dnf config-manager --set-enabled powertools
sudo dnf install -y epel-release
sudo dnf install -y munin-node

munin-node.conf 수정

1
2
3
4
5
6
7
8
9


# vi 편집기를 이용해 수정
vi /etc/munin/munin-node.conf

# 해당 부분 아래에 모니터링 서버 IP를 추가
allow ^127\.0\.0\.1$
allow ^::1$
allow ^172\.27\.0\.74$

sudo systemctl enable --now munin-node

방화벽

1
2
3


sudo systemctl enable --now firewalld
sudo firewall-cmd --permanent --add-port=4949/tcp
sudo firewall-cmd --reload

로그 확인 명령어

1
2


sudo tail -f /var/log/munin/munin-update.log
sudo tail -f /var/log/munin-node/munin-node.log

트러블슈팅

epel-release 설치 후 perl 의존성 에러 발생

epel 공식문서 참조 https://docs.fedoraproject.org/en-US/epel/getting-started/
sudo dnf config-manager --set-enabled powertools 명령어로 powertools 활성화 필요

localhost와 client의 그래프가 동일하게 나오는 현상

1
2
3


[moserver@pjt-moserver ~]$ sudo tail -f /var/log/munin/munin-update.log
2024/11/20 08:40:01 [INFO] node pjt-moclient advertised itself as pjt-moooooo instead.
2024/11/20 08:40:01 [INFO] node localhost advertised itself as pjt-moooooo instead.

/etc/munin/munin.conf의 address를 172를 설정해야 하는데 127로 기입하는 오타로 인해 생긴 문제

munin 페이지에 htpasswd가 적용되지 않는 문제

Require ip가 Require valid-user보다 우선되어 Require valid-user는 검사를 안하는 상황
ReruireAll 태그 안으로 넣어 모든 조건 만족하도록 변경 후 해결

1
2
3
4
5
6
7
8
9


<Directory /var/www/html/munin>
 AuthUserFile /etc/munin/munin-htpasswd
 AuthName munin-auth
 AuthType Basic
 <RequireAll>
 Require valid-user
 Require ip 127.0.0.1 <내 현재 IP>
 </RequireAll>
</Directory>

참고

munin 설치: https://guide.munin-monitoring.org/en/latest/installation/install.html

epel-release 공식문서: https://docs.fedoraproject.org/en-US/epel/getting-started/

Nagios 모니터링 구축

Thu, 12 Dec 2024 09:00:00 +0900

목표

Nagios 서버 1대, 클라이언트 1대, private 클라이언트 1대로 시스템 모니터링 환경 구성
NRPE와 check_tcp 플러그인을 활용한 포트 및 기본 시스템 리소스 모니터링 구현
Nagios 웹 인터페이스를 통한 모니터링 결과 시각화
커스텀 플러그인 작성을 통한 특정 메모리 모니터링 기능 추가
Nagios 서버에서 bastion 노드를 거쳐 private 노드 모니터링

환경 설정

OS: Rocky 8.10
Monitoring: nagios 4.4.6
nagios-plugins 2.2.1
nrpe 4.1.0

개념 및 설정

Nagios

/usr/local/nagios/var/nagios.log

메인 로그 파일
웹에서 alerts history, notifications, Event log가 이 파일 참조

/usr/local/nagios/etc/nagios.cfg

메인 설정 파일

/usr/local/nagios/etc/objects/localhost.cfg

로컬호스트 설정 파일

/usr/local/nagios/etc/objects/commands.cfg

설정 파일에서 사용하는 command 정의 파일

/usr/local/nagios/libexec/

command의 실제 쉘 스크립트가 저장되어 있는 경로

NRPE

/etc/nagios/nrpe.cfg

서버와의 연결 설정
클라이언트에서 사용할 /usr/local/nagios/libexec/ 경로의 플러그인 스크립트를 command로 지정

NRPE 플러그인 적용 흐름

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19


# 아래 파일들을 참조해 check_nrpe!check_load가 동작 가능
# 서버 client.cfg 
define service {
 use generic-service
 host_name moclient
 service_description CPU Load
 check_command check_nrpe!check_load
}

# checp_nrpe는 아래 경로 참조
# 서버 commands.cfg
define command {
 command_name check_nrpe
 command_line /usr/local/nagios/libexec/check_nrpe -H $HOSTADDRESS$ -c $ARG1$
}

# check_load는 아래 경로 참조
# 클라이언트 nrpe.cfg
command[check_load]=/usr/local/nagios/libexec/check_load -r -w .15,.10,.05 -c .30,.25,.20

작업 과정

1. Nagios Server 설정

사용자 생성

1
2


useradd -m -G wheel moserver
echo "moserver" | passwd --stdin moserver

소스 설치 준비

1
2


sudo dnf update --exclude=kernel* -y
sudo dnf install -y httpd httpd-tools php gcc glibc glibc-common gd gd-devel make net-snmp

유저, 그룹 생성
- nagios 유저 없으면 make install 에서 오류
- 위에서 설치한 httpd 사용자 apache 유저에게 nagios 접근 권한을 nagcmd 그룹으로 부여
  - nagios 웹 인터페이스에서 nagios 작업할 때 apache가 nagios 외부 파일에 접근해야 함

1
2
3
4
5


sudo groupadd nagcmd
sudo useradd nagios

sudo usermod -G nagcmd nagios
sudo usermod -G nagcmd apache

nagios 패키지 다운로드
- nagios, nagios 플러그인 패키지 다운로드

1
2
3
4
5
6
7


mkdir /home/moserver/nagios && cd /home/moserver/nagios

sudo wget https://assets.nagios.com/downloads/nagioscore/releases/nagios-4.4.6.tar.gz
sudo wget https://nagios-plugins.org/download/nagios-plugins-2.2.1.tar.gz

sudo tar -xvf nagios-4.4.6.tar.gz
sudo tar -xvf nagios-plugins-2.2.1.tar.gz

1) Nagios 소스 설치

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


cd nagios-4.4.6/
# 소스파일에 대한 환경설정을 해주는 명령어. 서버환경에 맞춰 makefile 생성
sudo ./configure --with-command-group=nagcmd
# 소스 컴파일
sudo make all
# 컴파일한 소스 설치
sudo make install

# /etc/init.d 에 등록됨
sudo make install-init
# nagios라는 user가 없으면 여기서 에러 발생
sudo make install-commandmode
# /usr/local/nagios 에 설정파일이 생성됨
sudo make install-config

nagios 웹 인터페이스

1
2
3
4
5
6
7


# /etc/httpd/conf.d/nagios.conf 생성됨
sudo make install-webconf

sudo htpasswd -s -c /usr/local/nagios/etc/htpasswd.users nagiosadmin

sudo systemctl enable --now httpd
sudo systemctl enable --now nagios

방화벽 설정

1
2
3


sudo systemctl enable --now firewalld
sudo firewall-cmd --add-port=80/tcp --permanent
sudo firewall-cmd --reload

(선택) 이메일 알림

1

vi /usr/local/nagios/etc/objects/contacts.cfg

웹 인터페이스 접근

1

http://<domain>:8080/nagios/

플러그인 설치 안하면 critical로 표시됨

2) Nagios 플러그인 소스 설치

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


cd /home/moserver/nagios/nagios-plugins-2.2.1/

# 소스파일에 대한 환경설정을 해주는 명령어. 서버환경에 맞춰 makefile 생성
sudo ./configure --with-nagios-user=nagios --with-nagios-group=nagios
# 소스 컴파일
sudo make all
# 컴파일한 소스 설치
sudo make install

# nagios 설정 파일 검사
sudo /usr/local/nagios/bin/nagios -v /usr/local/nagios/etc/nagios.cfg

index.html 생성

1

echo "http check" | sudo tee /var/www/html/index.html

nagios 재시작

1
2


sudo systemctl restart nagios
sudo systemctl restart httpd

플러그인 반영까지 수 분 소요

2. Nagios Client 설정

1) Server NRPE 소스 설치

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


sudo cd /home/moserver/nagios

sudo wget https://github.com/NagiosEnterprises/nrpe/releases/download/nrpe-4.1.0/nrpe-4.1.0.tar.gz

sudo tar zxvf nrpe-4.1.0.tar.gz

sudo cd nrpe-4.1.0
# -–enable-command-args 옵션을 사용하면 NRPE를 통해 인수를 전달할 수 있습니다. 
# 생략하면 인수를 nrpe 구성 파일 nrpe.cfg에 명시적으로 설정해야 합니다.
# -–with-nrpe-user=nagios –with-nrpe-group=nagios는 구성 파일의 소유권을 설정합니다.
sudo ./configure --enable-command-args --with-nrpe-user=nagios --with-nrpe-group=nagios

sudo make install-groups-users
sudo make all
sudo make install

방화벽 설정

1
2


sudo firewall-cmd --add-port=5666/tcp --permanent
sudo firewall-cmd --reload

nrpe 설정

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20


sudo vi /usr/local/nagios/etc/nagios.cfg
# 주석 제거
cfg_dir=/usr/local/nagios/etc/servers

sudo mkdir -p /usr/local/nagios/etc/servers
sudo vi /usr/local/nagios/etc/servers/client.cfg

define host{

 use linux-server
 host_name moclient
 alias moclient
 address <Client-IP>
 max_check_attempts 5
 check_period 24x7
 notification_interval 30
 notification_period 24x7
}

sudo systemctl enable --now nrpe

2) Client NRPE 설정

사용자 생성

1
2


useradd -m -G wheel moclient
echo "moclient" | passwd --stdin moclient

1

sudo dnf install -y nrpe

nrpe 설정

1
2
3
4


sudo vi /etc/nagios/nrpe.cfg
 allowed_hosts=127.0.0.1,::1,<Server IP>

sudo systemctl enable --now nrpe

3) Client Nagios 플러그인 소스 설치

소스 설치 준비

1
2


sudo dnf update --exclude=kernel* -y
sudo dnf install -y httpd httpd-tools php gcc glibc glibc-common gd gd-devel make net-snmp

nagios 플러그인 패키지 다운로드

1
2
3
4
5


mkdir /home/moclient/nagios && cd /home/moclient/nagios

sudo wget https://nagios-plugins.org/download/nagios-plugins-2.2.1.tar.gz

sudo tar -xvf nagios-plugins-2.2.1.tar.gz

1
2
3
4
5
6
7
8


cd /home/moclient/nagios/nagios-plugins-2.2.1/

# 소스파일에 대한 환경설정을 해주는 명령어. 서버환경에 맞춰 makefile 생성
sudo ./configure --with-nagios-user=nagios --with-nagios-group=nagios
# 소스 컴파일
sudo make all
# 컴파일한 소스 설치
sudo make install

방화벽 설정

1
2
3
4


sudo systemctl enable --now firewalld
sudo firewall-cmd --add-port=5666/tcp --permanent

sudo firewall-cmd --reload

3. Nagios 모니터링 추가 설정

1) Server local check_tcp 모니터링 추가

period, max_check_attemps 등 명시 안하면 templates.cfg 에 명시된 기본값 사용됨

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


sudo vi /usr/local/nagios/etc/objects/localhost.cfg

define service {
 use local-service
 host_name localhost
 service_description HTTP Port
 check_command check_tcp!80
}

define service {
 use local-service
 host_name localhost
 service_description SSH Port
 check_command check_tcp!22
}

service에서 HTTP Port, SSH Port 항목 OK 확인

2) Client 여러 서비스 모니터링 추가

Server에서 check_nrpe 플러그인 command 등록

1
2
3
4
5
6


sudo vi /usr/local/nagios/etc/objects/commands.cfg

define command {
 command_name check_nrpe
 command_line /usr/local/nagios/libexec/check_nrpe -H $HOSTADDRESS$ -c $ARG1$
}

Server의 client.cfg

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29


sudo vi /usr/local/nagios/etc/servers/client.cfg

define service {
 use generic-service
 host_name moclient
 service_description CPU Load
 check_command check_nrpe!check_load
}

define service {
 use generic-service
 host_name moclient
 service_description Disk Usage
 check_command check_nrpe!check_disk
}

define service {
 use generic-service
 host_name moclient
 service_description Memory Usage
 check_command check_nrpe!check_mem
}

define service {
 use generic-service
 host_name moclient
 service_description SSH Port
 check_command check_tcp!22
}

Client의 nrpe.cfg

1
2
3
4
5
6


sudo vi /etc/nagios/nrpe.cfg

command[check_load]=/usr/local/nagios/libexec/check_load -r -w .15,.10,.05 -c .30,.25,.20
command[check_disk]=/usr/local/nagios/libexec/check_disk -w 20% -c 10% -p /
# 커스텀 플러그인
command[check_mem]=/usr/local/nagios/libexec/custom_check_mem 80 90

custom_check_mem 플러그인 커스텀

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27


sudo vi /usr/local/nagios/libexec/custom_check_mem

#!/bin/bash
# Memory check script for Nagios

# Set warning and critical thresholds
WARN=$1
CRIT=$2

# Get total and free memory
TOTAL_MEM=$(free -m | grep Mem: | awk '{print $2}')
USED_MEM=$(free -m | grep Mem: | awk '{print $3}')
USED_MEM_PERCENT=$((USED_MEM * 100 / TOTAL_MEM))

if [ "$USED_MEM_PERCENT" -ge "$CRIT" ]; then
 echo "CRITICAL - Memory usage is ${USED_MEM_PERCENT}% | memory=${USED_MEM_PERCENT}%"
 exit 2
elif [ "$USED_MEM_PERCENT" -ge "$WARN" ]; then
 echo "WARNING - Memory usage is ${USED_MEM_PERCENT}% | memory=${USED_MEM_PERCENT}%"
 exit 1
else
 echo "OK - Memory usage is ${USED_MEM_PERCENT}% | memory=${USED_MEM_PERCENT}%"
 exit 0
fi

sudo chmod +x /usr/local/nagios/libexec/custom_check_mem
sudo systemctl restart nrpe

4. Private Host 모니터링

1) Private NRPE 설정

서버에서 ssh 접속

1

ssh root@<Private IP>

사용자 생성

1
2


useradd -m -G wheel moprivate
echo "moprivate" | passwd --stdin moprivate

1
2
3


sudo dnf update --exclude=kernel* -y
sudo dnf install -y epel-release
sudo dnf install -y nrpe

nrpe 설정

1
2
3
4


sudo vi /etc/nagios/nrpe.cfg
 allowed_hosts=127.0.0.1,::1,<Server IP>

sudo systemctl enable --now nrpe

2) Private Nagios 플러그인 소스 설치

소스 설치 준비

1

sudo dnf install -y httpd httpd-tools php gcc glibc glibc-common gd gd-devel make net-snmp

nagios 플러그인 패키지 다운로드

1
2
3
4
5


mkdir /home/moprivate/nagios && cd /home/moprivate/nagios

sudo wget https://nagios-plugins.org/download/nagios-plugins-2.2.1.tar.gz

sudo tar -xvf nagios-plugins-2.2.1.tar.gz

1
2
3
4
5
6
7
8


cd /home/moprivate/nagios/nagios-plugins-2.2.1/

# 소스파일에 대한 환경설정을 해주는 명령어. 서버환경에 맞춰 makefile 생성
sudo ./configure --with-nagios-user=nagios --with-nagios-group=nagios
# 소스 컴파일
sudo make all
# 컴파일한 소스 설치
sudo make install

방화벽 설정

1
2
3
4


sudo systemctl enable --now firewalld
sudo firewall-cmd --add-port=5666/tcp --permanent

sudo firewall-cmd --reload

3) Server Private 등록

서버에 private host 설정

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


sudo vi /usr/local/nagios/etc/servers/private.cfg

define host{

 use linux-server
 host_name moprivate
 alias moprivate
 address <Private IP>
 max_check_attempts 5
 check_period 24x7
 notification_interval 30
 notification_period 24x7
}

sudo systemctl enable --now nagios

4) Private 모니터링 등록

Server의 client.cfg

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31


sudo vi /usr/local/nagios/etc/servers/private.cfg

define service {
 use generic-service
 host_name moprivate
 service_description CPU Load
 check_command check_nrpe!check_load
}

define service {
 use generic-service
 host_name moprivate
 service_description Disk Usage
 check_command check_nrpe!check_disk
}

define service {
 use generic-service
 host_name moprivate
 service_description Memory Usage
 check_command check_nrpe!check_mem
}

define service {
 use generic-service
 host_name moprivate
 service_description SSH Port
 check_command check_tcp!22
}

sudo systemctl restart nrpe

Private 의 nrpe.cfg

1
2
3
4
5
6


sudo vi /etc/nagios/nrpe.cfg

command[check_load]=/usr/local/nagios/libexec/check_load -r -w .15,.10,.05 -c .30,.25,.20
command[check_disk]=/usr/local/nagios/libexec/check_disk -w 20% -c 10% -p /
# 커스텀 플러그인
command[check_mem]=/usr/local/nagios/libexec/custom_check_mem 80 90

custom_check_mem 플러그인 커스텀

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27


sudo vi /usr/local/nagios/libexec/custom_check_mem

#!/bin/bash
# Memory check script for Nagios

# Set warning and critical thresholds
WARN=$1
CRIT=$2

# Get total and free memory
TOTAL_MEM=$(free -m | grep Mem: | awk '{print $2}')
USED_MEM=$(free -m | grep Mem: | awk '{print $3}')
USED_MEM_PERCENT=$((USED_MEM * 100 / TOTAL_MEM))

if [ "$USED_MEM_PERCENT" -ge "$CRIT" ]; then
 echo "CRITICAL - Memory usage is ${USED_MEM_PERCENT}% | memory=${USED_MEM_PERCENT}%"
 exit 2
elif [ "$USED_MEM_PERCENT" -ge "$WARN" ]; then
 echo "WARNING - Memory usage is ${USED_MEM_PERCENT}% | memory=${USED_MEM_PERCENT}%"
 exit 1
else
 echo "OK - Memory usage is ${USED_MEM_PERCENT}% | memory=${USED_MEM_PERCENT}%"
 exit 0
fi

sudo chmod +x /usr/local/nagios/libexec/custom_check_mem
sudo systemctl restart nrpe

임의로 스트레스 주입

private host에서 uptime 시에 0.00, 0.02, 0.11이 나왔기 때문에 설정한 15분 평균 0.05보다 크므로 warning 발생

5. 회사 플러그인 추가

Server의 private.cfg

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17


sudo vi /usr/local/nagios/etc/servers/private.cfg

define service {
 use generic-service
 host_name moprivate
 service_description Ncloud24 CPU Usage
 check_command check_nrpe!check_cpu_usage
}

define service {
 use generic-service
 host_name moprivate
 service_description Ncloud24 MEM Usage
 check_command check_nrpe!check_mem_usage
}

sudo systemctl restart nagios

Private에서 플러그인 설치

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


wget http://service.ncloud24.com/app/nagios/check_mem.pl
wget http://service.ncloud24.com/app/nagios/check_stats.pl
sudo mv check_mem.pl /usr/local/nagios/libexec/
sudo mv check_stats.pl /usr/local/nagios/libexec/
sudo chmod 755 /usr/local/nagios/libexec/check_mem.pl
sudo chmod 755 /usr/local/nagios/libexec/check_stats.pl

sudo vi /usr/local/nagios/libexec/check_stats.pl

# 플러그인 경로 추가
use lib "/usr/local/nagios/libexec";

sudo yum install perl-Sys-Statistics-Linux -y

Private 의 nrpe.cfg

1
2
3
4
5
6
7


sudo vi /etc/nagios/nrpe.cfg

# 회사 플러그인
command[check_cpu_usage]=/usr/local/nagios/libexec/check_stats.pl -C -w 90 -c 95
command[check_mem_usage]=/usr/local/nagios/libexec/check_mem.pl -u -C -w 85 -c 90

sudo systemctl restart nrpe

트러블슈팅

Nagios

nagios 웹 인터페이스 services - HTTP warning 표시

HTTP WARNING: HTTP/1.1 403 Forbidden - 7928 bytes in 0.001 second response time

HTTP status는 /usr/local/nagios/etc/objects/localhost.cfg 의 check_http가 관리
- /var/www/html/ 경로에 파일이 없어서 못읽기 때문
- check_http는 nagios 사용자 권한으로 Apache에 접근하기 때문에 index.html페이지가 없을 때 나오는 Apache 기본 페이지를 제공받지 못하고 403 오류 반환
  - index.html 생성으로 해결

브라우저에서 http://:8080/ 이 경로는 timeout 오류

도메인을 Apache의 virtualhost servername에 등록하지 않은 경우 도메인을 처리할 수 없음
하지만 check_http!-H
-u / 이건 정상 작동
- 도메인을 Apache에서 해석하냐, Nagios에서 해석하냐의 차이

NRPE

dnf install nrpe 실행 시 클라이언트용 nrpe만 설치 되고 check_nrpe 플러그인은 설치되지 않음

nrpe 소스 설치

클라이언트의 서비스 모니터링 작성 시 UNKNOWN / NRPE: Unable to read output 오류

nrpe 설치 시 경로는 /usr/local
nrpe.cfg 파일의 command 경로를 /usr/lib64/nagios/plugins/에서 /usr/local/nagios/libexec/로 수정

회사 플러그인 추가

회사 플러그인 check_stats.pl 추가 후 실행 시 Can't locate utils.pm in @INC (you may need to install the utils module) (@INC contains: /usr/lib64/nagios/plugins /usr/local/lib64/perl5 /usr/local/share/perl5 /usr/lib64/perl5/vendor_perl /usr/share/perl5/vendor_perl /usr/lib64/perl5 /usr/share/perl5) at /usr/local/nagios/libexec/check_stats.pl line 33.

내가 설치한 플러그인들의 경로가 /usr/local/nagios/libexec 이기 때문에 check_stats.pl에서 해당 경로를 찾지 못했기 때문에 발생한 문제
- 경로 수정 없이 플러그인 설치했는데 다른 사람들과 플러그인 경로가 다름
  - 소스 설치 경로는 /usr/local/nagios/libexec
  - 패키지 설치 경로는 /usr/lib64/nagios/plugins
    - 소스 설치 시 ./configure --libexecdir=/usr/lib64/nagios/plugins 명령어로 경로 수정 가능
- 플러그인에 경로 추가로 해결

위 경로 추가 후 재실행 시 Can't locate Sys/Statistics/Linux.pm in @INC (you may need to install the Sys::Statistics::Linux module) (@INC contains: /usr/local/nagios/libexec /usr/lib64/nagios/plugins /usr/local/lib64/perl5 /usr/local/share/perl5 /usr/lib64/perl5/vendor_perl /usr/share/perl5/vendor_perl /usr/lib64/perl5 /usr/share/perl5) at /usr/local/nagios/libexec/check_stats.pl line 37.

Sys:Statistics::Linux 모듈이 없기 때문에 발생한 오류
- sudo yum install perl-Sys-Statistics-Linux -y 설치 후 해결

참고

nagios 설치: https://wiki.crowncloud.net/?how_to_install_nagios_on_rockylinux8 상세 해설: https://www.oss.kr/storage/app/public/oss/22/df/[Nagios] Solution Guide V0.95.pdf

nrpe 설치: https://kifarunix.com/how-to-install-nagios-nrpe-agent-on-rhel-centos-oracle-linux/