Nagios 모니터링 구축

Thu, 12 Dec 2024 09:00:00 +0900

목표

Nagios 서버 1대, 클라이언트 1대, private 클라이언트 1대로 시스템 모니터링 환경 구성
NRPE와 check_tcp 플러그인을 활용한 포트 및 기본 시스템 리소스 모니터링 구현
Nagios 웹 인터페이스를 통한 모니터링 결과 시각화
커스텀 플러그인 작성을 통한 특정 메모리 모니터링 기능 추가
Nagios 서버에서 bastion 노드를 거쳐 private 노드 모니터링

환경 설정

OS: Rocky 8.10
Monitoring: nagios 4.4.6
nagios-plugins 2.2.1
nrpe 4.1.0

개념 및 설정

Nagios

/usr/local/nagios/var/nagios.log

메인 로그 파일
웹에서 alerts history, notifications, Event log가 이 파일 참조

/usr/local/nagios/etc/nagios.cfg

메인 설정 파일

/usr/local/nagios/etc/objects/localhost.cfg

로컬호스트 설정 파일

/usr/local/nagios/etc/objects/commands.cfg

설정 파일에서 사용하는 command 정의 파일

/usr/local/nagios/libexec/

command의 실제 쉘 스크립트가 저장되어 있는 경로

NRPE

/etc/nagios/nrpe.cfg

서버와의 연결 설정
클라이언트에서 사용할 /usr/local/nagios/libexec/ 경로의 플러그인 스크립트를 command로 지정

NRPE 플러그인 적용 흐름

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19


# 아래 파일들을 참조해 check_nrpe!check_load가 동작 가능
# 서버 client.cfg 
define service {
 use generic-service
 host_name moclient
 service_description CPU Load
 check_command check_nrpe!check_load
}

# checp_nrpe는 아래 경로 참조
# 서버 commands.cfg
define command {
 command_name check_nrpe
 command_line /usr/local/nagios/libexec/check_nrpe -H $HOSTADDRESS$ -c $ARG1$
}

# check_load는 아래 경로 참조
# 클라이언트 nrpe.cfg
command[check_load]=/usr/local/nagios/libexec/check_load -r -w .15,.10,.05 -c .30,.25,.20

작업 과정

1. Nagios Server 설정

사용자 생성

1
2


useradd -m -G wheel moserver
echo "moserver" | passwd --stdin moserver

소스 설치 준비

1
2


sudo dnf update --exclude=kernel* -y
sudo dnf install -y httpd httpd-tools php gcc glibc glibc-common gd gd-devel make net-snmp

유저, 그룹 생성
- nagios 유저 없으면 make install 에서 오류
- 위에서 설치한 httpd 사용자 apache 유저에게 nagios 접근 권한을 nagcmd 그룹으로 부여
  - nagios 웹 인터페이스에서 nagios 작업할 때 apache가 nagios 외부 파일에 접근해야 함

1
2
3
4
5


sudo groupadd nagcmd
sudo useradd nagios

sudo usermod -G nagcmd nagios
sudo usermod -G nagcmd apache

nagios 패키지 다운로드
- nagios, nagios 플러그인 패키지 다운로드

1
2
3
4
5
6
7


mkdir /home/moserver/nagios && cd /home/moserver/nagios

sudo wget https://assets.nagios.com/downloads/nagioscore/releases/nagios-4.4.6.tar.gz
sudo wget https://nagios-plugins.org/download/nagios-plugins-2.2.1.tar.gz

sudo tar -xvf nagios-4.4.6.tar.gz
sudo tar -xvf nagios-plugins-2.2.1.tar.gz

1) Nagios 소스 설치

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


cd nagios-4.4.6/
# 소스파일에 대한 환경설정을 해주는 명령어. 서버환경에 맞춰 makefile 생성
sudo ./configure --with-command-group=nagcmd
# 소스 컴파일
sudo make all
# 컴파일한 소스 설치
sudo make install

# /etc/init.d 에 등록됨
sudo make install-init
# nagios라는 user가 없으면 여기서 에러 발생
sudo make install-commandmode
# /usr/local/nagios 에 설정파일이 생성됨
sudo make install-config

nagios 웹 인터페이스

1
2
3
4
5
6
7


# /etc/httpd/conf.d/nagios.conf 생성됨
sudo make install-webconf

sudo htpasswd -s -c /usr/local/nagios/etc/htpasswd.users nagiosadmin

sudo systemctl enable --now httpd
sudo systemctl enable --now nagios

방화벽 설정

1
2
3


sudo systemctl enable --now firewalld
sudo firewall-cmd --add-port=80/tcp --permanent
sudo firewall-cmd --reload

(선택) 이메일 알림

1

vi /usr/local/nagios/etc/objects/contacts.cfg

웹 인터페이스 접근

1

http://<domain>:8080/nagios/

플러그인 설치 안하면 critical로 표시됨

2) Nagios 플러그인 소스 설치

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


cd /home/moserver/nagios/nagios-plugins-2.2.1/

# 소스파일에 대한 환경설정을 해주는 명령어. 서버환경에 맞춰 makefile 생성
sudo ./configure --with-nagios-user=nagios --with-nagios-group=nagios
# 소스 컴파일
sudo make all
# 컴파일한 소스 설치
sudo make install

# nagios 설정 파일 검사
sudo /usr/local/nagios/bin/nagios -v /usr/local/nagios/etc/nagios.cfg

index.html 생성

1

echo "http check" | sudo tee /var/www/html/index.html

nagios 재시작

1
2


sudo systemctl restart nagios
sudo systemctl restart httpd

플러그인 반영까지 수 분 소요

2. Nagios Client 설정

1) Server NRPE 소스 설치

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


sudo cd /home/moserver/nagios

sudo wget https://github.com/NagiosEnterprises/nrpe/releases/download/nrpe-4.1.0/nrpe-4.1.0.tar.gz

sudo tar zxvf nrpe-4.1.0.tar.gz

sudo cd nrpe-4.1.0
# -–enable-command-args 옵션을 사용하면 NRPE를 통해 인수를 전달할 수 있습니다. 
# 생략하면 인수를 nrpe 구성 파일 nrpe.cfg에 명시적으로 설정해야 합니다.
# -–with-nrpe-user=nagios –with-nrpe-group=nagios는 구성 파일의 소유권을 설정합니다.
sudo ./configure --enable-command-args --with-nrpe-user=nagios --with-nrpe-group=nagios

sudo make install-groups-users
sudo make all
sudo make install

방화벽 설정

1
2


sudo firewall-cmd --add-port=5666/tcp --permanent
sudo firewall-cmd --reload

nrpe 설정

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20


sudo vi /usr/local/nagios/etc/nagios.cfg
# 주석 제거
cfg_dir=/usr/local/nagios/etc/servers

sudo mkdir -p /usr/local/nagios/etc/servers
sudo vi /usr/local/nagios/etc/servers/client.cfg

define host{

 use linux-server
 host_name moclient
 alias moclient
 address <Client-IP>
 max_check_attempts 5
 check_period 24x7
 notification_interval 30
 notification_period 24x7
}

sudo systemctl enable --now nrpe

2) Client NRPE 설정

사용자 생성

1
2


useradd -m -G wheel moclient
echo "moclient" | passwd --stdin moclient

1

sudo dnf install -y nrpe

nrpe 설정

1
2
3
4


sudo vi /etc/nagios/nrpe.cfg
 allowed_hosts=127.0.0.1,::1,<Server IP>

sudo systemctl enable --now nrpe

3) Client Nagios 플러그인 소스 설치

소스 설치 준비

1
2


sudo dnf update --exclude=kernel* -y
sudo dnf install -y httpd httpd-tools php gcc glibc glibc-common gd gd-devel make net-snmp

nagios 플러그인 패키지 다운로드

1
2
3
4
5


mkdir /home/moclient/nagios && cd /home/moclient/nagios

sudo wget https://nagios-plugins.org/download/nagios-plugins-2.2.1.tar.gz

sudo tar -xvf nagios-plugins-2.2.1.tar.gz

1
2
3
4
5
6
7
8


cd /home/moclient/nagios/nagios-plugins-2.2.1/

# 소스파일에 대한 환경설정을 해주는 명령어. 서버환경에 맞춰 makefile 생성
sudo ./configure --with-nagios-user=nagios --with-nagios-group=nagios
# 소스 컴파일
sudo make all
# 컴파일한 소스 설치
sudo make install

방화벽 설정

1
2
3
4


sudo systemctl enable --now firewalld
sudo firewall-cmd --add-port=5666/tcp --permanent

sudo firewall-cmd --reload

3. Nagios 모니터링 추가 설정

1) Server local check_tcp 모니터링 추가

period, max_check_attemps 등 명시 안하면 templates.cfg 에 명시된 기본값 사용됨

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


sudo vi /usr/local/nagios/etc/objects/localhost.cfg

define service {
 use local-service
 host_name localhost
 service_description HTTP Port
 check_command check_tcp!80
}

define service {
 use local-service
 host_name localhost
 service_description SSH Port
 check_command check_tcp!22
}

service에서 HTTP Port, SSH Port 항목 OK 확인

2) Client 여러 서비스 모니터링 추가

Server에서 check_nrpe 플러그인 command 등록

1
2
3
4
5
6


sudo vi /usr/local/nagios/etc/objects/commands.cfg

define command {
 command_name check_nrpe
 command_line /usr/local/nagios/libexec/check_nrpe -H $HOSTADDRESS$ -c $ARG1$
}

Server의 client.cfg

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29


sudo vi /usr/local/nagios/etc/servers/client.cfg

define service {
 use generic-service
 host_name moclient
 service_description CPU Load
 check_command check_nrpe!check_load
}

define service {
 use generic-service
 host_name moclient
 service_description Disk Usage
 check_command check_nrpe!check_disk
}

define service {
 use generic-service
 host_name moclient
 service_description Memory Usage
 check_command check_nrpe!check_mem
}

define service {
 use generic-service
 host_name moclient
 service_description SSH Port
 check_command check_tcp!22
}

Client의 nrpe.cfg

1
2
3
4
5
6


sudo vi /etc/nagios/nrpe.cfg

command[check_load]=/usr/local/nagios/libexec/check_load -r -w .15,.10,.05 -c .30,.25,.20
command[check_disk]=/usr/local/nagios/libexec/check_disk -w 20% -c 10% -p /
# 커스텀 플러그인
command[check_mem]=/usr/local/nagios/libexec/custom_check_mem 80 90

custom_check_mem 플러그인 커스텀

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27


sudo vi /usr/local/nagios/libexec/custom_check_mem

#!/bin/bash
# Memory check script for Nagios

# Set warning and critical thresholds
WARN=$1
CRIT=$2

# Get total and free memory
TOTAL_MEM=$(free -m | grep Mem: | awk '{print $2}')
USED_MEM=$(free -m | grep Mem: | awk '{print $3}')
USED_MEM_PERCENT=$((USED_MEM * 100 / TOTAL_MEM))

if [ "$USED_MEM_PERCENT" -ge "$CRIT" ]; then
 echo "CRITICAL - Memory usage is ${USED_MEM_PERCENT}% | memory=${USED_MEM_PERCENT}%"
 exit 2
elif [ "$USED_MEM_PERCENT" -ge "$WARN" ]; then
 echo "WARNING - Memory usage is ${USED_MEM_PERCENT}% | memory=${USED_MEM_PERCENT}%"
 exit 1
else
 echo "OK - Memory usage is ${USED_MEM_PERCENT}% | memory=${USED_MEM_PERCENT}%"
 exit 0
fi

sudo chmod +x /usr/local/nagios/libexec/custom_check_mem
sudo systemctl restart nrpe

4. Private Host 모니터링

1) Private NRPE 설정

서버에서 ssh 접속

1

ssh root@<Private IP>

사용자 생성

1
2


useradd -m -G wheel moprivate
echo "moprivate" | passwd --stdin moprivate

1
2
3


sudo dnf update --exclude=kernel* -y
sudo dnf install -y epel-release
sudo dnf install -y nrpe

nrpe 설정

1
2
3
4


sudo vi /etc/nagios/nrpe.cfg
 allowed_hosts=127.0.0.1,::1,<Server IP>

sudo systemctl enable --now nrpe

2) Private Nagios 플러그인 소스 설치

소스 설치 준비

1

sudo dnf install -y httpd httpd-tools php gcc glibc glibc-common gd gd-devel make net-snmp

nagios 플러그인 패키지 다운로드

1
2
3
4
5


mkdir /home/moprivate/nagios && cd /home/moprivate/nagios

sudo wget https://nagios-plugins.org/download/nagios-plugins-2.2.1.tar.gz

sudo tar -xvf nagios-plugins-2.2.1.tar.gz

1
2
3
4
5
6
7
8


cd /home/moprivate/nagios/nagios-plugins-2.2.1/

# 소스파일에 대한 환경설정을 해주는 명령어. 서버환경에 맞춰 makefile 생성
sudo ./configure --with-nagios-user=nagios --with-nagios-group=nagios
# 소스 컴파일
sudo make all
# 컴파일한 소스 설치
sudo make install

방화벽 설정

1
2
3
4


sudo systemctl enable --now firewalld
sudo firewall-cmd --add-port=5666/tcp --permanent

sudo firewall-cmd --reload

3) Server Private 등록

서버에 private host 설정

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


sudo vi /usr/local/nagios/etc/servers/private.cfg

define host{

 use linux-server
 host_name moprivate
 alias moprivate
 address <Private IP>
 max_check_attempts 5
 check_period 24x7
 notification_interval 30
 notification_period 24x7
}

sudo systemctl enable --now nagios

4) Private 모니터링 등록

Server의 client.cfg

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31


sudo vi /usr/local/nagios/etc/servers/private.cfg

define service {
 use generic-service
 host_name moprivate
 service_description CPU Load
 check_command check_nrpe!check_load
}

define service {
 use generic-service
 host_name moprivate
 service_description Disk Usage
 check_command check_nrpe!check_disk
}

define service {
 use generic-service
 host_name moprivate
 service_description Memory Usage
 check_command check_nrpe!check_mem
}

define service {
 use generic-service
 host_name moprivate
 service_description SSH Port
 check_command check_tcp!22
}

sudo systemctl restart nrpe

Private 의 nrpe.cfg

1
2
3
4
5
6


sudo vi /etc/nagios/nrpe.cfg

command[check_load]=/usr/local/nagios/libexec/check_load -r -w .15,.10,.05 -c .30,.25,.20
command[check_disk]=/usr/local/nagios/libexec/check_disk -w 20% -c 10% -p /
# 커스텀 플러그인
command[check_mem]=/usr/local/nagios/libexec/custom_check_mem 80 90

custom_check_mem 플러그인 커스텀

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27


sudo vi /usr/local/nagios/libexec/custom_check_mem

#!/bin/bash
# Memory check script for Nagios

# Set warning and critical thresholds
WARN=$1
CRIT=$2

# Get total and free memory
TOTAL_MEM=$(free -m | grep Mem: | awk '{print $2}')
USED_MEM=$(free -m | grep Mem: | awk '{print $3}')
USED_MEM_PERCENT=$((USED_MEM * 100 / TOTAL_MEM))

if [ "$USED_MEM_PERCENT" -ge "$CRIT" ]; then
 echo "CRITICAL - Memory usage is ${USED_MEM_PERCENT}% | memory=${USED_MEM_PERCENT}%"
 exit 2
elif [ "$USED_MEM_PERCENT" -ge "$WARN" ]; then
 echo "WARNING - Memory usage is ${USED_MEM_PERCENT}% | memory=${USED_MEM_PERCENT}%"
 exit 1
else
 echo "OK - Memory usage is ${USED_MEM_PERCENT}% | memory=${USED_MEM_PERCENT}%"
 exit 0
fi

sudo chmod +x /usr/local/nagios/libexec/custom_check_mem
sudo systemctl restart nrpe

임의로 스트레스 주입

private host에서 uptime 시에 0.00, 0.02, 0.11이 나왔기 때문에 설정한 15분 평균 0.05보다 크므로 warning 발생

5. 회사 플러그인 추가

Server의 private.cfg

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17


sudo vi /usr/local/nagios/etc/servers/private.cfg

define service {
 use generic-service
 host_name moprivate
 service_description Ncloud24 CPU Usage
 check_command check_nrpe!check_cpu_usage
}

define service {
 use generic-service
 host_name moprivate
 service_description Ncloud24 MEM Usage
 check_command check_nrpe!check_mem_usage
}

sudo systemctl restart nagios

Private에서 플러그인 설치

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


wget http://service.ncloud24.com/app/nagios/check_mem.pl
wget http://service.ncloud24.com/app/nagios/check_stats.pl
sudo mv check_mem.pl /usr/local/nagios/libexec/
sudo mv check_stats.pl /usr/local/nagios/libexec/
sudo chmod 755 /usr/local/nagios/libexec/check_mem.pl
sudo chmod 755 /usr/local/nagios/libexec/check_stats.pl

sudo vi /usr/local/nagios/libexec/check_stats.pl

# 플러그인 경로 추가
use lib "/usr/local/nagios/libexec";

sudo yum install perl-Sys-Statistics-Linux -y

Private 의 nrpe.cfg

1
2
3
4
5
6
7


sudo vi /etc/nagios/nrpe.cfg

# 회사 플러그인
command[check_cpu_usage]=/usr/local/nagios/libexec/check_stats.pl -C -w 90 -c 95
command[check_mem_usage]=/usr/local/nagios/libexec/check_mem.pl -u -C -w 85 -c 90

sudo systemctl restart nrpe

트러블슈팅

Nagios

nagios 웹 인터페이스 services - HTTP warning 표시

HTTP WARNING: HTTP/1.1 403 Forbidden - 7928 bytes in 0.001 second response time

HTTP status는 /usr/local/nagios/etc/objects/localhost.cfg 의 check_http가 관리
- /var/www/html/ 경로에 파일이 없어서 못읽기 때문
- check_http는 nagios 사용자 권한으로 Apache에 접근하기 때문에 index.html페이지가 없을 때 나오는 Apache 기본 페이지를 제공받지 못하고 403 오류 반환
  - index.html 생성으로 해결

브라우저에서 http://:8080/ 이 경로는 timeout 오류

도메인을 Apache의 virtualhost servername에 등록하지 않은 경우 도메인을 처리할 수 없음
하지만 check_http!-H
-u / 이건 정상 작동
- 도메인을 Apache에서 해석하냐, Nagios에서 해석하냐의 차이

NRPE

dnf install nrpe 실행 시 클라이언트용 nrpe만 설치 되고 check_nrpe 플러그인은 설치되지 않음

nrpe 소스 설치

클라이언트의 서비스 모니터링 작성 시 UNKNOWN / NRPE: Unable to read output 오류

nrpe 설치 시 경로는 /usr/local
nrpe.cfg 파일의 command 경로를 /usr/lib64/nagios/plugins/에서 /usr/local/nagios/libexec/로 수정

회사 플러그인 추가

회사 플러그인 check_stats.pl 추가 후 실행 시 Can't locate utils.pm in @INC (you may need to install the utils module) (@INC contains: /usr/lib64/nagios/plugins /usr/local/lib64/perl5 /usr/local/share/perl5 /usr/lib64/perl5/vendor_perl /usr/share/perl5/vendor_perl /usr/lib64/perl5 /usr/share/perl5) at /usr/local/nagios/libexec/check_stats.pl line 33.

내가 설치한 플러그인들의 경로가 /usr/local/nagios/libexec 이기 때문에 check_stats.pl에서 해당 경로를 찾지 못했기 때문에 발생한 문제
- 경로 수정 없이 플러그인 설치했는데 다른 사람들과 플러그인 경로가 다름
  - 소스 설치 경로는 /usr/local/nagios/libexec
  - 패키지 설치 경로는 /usr/lib64/nagios/plugins
    - 소스 설치 시 ./configure --libexecdir=/usr/lib64/nagios/plugins 명령어로 경로 수정 가능
- 플러그인에 경로 추가로 해결

위 경로 추가 후 재실행 시 Can't locate Sys/Statistics/Linux.pm in @INC (you may need to install the Sys::Statistics::Linux module) (@INC contains: /usr/local/nagios/libexec /usr/lib64/nagios/plugins /usr/local/lib64/perl5 /usr/local/share/perl5 /usr/lib64/perl5/vendor_perl /usr/share/perl5/vendor_perl /usr/lib64/perl5 /usr/share/perl5) at /usr/local/nagios/libexec/check_stats.pl line 37.

Sys:Statistics::Linux 모듈이 없기 때문에 발생한 오류
- sudo yum install perl-Sys-Statistics-Linux -y 설치 후 해결

참고

nagios 설치: https://wiki.crowncloud.net/?how_to_install_nagios_on_rockylinux8 상세 해설: https://www.oss.kr/storage/app/public/oss/22/df/[Nagios] Solution Guide V0.95.pdf

nrpe 설치: https://kifarunix.com/how-to-install-nagios-nrpe-agent-on-rhel-centos-oracle-linux/

Nagios on Joonlog

Nagios 모니터링 구축

목표

환경 설정

개념 및 설정

Nagios

NRPE

NRPE 플러그인 적용 흐름

작업 과정

1. Nagios Server 설정

1) Nagios 소스 설치

2) Nagios 플러그인 소스 설치

2. Nagios Client 설정

1) Server NRPE 소스 설치

2) Client NRPE 설정

3) Client Nagios 플러그인 소스 설치

3. Nagios 모니터링 추가 설정

1) Server local check_tcp 모니터링 추가

2) Client 여러 서비스 모니터링 추가

4. Private Host 모니터링

1) Private NRPE 설정

2) Private Nagios 플러그인 소스 설치

3) Server Private 등록

4) Private 모니터링 등록

5. 회사 플러그인 추가

트러블슈팅

Nagios

NRPE

회사 플러그인 추가

참고