NCP에서 NLB 구성 후 503 발생 TroubleShooting

Sun, 14 Dec 2025 09:00:00 +0900

NLB 사용 시 Source IP 유지로 인해 발생한 ACG 방화벽 정책 이슈 해결

문제 상황

NCP에서 WEB → NLB → WAS 구조로 서비스 구성
구축 단계에서는 아웃바운드 ANY OPEN으로 사이트 정상 동작
운영 전환을 위해 아웃바운드 제한하니 사이트에서 503 오류 발생
인바운드는 그대로였으므로 아웃바운드 정책 문제로 확인
- WEB 서버에서 NLB의 Private IP로 아웃바운드를 허용했던 상황

원인 분석

WAS에서 tcpdump 확인
- Source IP가 NLB Private IP일 줄 알았으나, 덤프 확인 시 WEB 서버 Private IP로 출력됨
  - 트래픽을 단순 포워딩만 하고 클라이언트 IP를 그대로 전달
결과적으로 WAS는 NLB가 아닌 WEB 서버와 직접 통신하는 형태가 됨
동작 방식은 AWS에서의 NLB도 동일하며 L4 LB의 정상적인 구조로 확인

조치

WEB 서버의 아웃바운드에 WAS 서버의 Private IP 추가 후 정상 동작 확인

결론

L4 LB인 NLB NAT를 하지 않기 때문에 WAS는 항상 앞단 서버의 Real IP를 보게 된다.

따라서 ACG 정책도 NLB가 아닌 실제 통신 경로(WEB → WAS) 기반으로 설정해야 한다.

HAproxy 동시 재기동 오류 TroubleShooting

Tue, 16 Sep 2025 09:00:00 +0900

두 서버의 HAProxy를 동시에 재기동하는 과정에서 VIP FAULT 현상이 발생
- keepalived/corosync/pacemaker 같은 클러스터 프로세스가 VIP 소유권을 제어하는 앱에서 자주 있는 일
- VIP(Virtual IP) 소유권 충돌이 발생하여 이로 인해 VIP가 정상적으로 할당되지 않고 모두 FAULT 상태로 전환 이후 BACKUP 상태로 변경됨
- 이후 순차적으로 keepalived를 재기동해서 정상적으로 Master 상태로 전환 확인
  - systemctl restart keepalived

위 현상 방지하기 위해 한 HAproZxy 재기동 후, 재기동하지 않은 서버가 MASTER 승격되었는지, VIP 활성화 되었는지 확인 필수

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19


# HAProxy 재기동 시 로그

Reloading HAProxy Load Balancer...
Stopping proxy haproxy-ssl...
Stopping proxy haproxy...

Keepalived_vrrp[####]: (VI_1) received an invalid passwd!
Keepalived_vrrp[####]: (VI_1) Dropping received VRRP packet...
Keepalived_vrrp[####]: VRRP_Instance(VI_1) Entering FAULT STATE
Keepalived_vrrp[####]: VRRP_Script(chk_haproxy) failed
Keepalived_vrrp[####]: VRRP_Instance(VI_1) Now in FAULT state
Keepalived_vrrp[####]: VRRP_Instance(VI_1) Entering BACKUP STATE

# haproxy_test.sh 실행 결과
/keepalived/haproxy_test.sh exited with status 1
/keepalived/haproxy_test.sh exited with status 0

# BACKUP 전환 확인
Keepalived_vrrp[####]: VRRP_Instance(VI_1) Entering BACKUP STATE

Load Balancer on Joonlog

NCP에서 NLB 구성 후 503 발생 TroubleShooting

문제 상황

원인 분석

조치

결론

HAproxy 동시 재기동 오류 TroubleShooting