Haproxy on Joonlog

HAproxy 동시 재기동 오류 TroubleShooting

Tue, 16 Sep 2025 09:00:00 +0900

두 서버의 HAProxy를 동시에 재기동하는 과정에서 VIP FAULT 현상이 발생
- keepalived/corosync/pacemaker 같은 클러스터 프로세스가 VIP 소유권을 제어하는 앱에서 자주 있는 일
- VIP(Virtual IP) 소유권 충돌이 발생하여 이로 인해 VIP가 정상적으로 할당되지 않고 모두 FAULT 상태로 전환 이후 BACKUP 상태로 변경됨
- 이후 순차적으로 keepalived를 재기동해서 정상적으로 Master 상태로 전환 확인
  - systemctl restart keepalived

위 현상 방지하기 위해 한 HAproZxy 재기동 후, 재기동하지 않은 서버가 MASTER 승격되었는지, VIP 활성화 되었는지 확인 필수

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19


# HAProxy 재기동 시 로그

Reloading HAProxy Load Balancer...
Stopping proxy haproxy-ssl...
Stopping proxy haproxy...

Keepalived_vrrp[####]: (VI_1) received an invalid passwd!
Keepalived_vrrp[####]: (VI_1) Dropping received VRRP packet...
Keepalived_vrrp[####]: VRRP_Instance(VI_1) Entering FAULT STATE
Keepalived_vrrp[####]: VRRP_Script(chk_haproxy) failed
Keepalived_vrrp[####]: VRRP_Instance(VI_1) Now in FAULT state
Keepalived_vrrp[####]: VRRP_Instance(VI_1) Entering BACKUP STATE

# haproxy_test.sh 실행 결과
/keepalived/haproxy_test.sh exited with status 1
/keepalived/haproxy_test.sh exited with status 0

# BACKUP 전환 확인
Keepalived_vrrp[####]: VRRP_Instance(VI_1) Entering BACKUP STATE

외부에서 자체 관리형 Kubernetes 접근을 위한 MetalLB/HAproxy 설정과 통신 구조

Sun, 24 Aug 2025 09:00:00 +0900

외부에서의 로컬 K8S 클러스터 접근을 위해 MetalLB와 HAproxy를 사용
K8S 클러스터 내부의 로드밸런서로는 nginx controller를 사용 중인 상태
- AWS라면, ALB Controller 하나만으로 MetalLB+HAproxy+nginxcontroller 기능을 커버 가능
- 사실상의 CSP의 K8S를 쓰는 이유??

MetalLB

https://metallb.universe.tf/installation/

클러스터 내부용 로드밸런서
- 오픈소스
- CSP의 LB를 사용하지 못하는 경우(내/외부 양쪽에서 사용가능한 LB)에, 내부용 L4 로드밸런서로 사용하기 위해 주로 MetalLB를 사용

사전 준비

kube-proxy의 configmap에서 strictARP 활성화

1
2
3
4
5
6
7


kubectl edit configmap -n kube-system kube-proxy

apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
mode: "ipvs"
ipvs:
 strictARP: true

MetalLB 설치

helm으로 설치

1
2


helm repo add metallb https://metallb.github.io/metallb
helm install metallb metallb/metallb

MetalLB 설정

IP Pool 설정

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


cat <<EOF | kubectl apply -f -
apiVersion: metallb.io/v1beta1
kind: IPAddressPool
metadata:
 name: default-pool
 namespace: default
spec:
 addresses:
 - 172.27.1.100-172.27.1.110
EOF

L2Advertisement 설정

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


cat <<EOF | kubectl apply -f -
apiVersion: metallb.io/v1beta1
kind: L2Advertisement
metadata:
 name: default
 namespace: default
spec:
 ipAddressPools:
 - default-pool
EOF

HAproxy

haproxy 설치

1
2


yum install -y haproxy
systemctl enable --now haproxy

haproxy 설정
- Jenkins를 예시로 구성
  1 2 3
  
  # kubectl get ingress -n jenkins NAME CLASS HOSTS ADDRESS PORTS AGE jenkins-ingress nginx jenkins.local 172.27.1.100 80 26h
  - 파드가 MetalLB로부터 부여받은 IP가 172.27.1.100일 경우 하기와 같이 설정
    - 백엔드 헬스체크는 MetalLB에서 하고 있으니 HAproxy에선 설정하지 않음
  - http-request set-header Host
    - 클라이언트에서 오는 모든 HTTP 요청의 Host 헤더를 jenkins.local로 변경
  - http-request del-header X-Forwarded-Host
    - 이전 프록시에서 설정한 Host 헤더 제거
  - http-request del-header X-Forwarded-Proto
    - 이전 프록시에서 설정한 프로토콜 정보 제거
  1 2 3 4 5 6 7 8
  
  tee /etc/haproxy/haproxy.cfg > /dev/null <<EOF frontend jenkins_frontend bind *:8080 default_backend metallb_backend backend metallb_backend server metallb 172.27.1.100:80 EOF

통신 구조

jenkins 파드가 하기와 같이 구성되어 있다 가정할 때 통신 구조
- 현재 외부에서의 접근 시 80/443 포트를 사용하지 못하고 별도의 포트를 사용해야 하는 환경이기 때문에 8080포트를 사용

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


# kubectl get ingress -n jenkins
NAME CLASS HOSTS ADDRESS PORTS AGE
jenkins-ingress nginx jenkins.local 172.27.1.100 80 26h
# kubectl get all -n jenkins 
NAME READY STATUS RESTARTS AGE
pod/jenkins-0 2/2 Running 0 9d

NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service/jenkins ClusterIP 10.233.5.87 <none> 8080/TCP 9d
service/jenkins-agent ClusterIP 10.233.28.70 <none> 50000/TCP 9d

NAME READY AGE
statefulset.apps/jenkins 1/1 9d

브라우저에서 <도메인>:8080으로 접속
DNS 해석되어 공인IP:8080으로 라우팅
- 공인IP:8080는 HAproxy 서버
HAproxy frontend 설정으로 8080포트로 들어오는 요청을 HAproxy backend로 라우팅
- HAproxy backend는 172.27.1.100:80
172.27.1.100 IP는 MetalLB의 IP 풀에서부터 할당받은 Nginx Controller의 IP
- Nginx Ingress Controller는 LoadBalancer 타입 Service
Nginx Ingress Controller는 HAproxy backend로부터 받은 트래픽의 Host 헤더가 Jenkins Ingress에 정의된 Host인 jenkins.local인지 확인
Jenkins Ingress에 정의된 규칙에 따라 Jenkins Service로 라우팅
Jenkins Service에서 Jenkins Pod로 라우팅

MySQL Replication & HAproxy 연동

Tue, 10 Dec 2024 09:00:00 +0900

목표

mysql master 1대, slave 2대로 replication 구성
haproxy + mysql 연동
HAProxy Stat 페이지와 Sysbench 부하 테스트를 통해 시스템 성능과 트래픽 분산이 올바르게 작동하는지 확인
- 애플리케이션 로직에서 읽기/쓰기 요청을 3306/3307 포트로 분리해서 요청한다고 가정하고 테스트

환경 설정

OS: Rocky 8.10
DB: mysql 8.0.40
LB: haproxy 1.8.27

개념 및 설정

MySQL

DB 작업은 쓰기(삽입, 삭제, 수정)는 드물고, 읽기(조회) 작업이 대부분
- 이를 해소할 수 있는 것이 읽기/쓰기 분리를 적용한 Master-Slave Replication
- Master에는 모든 작업을 가능하게 설정하고, Slave에는 읽기 작업만 수행
MySQL의 Binary Log를 이용한 Replication 연동

/etc/my.cnf

MySQL의 Binary Log, 식별 id, 읽기 전용 여부 등 설정
Master와 Slave의 id는 달라야 함

HAproxy

L7 로드밸런싱도 가능하지만 여기선 L4기능만 사용 IP, Port를 기준으로 로드밸런싱
애플리케이션 단에서 분리한 읽기/쓰기 요청을 각각 라우팅

/etc/haproxy/haproxy.cfg

ip, port를 통해 분리하여 수신한 트래픽을 처리하는 frontend
frontend에서 수신한 트래픽을 ip, port를 통해 로드밸런싱하는 backend
- Slave 서버 간의 로드밸런싱
Master와 Slave의 연결 상태, 트래픽 분산 모니터링하는 stat

작업 과정

1. MySQL Master 설정

1) Mysql 설치

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17


useradd -m -G wheel mysqladmin
echo "mysqladmin" | passwd --stdin mysqladmin

sudo dnf update --exclude=kernel* -y
sudo dnf install -y https://dev.mysql.com/get/mysql80-community-release-el8-9.noarch.rpm

# rhel 8 이상은 mysql 기본 모듈이 활성화되어 있어 모듈 리셋
sudo dnf module reset mysql
sudo dnf module disable mysql -y
sudo dnf install -y mysql-community-server

sudo systemctl enable --now mysqld

# 초기화 시 생성되는 임시 비밀번호 출력
sudo grep 'temporary password' /var/log/mysqld.log
# mysql 보안 설치
mysql_secure_installation

방화벽 설정

1
2
3


sudo systemctl enable --now firewalld
sudo firewall-cmd --add-port=3306/tcp --permanent
sudo firewall-cmd --reload

2) MySQL 설정

Mysql DB, 계정, slave 설정

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


mysql -u root -p

CREATE DATABASE replica_db DEFAULT CHARACTER SET utf8;

# 레플리케이션 전용 계정
CREATE USER 'replica_user'@'%' IDENTIFIED BY '<PWD>';
GRANT REPLICATION SLAVE ON *.* TO 'replica_user'@'%';
FLUSH PRIVILEGES;

# 관리자 계정
CREATE USER 'admin_user'@'%' IDENTIFIED BY '<PWD>';
GRANT ALL PRIVILEGES ON *.* TO 'admin_user'@'%' WITH GRANT OPTION;
FLUSH PRIVILEGES;

Mysql Master 설정

1
2
3
4
5
6
7
8


sudo vi /etc/my.cnf

# master와 slave의 이름 통일
log-bin=mysql-bin
# master id을 1로 설정
server-id=1

systemctl restart mysqld

master 서버 정보 확인

1
2
3


# slave에서 replication 할 때 필요한 값
show master status;
 mysql-bin.000001 | 1833

mysql dump로 binary log를 생성하여 Slave 서버에 전송

1
2
3


mysqldump -u admin_user -p replica_db > replica_db.sql1
scp -P 22 replica_db.sql mysqladmin@<Slave1 IP>:/home/mysqladmin
scp -P 22 replica_db.sql mysqladmin@<Slave2 IP>:/home/mysqladmin

2. MySQL Slave1,2 설정

1) Mysql 설치

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17


useradd -m -G wheel mysqladmin
echo "mysqladmin" | passwd --stdin mysqladmin

sudo dnf update --exclude=kernel* -y
sudo dnf install -y https://dev.mysql.com/get/mysql80-community-release-el8-9.noarch.rpm

# rhel 8 이상은 mysql 기본 모듈이 활성화되어 있어 모듈 리셋
sudo dnf module reset mysql
sudo dnf module disable mysql -y
sudo dnf install -y mysql-community-server

sudo systemctl enable --now mysqld

# 초기화 시 생성되는 임시 비밀번호 출력
sudo grep 'temporary password' /var/log/mysqld.log
# mysql 보안 설치
mysql_secure_installation

방화벽 설정

1
2
3


sudo systemctl enable --now firewalld
sudo firewall-cmd --add-port=3306/tcp --permanent
sudo firewall-cmd --reload

2) Mysql DB

1
2
3


mysql -u root -p

CREATE DATABASE replica_db DEFAULT CHARACTER SET utf8;

Mysql Slave 설정

1
2
3
4
5
6
7
8


sudo vi /etc/my.cnf

# slave1은 2, slave2는 3으로 설정
server-id = 2
# 읽기 전용으로 설정 (쓰기 불가능, root예외)
read_only = 1
max_binlog_size = 100M
expire_logs_days = 10

Master에서 전송받은 binary log로 MySQL 복원

1
2


mysql -u root -p replica_db < replica_db.sql
mysql -u root -p

slave에서 master로 연결
위의 master에서 show master status; 결과로 나온 log, Position 입력

1
2
3
4
5
6


change master to
master_host='<Master IP>',
master_user='replica_user',
master_password='<Master PW>',
master_log_file='mysql-bin.000001',
master_log_pos=1833;

1

systemctl restart mysqld

slave 설정 확인
- Slave_IO_Running/Slave_SQL_Running Yes인지 확인
- Seconds_Behind_Master이 0인지 확인

1
2
3
4


show slave status\G;

# root 포함 read_only 설정
SET GLOBAL super_read_only = 1;

(선택) caching_sha2_password 에러 발생시 조치

1
2


ALTER USER 'replica_user'@'%' IDENTIFIED WITH 'mysql_native_password' BY '<PASSWORD>';
FLUSH PRIVILEGES;

3. Replication 테스트

Master에서 데이터를 추가/변경하여 Slave 서버에서 동기화가 잘 이루어지는지 확인
Master에서 데이터 생성

1
2
3
4


USE replica_db;
CREATE TABLE test_replication (id INT PRIMARY KEY, value VARCHAR(50));
INSERT INTO test_replication (id, value) VALUES (4, 'Replication Test4');
select * from test_replication;

Slave에서 데이터 조회

1
2


USE replica_db;
select * from test_replication;

4. HAproxy 설정

haproxy 설치

1
2
3
4
5


useradd -m -G wheel haproxy
echo "haproxy" | passwd --stdin haproxy

sudo dnf update --exclude=kernel* -y
sudo dnf install -y haproxy

haproxy.cfg 설정

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60


sudo vi /etc/haproxy/haproxy.cfg

# defaults: 이후 section에 적용되는 공통 설정
# frontend: 클라이언트 연결에 관한 설정
# bakend: frontend 에서 접속된 트래픽을 전달할 프록시 서버에 대한 설정 과 HealthCheck 등의 설정
# listen: 프론트엔드와 백엔드의 기능이 결합된 완전한 프록시를 정의
#---------------------
# default tcp
#---------------------
defaults tcp
 mode tcp
 log global
 option tcplog
 retries 3
 timeout connect 10s
 timeout client 1m
 timeout server 1m
 timeout check 10s
 maxconn 3000
#-----------------
# haproxy stat 페이지
#-----------------
listen stats
 # 모든 NI에서 9000포트로의 트래픽 수신
 bind *:9000
 mode http
 option dontlog-normal
 stats enable
 stats refresh 60s
 stats realm Haproxy\ Statistics
 stats uri /haproxy
#---------------------------------------------------------------------
# HAproxy
#---------------------------------------------------------------------
# 위에서 정의한 tcp defaults 사용
defaults tcp
# C/U/D (Master)
frontend mysql_write
 # 모든 NI에서 3306포트로의 트래픽 수신
 bind *:3306
 default_backend mysql_master

backend mysql_master
 balance roundrobin
 option tcp-check
 # 수신한 트래픽을 Master 서버로 라우팅
 server mysql-master <Master IP>:3306 check

# R (Slave)
frontend mysql_read
 # 모든 NI에서 3307포트로의 트래픽 수신
 bind *:3307
 default_backend mysql_slaves

backend mysql_slaves
 balance roundrobin
 option tcp-check
 # 수신한 트래픽을 Slave 서버로 로드밸런싱 하면서 라우팅
 server mysql-slave1 <Slave1 IP>:3306 check
 server mysql-slave2 <Slave2 IP>:3306 check

haproxy 로그 설정

1
2
3
4
5
6
7


sudo vi /etc/rsyslog.conf

# HAProxy 로그 설정
local2.* /var/log/haproxy.log

sudo systemctl restart rsyslog
sudo systemctl restart haproxy

방화벽 설정

1
2
3
4
5
6
7
8


sudo systemctl enable --now firewalld
# 3306 포트 허용 (쓰기 전용)
sudo firewall-cmd --add-port=3306/tcp --permanent
# 3307 포트 허용 (읽기 전용)
sudo firewall-cmd --add-port=3307/tcp --permanent
# 9000 포트 허용 (스탯)
sudo firewall-cmd --add-port=9000/tcp --permanent
sudo firewall-cmd --reload

haproxy 실행

1
2
3


sudo systemctl enable --now haproxy

http://<공인 IP>:9000/haproxy

5. 부하 테스트

sysbench 설치

1
2


sudo dnf install -y epel-release
sudo dnf install -y sysbench

sysbench 테스트

1
2
3
4
5


CREATE DATABASE test_db;

sysbench --db-driver=mysql --mysql-host=<HAproxy IP> --mysql-port=3306 \
 --mysql-db=test_db oltp_read_write prepare \
 --mysql-user=admin_user --mysql-password=<password>

쓰기 테스트 (HAProxy 3306 포트, 마스터로 라우팅 확인)

1
2
3
4
5
6


# oltp_write_only: 쓰기 작업만 수행하여 마스터에 부하가 걸리는지 확인
# time=60: 테스트를 60초 동안 수행
# threads=10: 10개의 쓰레드로 동시에 요청
sysbench --db-driver=mysql --mysql-host=<HAproxy IP> --mysql-port=3306 \\
 --mysql-db=test_db oltp_write_only --time=60 --threads=10 run \\
 --mysql-user=admin_user --mysql-password=<password>

읽기 테스트 (HAProxy 3307 포트, 슬레이브로 라우팅 확인)

1
2
3
4


# **oltp_read_only**: 읽기 작업만 수행하여 슬레이브에 부하가 걸리는지 확인
sysbench --db-driver=mysql --mysql-host=<HAproxy IP> --mysql-port=3307 \
 --mysql-db=test_db oltp_read_only --time=60 --threads=10 run \
 --mysql-user=admin_user --mysql-password=<password>

결과 분석

sysbench 결과가 HAproxy stat 페이지에 반영 되는지 확인
쓰기 요청은 마스터로, 읽기 요청은 슬레이브로 분배되는지, 세션 수와 데이터 전송량 등을 확인

로그 확인

haproxy 로그 확인

1

sudo haproxy -c -f /etc/haproxy/haproxy.cfg

트러블슈팅

Replication

change master to 로 Slave 설정 후 오류 Last_IO_Error: Authentication plugin 'caching_sha2_password' reported error: Authentication requires secure connection.

마스터에서 사용하는 인증 플러그인(caching_sha2_password)으로 인해 슬레이브가 인증에 실패
Master에서 기본 인증 플러그인이 caching_sha2_password로 설정된 경우 발생할 수 있다. Slave는 기본적으로 mysql_native_password 플러그인을 사용하므로, 인증 불일치 문제 발생
계정 인증 방식을 변경하고 재시작 필요

1
2
3
4
5
6
7


# Master
ALTER USER 'replica_user'@'%' IDENTIFIED WITH 'mysql_native_password' BY '<비밀번호>';
FLUSH PRIVILEGES;

# Slave
STOP SLAVE;
START SLAVE;

Slave에서 my.cnf의 read_only 설정은 root를 제외한 제약이다.

만약 root로 데이터를 생성하면 replication 설정이 끊김
SET GLOBAL super_read_only = 1; 를 MySQL에서 입력해 root를 포함해 읽기 전용 설정

HAproxy

haproxy.cfg의 defaults는 사용 전 정의

listen, front/backend 부분에 tcp를 사용중인데 defaults가 http만 있다면 에러가 발생

haproxy.cfg에서 defaults는 listen, front/backend보다 상위에 위치해야 함

haproxy stats 모니터링 시에 sysbench로 테스트한 내용이 반영이 안되는 문제 발생
defaults tcp가 listen stat보다 아래에 위치해서 제대로 반영되지 않았기 때문

참고

mysql 설치: https://www.servermon.kr/m/board.html?code=servermon_board2&page=3&type=v&board_cate=&num1=999619&num2=00000&number=363&lock=N

mysql replication: https://wooj-coding-fordeveloper.tistory.com/63 https://www.didim365.com/blog/20200424b-blog/

haproxy: https://velog.io/@parrineau/MySQL-HAproxy-MHA

haproxy 상세: https://hoing.io/archives/2196