https://joonlog.github.io/tags/thread-stuck/Recent content in Thread Stuck on JoonlogHugo -- gohugo.ioko-krThu, 24 Jul 2025 09:00:00 +0900https://joonlog.github.io/p/tomcat-thread-stuck%EC%9C%BC%EB%A1%9C-%EC%9D%B8%ED%95%9C-%EC%82%AC%EC%9D%B4%ED%8A%B8-%EC%A0%91%EA%B7%BC-%EB%B6%88%EA%B0%80-troubleshooting/Thu, 24 Jul 2025 09:00:00 +0900https://joonlog.github.io/p/tomcat-thread-stuck%EC%9C%BC%EB%A1%9C-%EC%9D%B8%ED%95%9C-%EC%82%AC%EC%9D%B4%ED%8A%B8-%EC%A0%91%EA%B7%BC-%EB%B6%88%EA%B0%80-troubleshooting/<h3 id="문제-개요">문제 개요 </h3><ul> <li>최근 특정 새벽 시간에 웹 서비스 접근 불가 현상이 반복 발생</li> <li>Tomcat 로그 확인 시 Thread Stuck으로 요청 처리가 지연되었으며, 일정 시간 지난 후 자동 해소</li> </ul> <div class="highlight"><div class="chroma"> <table class="lntable"><tr><td class="lntd"> <pre tabindex="0" class="chroma"><code><span class="lnt">1 </span><span class="lnt">2 </span></code></pre></td> <td class="lntd"> <pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash"><span class="line"><span class="cl">WARNING argo.server.valves.LenaStuckThreadDetectionValve.notifyStuckThreadDetected ... </span></span><span class="line"><span class="cl">at com.tmax.tibero.jdbc.common.TbStream.readMsgDs<span class="o">(</span>Unknown Source<span class="o">)</span> </span></span></code></pre></td></tr></table> </div> </div><h3 id="원인-추적">원인 추적 </h3><blockquote> <p>왜 Thread Stuck이 발생했는가?</p> </blockquote> <ul> <li>Tibero DB를 사용 중인 DB 서버의 문제 발생 시간대에 sys.log에서 대량의 임시 테이블이 생성된 것을 확인</li> <li>매일 01시에 <code>tbexport full=Y</code> 명령어를 수행하는 cronjob 설정된 상태</li> <li>Full 백업 시 전체 용량이 몇백 GB가 넘는데, 백업 간 DB 리소스 고갈로 인해 Tomcat의 스레드가 응답 받지 못해 Thread Stuck이 발생한 것으로 확인</li> </ul> <h3 id="조치">조치 </h3><ul> <li>백업 방식을 아래와 같이 논리적(tbexport) → 물리적 백업으로 전환 <ul> <li>대용량의 DB 백업 시에는 물리적 백업이 모든 면에서 유리 <ul> <li>무중단 Hot Backup 가능 <ul> <li>단, Hot Backup은 <code>archive log</code> 모드에서만 가능</li> </ul> </li> <li>내부 자원 사용 최소화</li> <li>복구 및 운영 안정성 향상</li> </ul> </li> </ul> </li> </ul> <h3 id="물리적-백업-방안">물리적 백업 방안 </h3><ol> <li>tbrmgr</li> </ol> <ul> <li>사용해보니 매일 풀백업을 사용하는 현재의 환경에선 맞지 않고, 백업한 파일을 압축하지 않고 그대로 보관하면서 증분 백업을 통해 보관하는 환경에서 맞는 방안인 것으로 확인 <ul> <li>현재는 매일 풀백업 + 풀백업한 파일 압축하여 보관하는 환경에서 사용 가능한 방법 필요</li> </ul> </li> </ul> <ol start="2"> <li>begin/end 백업</li> </ol> <ul> <li>백업 모드 시작 - 데이터파일 복사 - 백업 모드 종료의 구조로 백업하는 방식</li> <li>이 방식으로 해결</li> </ul>