Thread Dump 분석과 활용

수정 약 9분
#Java#JVM
CPU가 갑자기 치솟거나 애플리케이션이 응답을 멈췄을 때, 가장 먼저 꺼내야 할 도구가 Thread Dump다.
어떤 스레드가 무엇을 기다리고 있는지, 어디서 락이 꼬였는지, 스택 트레이스만 읽어도 원인의 절반은 보인다.
수집 방법과 읽는 법을 정리하고, 실제 코드로 재현한 세 가지 사례를 함께 살펴본다.

Thread Dump란?

특정 시점에 JVM 내 모든 스레드의 상태를 텍스트로 스냅샷한 출력이다.

Heap Dump와 자주 혼동하는데, 둘은 목적이 다르다.

구분Thread DumpHeap Dump
담는 것스레드 상태, 스택 트레이스, 락 관계힙 메모리 전체 객체
크기수십 KB ~ 수 MB수백 MB ~ GB
목적응답 지연, 데드락, CPU 스파이크 분석OutOfMemoryError, 메모리 누수 분석
수집 부담거의 없음애플리케이션 일시 중단

운영 중 부담 없이 여러 번 찍을 수 있다는 점이 Thread Dump의 큰 장점이다.


언제 Thread Dump를 찍어야 하는가?

Thread Dump는 "스레드 문제" 라는 확신이 없어도 일단 찍어보는 것이 좋을 수 있다.

이유는 상대적으로 수집 비용이 낮고, 원인이 보이면 빠르게 다음 행동으로 넘어갈 수 있다.

보통은 아래와 같은 상황에서 Thread Dump 를 찍어볼 수 있다.

1) CPU 사용률이 갑자기 치솟을 때

  • 어떤 스레드가 CPU를 잡고 있는지 확인할 수 있는데, top -H로 OS 스레드를 찾고, nid로 Thread Dump와 매핑하면 범인이 나온다.

2) 애플리케이션이 응답하지 않거나 처리가 갑자기 느려질 때

  • BLOCKED / WAITING 스레드가 무엇을 기다리고 있는지 스택 트레이스로 바로 파악된다.

3) 데드락이 의심될 때

  • jstack은 데드락을 자동으로 감지해 덤프 하단에 Found one Java-level deadlock: 블록으로 출력한다.

4) 특정 요청이 처리되지 않고 대기 중일 때

  • 어떤 코드에서 멈췄는지 스택 트레이스를 통해 확인 가능하다.

5) 스레드 풀이 고갈(Thread Pool Exhaustion)됐을 때

  • http-nio-*, executor-* 계열 스레드가 모두 요청을 처리 중인데 큐가 쌓인다면 스레드 풀 고갈을 의심할 수 있다.
  • 단순히 WAITING 스레드가 많다는 이유만으로는 부족하다. idle worker도 정상적으로 WAITING 상태일 수 있다.
  • idle worker와 작업 중인 worker는 스택 최상단으로 구분할 수 있다.
    • Idle worker: 스택 최상단이 Unsafe.park 이고, 그 아래로 큐에서 작업을 기다리는 getTask 가 보이는 패턴. take() 로 기다리면 WAITING, poll(timeout) 으로 기다리면 TIMED_WAITING 이다
    • 작업 중인 worker: 스택 최상단에 애플리케이션 코드(Controller, Service 등)가 보임
bash
# 작업 중인 톰캣 스레드 수 세기 (com.example을 실제 패키지명으로 변경)
# 스레드 블록은 빈 줄로 나뉘어 있어서, awk 문단 모드(RS=)로 스레드 단위로 센다
jstack <pid> | awk -v RS= '/^"http-nio-8080-exec/ && /com\.example/ {n++} END {print n+0}'

grep -A 30 ... | grep com.example | wc -l 처럼 세면 스레드 수가 아니라 com.example 이 들어간 스택 프레임 수가 나온다.
한 스레드의 스택에 애플리케이션 프레임이 여러 줄 있으면 그만큼 부풀려진다.

톰캣의 기본 max-threads는 200 인데, 덤프에서 http-nio-8080-exec 스레드가 200개 모두 애플리케이션 코드에서 멈춰 있다면 스레드 풀 고갈을 강하게 의심해야 한다.

단 한 번보다 30초 간격으로 3~5번 연속으로 찍는 것이 좋다. 그래야 일시적 현상과 고착된 상태를 구분할 수 있다.

Thread 상태 종류

상태설명
RUNNABLE현재 실행 중이거나 실행 가능 상태. CPU를 점유하거나 OS 스케줄링을 기다리는 중
BLOCKED다른 스레드가 보유한 모니터 락을 기다리는 중 (synchronized 블록 진입 대기)
WAITING조건 없이 대기 중. Object.wait(), LockSupport.park() 등으로 진입
TIMED_WAITING타임아웃 있는 대기. Thread.sleep(n), wait(timeout), parkNanos() 등
NEW아직 start()가 호출되지 않은 스레드
TERMINATED실행이 끝난 스레드

실무에서 가장 자주 보는 것은 BLOCKED와 WAITING이다.

RUNNABLE이 많다고 곧장 CPU 스파이크로 단정하면 안 된다.
JVM의 RUNNABLE은 OS의 Running 상태와 다르다. SocketInputStream.socketRead0(JDK 13 이상은 NioSocketImpl.read)처럼 DB 응답 대기, 외부 API 호출 대기 등 native I/O 블로킹 상태도 RUNNABLE로 표시된다.
스택 트레이스를 확인해 실제로 CPU를 소모하는 루프인지, I/O를 기다리는 중인지 구분해야 한다.
CPU 스파이크 여부는 top -H + nid 매핑으로 판단한다.
Thread 상태 전이도

Thread Dump 수집 방법

수집 방법은 여러 가지인데, 상황별로 고르면 아래와 같다.

방법언제 쓰나명령
jcmd기본으로 쓰는 방법, JDK 8 트러블슈팅 가이드부터 jstack 대신 권장jcmd <pid> Thread.print -l
jstackjcmd 와 같은 결과, 익숙하다면 그대로 써도 됨jstack -l <pid>
kill -3JDK 도구가 없는 컨테이너, 결과는 컨테이너 로그에 남음kill -3 <pid>
Spring Actuator서버에 접속하지 않고 원격으로GET /actuator/threaddump
VisualVM, JMC로컬에서 화면으로 보고 싶을 때GUI

java.util.concurrent 락을 쓴다면 jcmd 와 jstack 모두 -l 을 붙여야 락 보유 정보까지 나온다. 방법별 자세한 내용은 아래와 같다.

jstack

가장 기본적인 방법이다. JDK에 기본 포함돼 있다.

bash
jstack <pid>
bash
# 현재 실행 중인 Java 프로세스 PID 확인
jps -l

# Thread Dump 수집 후 파일로 저장
jstack <pid> > thread-dump-$(date +%Y%m%d%H%M%S).txt

jcmd

JDK 7에 추가됐고 JDK 8 트러블슈팅 가이드부터 jstack 대신 쓰라고 권장하는 방법으로, 컨테이너 환경에서도 안정적으로 동작하고 JDK 19부터는 가상 스레드까지 담는 Thread.dump_to_file도 지원한다.

bash
jcmd <pid> Thread.print                     # jstack과 동일
jcmd <pid> Thread.print -l                  # java.util.concurrent 락 정보 포함 (jstack -l과 동일)
jcmd <pid> Thread.print > thread-dump-$(date +%Y%m%d%H%M%S).txt

ReentrantLock, ReadWriteLock 등 java.util.concurrent 락은 -l 옵션 없이는 락 보유 정보가 덤프에 나타나지 않는다. synchronized만 쓰는 코드가 아니라면 -l 옵션을 기본으로 쓰는 게 안전하다.

kill -3

jstack을 설치하기 어렵거나 컨테이너 환경에서 유용하다. 프로세스의 표준 출력(stdout)으로 덤프가 출력되며, 프로세스가 종료되지 않는다. systemd로 실행 중이면 journal에서, 컨테이너라면 docker logs나 Pod 로그에서 확인하는 경우가 많다.

bash
kill -3 <pid>

Spring Actuator

Spring Boot 애플리케이션이라면 spring-boot-starter-actuator 의존성을 추가하고, HTTP 노출 대상에 threaddump를 포함하면 된다.

yaml
management:
  endpoints:
    web:
      exposure:
        include: threaddump

기본적으로 JSON 형태로 응답을 받을 수 있고, jstack처럼 텍스트 형태로 보고 싶다면 Accept: text/plain을 지정한다.

bash
curl -H 'Accept: application/json' http://localhost:8080/actuator/threaddump > threaddump.json
curl -H 'Accept: text/plain' http://localhost:8080/actuator/threaddump > threaddump.txt

운영 환경에서 원격으로 수집할 때 유용하지만, 보안상 엔드포인트 노출 범위는 반드시 제한해야 한다. 내부망, 별도 management port, 인증 설정 없이 외부에 열어두면 안 된다.

VisualVM / Java Mission Control

GUI가 필요할 때 사용한다. 로컬 개발 환경에서 시각적으로 분석하기 편하다.


Thread Dump 읽는 방법

Thread Dump의 각 스레드 블록은 아래 구조다.

text
"http-nio-8080-exec-3" #25 [6716] daemon prio=5 os_prio=0 tid=0x00007f... nid=6716 waiting for monitor entry [0x...]
   java.lang.Thread.State: BLOCKED (on object monitor)
        at com.example.OrderService.placeOrder(OrderService.java:42)
        - waiting to lock <0x000000076b3a1d40> (a java.lang.Object)
        at com.example.OrderController.order(OrderController.java:28)
        ...

읽을 때 확인할 것들

  • 스레드 이름: http-nio-8080-exec-3처럼 어떤 스레드 풀인지 바로 파악 가능
  • nid: OS 스레드 ID. CPU 점유 스레드를 top으로 찾은 뒤 여기서 매핑한다. JDK 17 이하는 nid=0x2b03 처럼 16진수, JDK 18 부터는 nid=11267 처럼 10진수로 찍힌다 (JDK-8268425)
  • Thread.State: 현재 상태
  • 스택 트레이스: 어느 코드에서 멈췄는지
  • - locked <0x...>: 이 스레드가 보유한 락
  • - waiting to lock <0x...>: 이 스레드가 기다리는 락

실제 예시

아래 예시 코드는 let-me-code/thread-dump에 정리해두었다.
각 예제는 일부러 종료되지 않거나 일정 시간 동안 CPU를 점유하도록 만들었고, 실행 방법은 모듈 README에서 확인할 수 있다.

데드락 (Deadlock)

데드락 구조도

Thread-A가 lockA를 잡고 lockB를 기다리고, Thread-B가 lockB를 잡고 lockA를 기다리는 상황이다.

java
Thread threadA = new Thread(() -> {
    synchronized (lockA) {
        sleep(100);
        synchronized (lockB) { ... }  // lockB를 기다리며 멈춤
    }
}, "Thread-A");

Thread threadB = new Thread(() -> {
    synchronized (lockB) {
        sleep(100);
        synchronized (lockA) { ... }  // lockA를 기다리며 멈춤
    }
}, "Thread-B");

Thread Dump 하단에 아래 블록이 자동으로 나타난다.

text
Found one Java-level deadlock:
=============================
"Thread-A":
  waiting to lock monitor 0x00007f8c2c00b9a8 (object 0x000000076b4e1d58, a java.lang.Object),
  which is held by "Thread-B"
"Thread-B":
  waiting to lock monitor 0x00007f8c2c009d68 (object 0x000000076b4e1d48, a java.lang.Object),
  which is held by "Thread-A"

Java stack information for the threads listed above:
===================================================
"Thread-A":
        at com.eottabom.letmecode.example.threaddump.DeadlockExample.lambda$main$0(DeadlockExample.java:28)
        - waiting to lock <0x000000076b4e1d58> (a java.lang.Object)
        - locked <0x000000076b4e1d48> (a java.lang.Object)
"Thread-B":
        at com.eottabom.letmecode.example.threaddump.DeadlockExample.lambda$main$1(DeadlockExample.java:38)
        - waiting to lock <0x000000076b4e1d48> (a java.lang.Object)
        - locked <0x000000076b4e1d58> (a java.lang.Object)

Found 1 deadlock.

Found N deadlock. 문구가 보이면 데드락이다. 락 주소(0x...)를 따라가면 어떤 스레드가 무엇을 보유하고 있는지 정확히 추적할 수 있다.

BLOCKED 스레드

한 스레드가 synchronized 블록을 오래 점유하면, 나머지 스레드는 전부 BLOCKED 상태로 쌓인다.

text
"Blocked-Thread-1" #14 [...] prio=5 os_prio=0 tid=0x... nid=... waiting for monitor entry [0x...]
   java.lang.Thread.State: BLOCKED (on object monitor)
        at com.eottabom.letmecode.example.threaddump.BlockedThreadExample.lambda$main$1(BlockedThreadExample.java:36)
        - waiting to lock <0x000000076b3a1d40> (a java.lang.Object)

같은 락 주소(0x000000076b3a1d40)를 기다리는 스레드가 여러 개라면, 해당 주소를 locked로 보유한 스레드를 찾아야 하는데, 바로 그 스레드가 병목이다.

bash
# 특정 락을 기다리는 스레드 수
grep 'waiting to lock <0x000000076b3a1d40>' dump.txt | wc -l

# 그 락을 보유한 스레드 찾기
awk -v RS= '/- locked <0x000000076b3a1d40>/' dump.txt | head -1
ReentrantLock, ReadWriteLock 등 java.util.concurrent 락은 위 패턴으로 잡히지 않는다.
기다리는 쪽은 parking to wait for <0x…> (a java.util.concurrent.locks.ReentrantLock$NonfairSync)로 찍히고, 보유한 쪽은 jcmd <pid> Thread.print -l로 수집해야 나오는 Locked ownable synchronizers 섹션에서 같은 주소로 찾는다.
bash
./gradlew :thread-dump:runBlockedThreadExample

CPU 점유 스레드 찾기 (top + jstack 연계)

CPU 스파이크가 발생했을 때, OS 수준의 스레드 ID와 Thread Dump의 nid를 연결하는 방법이다.

bash
# CPU 스핀 예제 실행
./gradlew :thread-dump:runCpuSpinExample

# 1. CPU 높은 Java 프로세스의 스레드 목록 확인
top -H -p <pid>

# 2-1. JDK 18 이상: nid 가 10진수라서 TID 를 그대로 검색
jstack <pid> | grep -A 20 "nid=<tid> "

# 2-2. JDK 17 이하: nid 가 16진수라서 TID 를 변환해서 검색
printf "%x\n" <tid>
jstack <pid> | grep -A 20 "nid=0x<hex> "

같은 프로그램을 JDK 17 과 21 에서 찍어보면 nid 표기가 아래처럼 다르다.
JDK 21 에서 nid=0x... 로 검색하면 아무것도 찾지 못한다.

text
# JDK 17.0.4
"main" #1 prio=5 os_prio=31 cpu=1028.16ms elapsed=6.45s tid=0x00007faab281c200 nid=0x2b03 waiting on condition  [0x000000030888d000]

# JDK 21.0.4
"main" #1 [11267] prio=5 os_prio=31 cpu=1082.51ms elapsed=6.56s tid=0x00007fbb7d009e00 nid=11267 waiting on condition  [0x000000030dbee000]

JDK 21 에서는 스레드 번호 뒤 [11267] 에도 같은 OS 스레드 ID 가 10진수로 찍힌다.

CpuSpinExample을 실행하면 CPU-Spinner 스레드가 RUNNABLE 상태로 CPU를 점유한다. top -H에서 가장 높은 TID가 이 스레드다.

text
"CPU-Spinner" #13 [6959] prio=5 os_prio=0 tid=0x... nid=6959 runnable [0x...]
   java.lang.Thread.State: RUNNABLE
        at com.eottabom.letmecode.example.threaddump.CpuSpinExample.lambda$main$0(CpuSpinExample.java:25)

RUNNABLE이지만 I/O나 락 대기 없이 루프를 도는 패턴이다.


Virtual Threads (가상 스레드) 환경에서의 주의사항

Java 21 LTS에서 가상 스레드가 정식 릴리즈됐는데, jstack과 jcmd Thread.print가 만드는 기존 형식의 덤프에는 가상 스레드가 아예 나오지 않고 carrier 같은 플랫폼 스레드만 나온다.

가상 스레드를 사용하는 환경이라면 아래 명령으로 가상 스레드까지 담긴 덤프를 수집해야 하는데, 형식은 text(기본)와 json 중에 고를 수 있다.

bash
jcmd <pid> Thread.dump_to_file -format=json /tmp/thread-dump.json

이 명령은 JDK 19부터 쓸 수 있는데, JDK 21 기준으로는 이 형식에 락 정보가 없어서 데드락이나 락 경합을 볼 때는 jcmd <pid> Thread.print -l도 함께 수집한다(JDK 25부터는 락 정보가 추가됐다). spring.threads.virtual.enabled=true로 가상 스레드를 활성화한 Spring Boot 3.2+ 환경이라면 이 방식이 필수다.


분석 도구

Thread Dump는 텍스트만으로도 읽을 수 있지만, 스레드 수가 많거나 여러 덤프를 비교해야 할 때는 도구를 같이 쓰면 좋다.

  • fastThread: 온라인 JVM Thread Dump 분석기다. Thread Dump를 업로드하면 deadlock, BLOCKED 스레드, CPU spike 의심 스레드, 스레드 상태 분포를 빠르게 훑어볼 수 있다.
  • Samurai: 로컬 GUI 기반 로그/Thread Dump 분석 도구다. 온라인 붙여넣기 도구라기보다 파일을 열어 여러 덤프와 로그를 함께 보는 용도에 가깝다.
  • IBM TMDA: IBM Thread and Monitor Dump Analyzer다. deadlock, hung thread, resource contention 같은 패턴을 휴리스틱으로 찾는 데 초점이 있다.

정리

요약
✔ Thread Dump는 수집 부담이 낮고 장애 상황에서 첫 번째로 꺼내야 할 도구다
✔ 수집은 jcmd <pid> Thread.print -l을 기본으로, 가상 스레드 환경은 Thread.dump_to_file -format=json 사용
✔ RUNNABLE이 많아도 CPU 스파이크로 단정 금지 - 스택 트레이스로 실제 CPU 작업인지 I/O 대기인지 구분
✔ 데드락: 덤프 하단 Found N deadlock 확인
✔ BLOCKED 병목: 같은 락 주소를 기다리는 스레드 수 확인, 그 락을 보유한 스레드가 원인. java.util.concurrent 락은 -l 옵션 필수
✔ CPU 스파이크: top -H로 찾은 TID를 nid로 매핑, JDK 18 이상은 10진수 그대로, JDK 17 이하는 16진수로 변환
✔ 스레드 풀 고갈: 스택 최상단으로 idle/작업 중 구분, 톰캣 http-nio 스레드 200개가 꽉 찼는지 확인
✔ 원인이 보이면 코드나 설정을 바꾸기 전에, 30초 간격으로 한 번 더 찍어 패턴이 반복되는지 확인한다

📚 Reference