리눅스에서 디스크 I/O 문제로 인한 시스템 종료를 확인하는 방법

시스템이 디스크 I/O 문제로 인해 종료되었는지 확인하려면, 아래의 방법으로 시스템 로그를 확인하고, SMART 상태와 I/O 성능 지표를 점검하는 것이 유용합니다. 특히 dmesg와 syslog에서 디스크 I/O 오류를 추적하는 것이 가장 기본적인 접근 방법입니다.

 주로 로그 파일을 분석하고, 시스템 성능 모니터링 도구를 사용하여 I/O 성능 저하나 오류를 추적하는 방식으로 이루어집니다. 다음은 디스크 I/O 문제로 인해 시스템이 종료되었는지 확인하는 방법들입니다.

Ⅰ. 시스템 로그 확인

리눅스 시스템에서 발생하는 주요 이벤트나 오류는 로그 파일에 기록됩니다. 디스크 I/O 관련 문제는 주로 dmesg, syslog, 또는 messages 파일에서 확인할 수 있습니다.

ⅰdmesg 로그 확인
dmesg 명령어를 사용하여 커널 로그를 확인할 수 있습니다. 디스크 I/O 오류는 보통 I/O 성능 저하나 장치 장애 관련 메시지로 나타납니다.

dmesg | grep -i "error\|fail\|io"

ⅱ. syslog 또는 messages 로그 확인
/var/log/syslog (일부 배포판에서는 /var/log/messages)에서 디스크 오류나 관련 이벤트를 찾을 수 있습니다.

grep -i "i/o error" /var/log/syslog

ⅲ. /var/log/messages에서 확인

grep -i "i/o error" /var/log/messages

여기에서 "I/O error"와 같은 메시지를 찾을 수 있다면, 디스크 I/O 문제로 인해 시스템이 불안정해졌을 가능성이 있습니다.

Ⅱ. SMART 디스크 상태 확인

디스크가 물리적으로 문제가 있는 경우, SMART(Self-Monitoring, Analysis, and Reporting Technology)를 통해 디스크의 상태를 점검할 수 있습니다. smartctl 도구를 사용하여 디스크 오류를 확인할 수 있습니다.

 

ⅰ. CentOS, Rocky Linux smartmontools 설치

[root@feccle /]# yum -y install smartmontools                            or [root@feccle /]# dnf -y install smartmontools

 

ⅱ우분투 smartmontools 설치

[root@feccle /]#  apt install smartmontools

 

ⅲ. smartmontools 실행

[root@feccle /]# smartctl -a /dev/[장치명]

이 명령어는 디스크의 SMART 정보를 출력하며, 오류나 장애 발생 징후를 확인할 수 있습니다.

Ⅲ. I/O 통계 확인 (iostat)

iostat 명령어를 사용하여 디스크 I/O 활동을 모니터링할 수 있습니다. 높은 I/O 대기 시간이나 과도한 I/O 요청은 시스템 성능 문제로 이어질 수 있습니다.

 

ⅰ. CentOS, Rocky Linux sysstat 설치

[root@feccle /]# yum -y install sysstat                             or [root@feccle /]# dnf -y install sysstat

 

ⅱ우분투 sysstat 설치

[root@feccle /]#  apt install sysstat

 

ⅲ. sysstat  실행

[root@feccle /]# iostat -x

여기서 await, svctm, %util 값이 높다면 디스크 I/O로 인해 시스템이 과부하 상태일 수 있습니다.

Ⅳ. 시스템 종료 원인 확인 (last 명령어)

시스템이 언제 재부팅되었는지 확인하기 위해 last 명령어를 사용할 수 있습니다. 재부팅 직전 로그에서 I/O 오류가 발생했는지 확인합니다.

 

[root@feccle /]# last reboot

또는 /var/log/syslog에서 마지막 재부팅 시점의 메시지를 검색하여, 그 전에 디스크 관련 오류가 있었는지 확인할 수 있습니다.

grep -i "reboot" /var/log/syslog

Ⅴ. Kernel Panic 또는 OOM (Out of Memory) 확인

디스크 I/O 문제가 메모리 부족과 관련이 있을 경우, OOM(Out of Memory) 상태나 커널 패닉이 발생할 수 있습니다. 

 

ⅰ. RHEL 계열(Red Hat Enterprise Linux, CentOS, Rocky Linux 등)

grep -i "kernel panic\|out of memory" /var/log/messages grep -i "kernel panic\|out of memory" /var/log/dmesg

 

ⅱ. Debian 계열의 리눅스 배포판(예: Ubuntu, Debian)

/var/log/kern.log 파일에서 커널 패닉 메시지를 확인하거나, 메모리 부족과 관련된 메시지를 찾습니다.

grep -i "kernel panic\|out of memory" /var/log/kern.log