[K8S] 트러블슈팅 - 마스터 노드 재기동 후 정적 파드 실행 오류

K8S 로컬 실습 중 며칠 지나고 마스터 노드를 다시 기동했더니 정적 파드 실행 오류가 발생했다. 아래는 그 원인과 해결방안이다.

 

 

1. 에러

MobaXTerm으로 접속한 k8s-master 터미널이 멈추는 오류 (SSH 세션이 끊겨서 발생한 것으로 예상) 를 해결하기 위해 Virtual Box에서 VM 재기동하였으나, 일부 pod creating error 가 발생했다.

-> kube-controller-manager, kube-scheduler

 

2. 원인

여러 원인을 찾아보았으나, 결과적으로 VM 재기동 후 컨테이너 런타임(containerd/docker)이 기존의 마운트 정보나 컨테이너 상태를 정상적으로 복구하지 못해 발생하는 일시적인 프로세스 꼬임 현상으로 보였다.

 

3. 해결

아래 명령어로 매니페스트 파일을 잠시 옮겼다가 다시 가져와서 Kubelet이 파드를 삭제 후 완전히 새로 생성하도록 강제 (이래야 AGE가 0s부터 시작하며 프로세스가 초기화 된다고 한다.)

 

# 1. 파일을 임시 디렉토리로 이동 (파드 삭제 유도)

mv /etc/kubernetes/manifests/kube-controller-manager.yaml /tmp/

mv /etc/kubernetes/manifests/kube-scheduler.yaml /tmp/

 

# 2. 10초 대기 후 파일을 원래 위치로 복사 (파드 재생성 유도)

mv /tmp/kube-controller-manager.yaml /etc/kubernetes/manifests/

mv /tmp/kube-scheduler.yaml /etc/kubernetes/manifests/

 

 

문제 해결!