[Hadoop 에러] 하둡 올린 뒤, Namenode 또는 Datanode가 올라오지 않을 때

[ 하둡 설치 환경 : CentOS 7.6.1810 / 하둡 설치 버전 : 2.9.2 ]

 

start 명령어를 통해 하둡을 올리고나면 Namenode 또는 Datanode가 올라오지 않는 경우가 있습니다.

---

Tip! 어떠한 경우이든 정상적이지 않은 증상이 발생한다면 $HADOOP_HOME/logs에 위치한 .log 확장자의 파일을 보시고 ERROR 키워드를 확인하시면 오류의 원인을 쉽게 파악하실 수 있습니다.

---

초록색 커서의 ERROR 키워드가 에러 메시지를 일러줍니다.

 

 

저같은 경우에는 첫 번째 네임노드에서 log를 확인했으며 다음과 같은 에러가 발생하고 있었습니다.

ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool.....

 

해당 에러는 Namenode의 클러스터 ID와 Datanode의 클러스터 ID가 일치하지 않아서 생기는 증상입니다.

해결을 위해서는 Namenode에서 다음의 명령어를 입력 후 VERSION이란 이름의 파일이 어느 곳에 위치해 있는지 찾습니다.

find $HADOOP_HOME/* -name 'VERSION'

위 명령어를 입력하셨으면 current 디렉토리 바로 아래에 VERSION 파일이 보이실 겁니다.

에디터 또는 cat명령어를 통해 내용을 확인하여 Namenode의 clusterID를 복사합니다.

 

다음으로 Datanode가 정상적으로 실행되지 않는 노드에서도 마찬가지로 위의 명령을 통해 VERSION의 경로를 확인합니다.

VERSION을 에디터로 열어 해당 Datanode의 clusterID에 복사하였던 Namenode의 clusterID를 붙여넣기 해준 뒤 저장하고 빠져나옵니다.

 

이제 Namenode와 Datanode가 정상적으로 올라왔는지 start-all.sh 명령어를 입력한 뒤 jps로 프로세스 상태를 확인해주거나 50070포트의 웹 페이지로 이동하여 다음과 같이 데이터노드들이 잘 올라왔는지 확인을 합니다.

정상적으로 데이터노드가 올라오면 밑에 데이터 노드의 간략한 정보가 표시됩니다.