[hadoop] sbin/start-dfs.sh 실행 시, datanode 실행 오류 문제

결론.

dfs/data 폴더를 삭제 후, 다시 생성 후 namenode -format하면 정상적으로 작동

 

---

 

문제.

sbin/start-dfs.sh  # hadoop 실행

datanode만 구동되지 않는 error

 

하둡을 실행명령(sbin/start-dfs.sh) 시, 정상적으로 구동된 것으로 보이지만, jps 명령어를 통해 확인해보면 DataNode가 구동되지 않음

 

 

 

cat hadoop-root-datanode-XXX.log

logs 폴더에 들어가서 hadoop-root-datanode-XXX.log를 확인함. 엄청나게 길던데 그냥 가장 최근만 확인함

datanode namespace ID값이 namenode namespace ID값과 일치하지 않아서 나타난 error로 판단됨

 

 

주로, namenode -format할 때 발생하는 error라고 한다. 초기에 설치한 이후 다시 포맷할 때 나타나는 오류인데, 포맷 전에 data 폴더를 지운 다음, 다시 폴더를 만들고 난 후에 namenode -format해야 정상적으로 작동한다.

 

cd dfs             # data 폴더가 있는 dfs로 진입

rm -rf data        # 기존 data 폴더 삭제

mkdir -p data      # 새로 data 폴더 생성
mkdir -p dfs/data  # dfs 폴더 상위 폴더에 있을 때 생성

정상 작동 확인