3장 하둡 운영
Part 11 하둡 관리
하둡 클러스터를 원활히 운영하기 위한 절차를 살펴보자.
11.1HDFS
11.1.1 영속적인 데이터 구조
네임노드 디렉터리 구조
파일시스템 이미지와 에디트 로그
보조 네임노드 디렉터리 구조
데이터노드 디렉터리 구조
11.1.2 안전 모드
안전 모드 진입과 해제
11.1.3 감사 로깅
11.1.4 도구
dfsadmin
파일시스템 점검(fsck)
- 초과 복제 블록
- 복제 기준 미만의 블록
- 잘못 복제된 블록
- 손산된 블록
- 누락된 복제본
데이터노드 블록 스캐너
밸런서
11.2 모니터링
11.2.1 로깅
로그 수준 설정
스택 트레이스 얻기
11.2.2 메트릭과 JMX
11.3 유지 보수
11.3.1 일상적인 관리 절차
메타데이터 백업
데이터 백업
파일시스템 점검(fsck)
파일시스템 밸런서
11.3.2 노드의 추가와 퇴역
새로운 노드 추가하기
오래된 노드의 퇴역
11.3.3 업그레이드
HDFS 데이터와 메타데이터 업그레이드
- 업그레이드 시작
- 업그레이드 완료 대기
- 업그레이드 확인
- 업그레이드 롤백
- 럽그레이드 최종 승인