Hadoop | The Definitive Guide 04

1장 하둡 기초

Part 4. YARN

아파치 YARN(Yet Another Resource Negotiator)은 하둡의 클러스터 자원 관리 시스템이다. 맵리듀스의 성능을 높이기 위해 하둡 2에서 처음 도입되었다. 하지만 YARN은 맵리듀스뿐만 아니라 다른 분산 컴퓨팅 도구도 지원한다.

맵리듀스, 스파크 등과 같은 분산 컴퓨팅 프레임워크는 클러스터 계산 계층(YARN)과 클러스터 저장 계층(HDFS, HBase) 위에서 YARN 애플리케이션을 실행한다.

4.1 YARN 애플리케이션 수행 해부해보기

4.1.1 자원 요청

4.1.2 애플리케이션의 수명

4.1.3 YARN 애플리케이션 만들기

4.2 YARN과 맵리듀스 1의 차이점

4.3 YARN 스케줄링

4.3.1 스케줄러 옵션

4.3.2 캐퍼시티 스케줄러 설정

큐 배치

4.3.3 페어 스케줄러 설정

페어 스케줄러 활성화

큐 설정

큐 배치

선점

4.3.4 지연 스케줄링

4.3.5 우성 자원 공평성

4.4 참고 도서