Posted on | In

하둡 설치

자바 설치

  • Java 8 설치

    1
    $ yum install openjdk-1.8.0*

하둡 설치 파일 다운로드

  • https://hadoop.apache.org/releases.html

설치 전 역할 구성

  • 하둡 설치 전 물리적인 하드웨어를 기능 단위로 나눠 놓는 것을 추천한다.
Read more »

Posted on | In

하둡 설치 전 체크 및 준비 내용

  • 하둡 버전에 따른 지원 자바 버전 체크
    • JAVA 8을 써라 (Hadoop 2.7.x ~ 3.3 까지 커버)
    • 1.8.0_242, 1.8.0_191, 1.8.0_171 지원
  • 하둡 설치 파일 준비
Read more »

Posted on | In

하둡 설치 전 체크 내용

Hadoop Cluster 설치

목적

  • 하둡을 적게는 2대 많게는 1000대가 넘는 큰 클러스터를 설치하며 참고 하도록 만든 문서 입니다. 여기서는 보안 문제나 HA는 다루지 않습니다.

준비내용

설치

비보안 모드에서 하둡 설정

  • 하둡 데몬이 설치되는 환경 설정
  • 하둡 데몬 내부 설정

노드매니저들의 헬스 체크 모니터링

Slaves File

하둡 렉 확인사항

로그

하둡 클러스터 운영

  • 하둡 시작 명령어
  • 하둡 종료 명령어

웹 인터페이스

Read more »

Posted on | In

핵심 (RFP, 사업제안서)

  • 해당 기관 가이드 혹은 국가 (소프트웨어) 개발 가이드를 따른다.
  • 산출물은 사업을 진행하면서 개발의 완성도를 높이는 작업이지 문서를 위한 작업이 되선 안된다.
    • PM, PL 선에서 해당 내용 가이드

단계

  1. 히스토리 및 사업 내용 파악
  2. 사업 담당자 인터뷰를 통해 요구사항 구체화
  3. 개발 진행 및 중간 산출물 작성
  4. 개발 완료 및 최종 산출물 작성
Read more »