Architecting Modern Data Platforms 06

6장 데이터센터 고려사항

기본적인 데이터센터 인프라스트럭처의 개념을 살펴보고 하둡과 상용 인프라스트럭처의 차이점을 확인해 본다. 또 데이터센터 관점에서 데이터 수집과 관련된 일반적인 문제를 살펴보고, 다중 데이터 센터의 재해 복구 같은 주제에서 확인할 수 있는 보편적인 함정에 대해 알아보자

데이터센터는 왜 중요한가

  • 장애 허용(failure tolerance)
  • 성능과 확장성

기본적인 데이터센터 개념

  • 네트워킹
  • 전원 공급
  • 냉방
냉방
전원
네트워크
랙 인식과 랙 장애
  • 좋은 상황
  • 단일 장애 지점(SPOF, Single Point Of Failure) 상황
  • 좋지 않은 상황
장애 영역 정렬

공간과 랙 채우기의 제한

데이터 수집 및 클러스터 간 연결

소프트웨어
  • 압축지원
  • 병렬성
  • 설정
하드웨어
  • 방화벽과 로드 밸런서
  • 네트워크 장비

교체 및 수리

  • 컴포넌트 교체 정책
  • 하드웨어 수명주기
운영 절차

통상적인 위협

네트워킹
  • 클러스터 호스트 간의 방화벽
  • 네트워크 오버서브스크립션
  • 네트워크 격리의 부재
  • 랙/노드를 멀리 떨어뜨려 배치하는 문제
클러스터 스패팅
  • 2곳의 데이터센터로 스패닝
  • 3곳의 데이터센터로 스패닝
랙 인식의 비표준적 사용
대역폭 장애
2곳의 데이터센터로 쿼럼 스패닝
  • CAP 이론에 타격을 받는 경우
  • ‘분리 뇌’ 시나리오
3곳의 데이터센터로 쿼럼 스패닝
그 밖의 솔루션