[Docker] docker-hadoop 컨테이너 설명

이번 포스팅에서는 Hadoop 클러스터의 컨테이너에 대해서 알아보자.

만약 docker로 Hadoop 클러스터를 구성하는 방법이 궁금하면 아래 포스팅을 참고하자

https://zeuskwon-ds.tistory.com/68?category=1023021

[Docker] 리눅스 Hadoop 클러스터 구성하기

• 하둡 공식 Documentation

https://hadoop.apache.org/docs/current/

Hadoop – Apache Hadoop 3.3.2

 

Docker-Hadoop 클러스터 구성

• 총 5개의 컨테이너로 구성되어 있음
  • Name Node(localhost:9870)
  • Data Node(localhost:9864)
  • Node Manager(localhost:8042)
  • Resource Manager(localhost:8088)
  • History Server(localhost:8188)

• Name Node와 Data Node, NodeManager는 UI를 제공함

NameNode Navigator (localhost:9870)

1. Hadoop cluster 전체의 상태를 확인 가능함
2. DataNode 내부 상태 확인 가능 및 디렉토리 상세 데이터 확인 가능
3. 웹브라우저를 사용한 데이터 업로드/다운로드 가능

DataNode Navigator (localhost:9864)

1. Data node의 블록 풀 상태, 저장 디렉토리 및 저장소 용량 상태 등을 확인
2. 해당 내용들도 NameNode Navigator에서 확인 가능

ResourceManager (192.168.10.9:8088)

1. Hadoop MapReduce 역할로, 병렬처리를 위해 존재
2. Scheduler와 Application Manager 로 구성됨
   • Scheduler
     • 용량, 대기열 등의 제약조건에 따라 실행중인 프로그램에 리소스 할당
   • Resource Manager
     • 작업 제출 수락
     • Scheduler에서 적절한 리소스 컨테이너를 할당, 추적하며 상황 모니터링 수행