yarn-site.xml 튜닝

yarn 관련 튜닝값을 기록하였습니다.

 

vi ${HADOOP_HOME}/etc/hadoop/yarn-site.xml

 

yarn.nodemanager.resource.cpu-vcores

-> 해당 값이 6이고, 노드매니저가 3대 라면 총 18개의 vcore 사용 가능 (리소스매니저 UI를 통해 확인)

 

yarn.scheduler.minimum-allocation-vcores

-> 하나의 컨테이너에 할당할 수 있는 최소 vcore 수

 

yarn.scheduler.maximum-allocation-vcores

-> 하나의 컨테이너에 할당할 수 있는 최대 vcore 수

 

yarn.scheduler.increment-allocation-vcores

-> vcore할당의 증가량, 이 값의 배수로 vcore가 할당됨

-> yarn.scheduler.minimum-allocation-vcores 값을 넘길 수 없음

 

yarn.nodemanager.resource.memory-mb

-> 컨테이너를 생성할 때 쓸 수 있는 용량

-> 해당 값이 10240(10G)이고 노드매니저가 3대이면 총 사용가능한 메모리 양은 30GB (리소스매니저 UI를 통해 확인)

 

yarn.scheduler.minimum-allocation-mb

-> 하나의 컨테이너에 할당할 수 있는메모리의 최솟값

 

yarn.scheduler.maximum-allocation-mb

-> 하나의 컨테이너에 할당할 수 있는메모리의 최대값

 

yarn.scheduler.increment-allocation-mb

->  메모리 할당의 증가량, 이 값의 배수로 메모리가 할당됨

-> yarn.scheduler.minimum-allocation-mb의 값을 넘길 수 없음