yarn vcore 초과 할당 시 설정

yarn-site.xml을 통해 모든 작업이 사용 가능한 메모리, 코어를 설정하였습니다.

하지만 어떤 큰 작업을 실행했을 때, 아래 화면과 같이 설정한 vcore를 넘게 사용하는 상황이 발생했습니다.

 

전체 vcores를 초과하여 사용중

 

가용가능한 코어가 -로 된 화면

 

 

 

현상을 보시면, 전체 메모리는 넘지않고, 코어는 넘는 상황입니다.

이는 yarn-site.xml의 yarn.scheduler.capacity.resource-calculator값이 org.apache.hadoop.yarn.util.resource.DefaultResourceCalculator  일 때 발생하였는데,

해당 값이 디폴트이고, 이 자원계산기는 오직 메모리만을 기준으로 자원을 할당합니다.

 

이에 yarn.scheduler.capacity.resource-calculator 값을 org.apache.hadoop.yarn.util.resource.DominantResourceCalculator로 바꾼 후

yarn을 재기동하여 vcore가 설정된 값보다 초과되지않는 것을 확인하였습니다.

 

 

 

 

감사합니다.