Iceberg) java.lang.NoSuchMethodError: org.roaringbitmap.ArrayContainer.add(C)Lorg/roaringbitmap/Container 에러 트러블슈팅

centos7 기준입니다.

 

환경:

Hive 4.0.0

Iceberg Hive 4.0.0 내장 라이브러리

Tez 0.10.3

Hadoop 3.3.6

 

위 환경에서 create, insert, select, update 까지 성공하였으나,

delete 구문 실행 시 아래와 같은 에러가 추출되었습니다.

 

Vertex did not succeed due to OTHER_VERTEX_FAILURE

이에 yarn 로그를 살펴보니,

 

java.lang.NoSuchMethodError: org.roaringbitmap.ArrayContainer.add(C)Lorg/roaringbitmap/Container

라는 에러가 발견되었고, 해당 라이브러리는 RoaringBitmap 라이브러리 관련이었습니다.

 

Hive 4.0.0 버전이 사용하는 RoaringBitmap 버전은 0.9.22였고,

Tez 0.10.3 버전이 사용하는 RoaringBitmap 버전은 0.7.45 버전이었습니다.

 

이에 기존 tez가 사용하는 RoaringBitmap 라이브러리를 삭제, Hive가 사용하는 RoaringBitmap 라이브러리를 tez lib폴더에 복사한 후, tez-site.xml의  tez.lib.uris 값을 참조하여 tez폴더와 재압축한 파일을 해당 hdfs 경로에 put한 후,

hive를 재기동하여 에러를 해결하였습니다.

 

 

감사합니다.