apache tez 빌드

centos7 기준입니다.

maven, hive가 설치되어있음을 가정합니다.

아래 포스팅에 설치된 mast02서버의 hive를 사용할 예정입니다.

tez버전은 0.10.2를 사용합니다.

조언과 충고 감사합니다.

https://developer-woong.tistory.com/46

centos maven 설치

 

 

1. apache tez git clone

action server: mast02

user: root

pwd: /opt/apps/

cmd:

# git 설치
yum install -y git

# 빌드과정에서 필요한 패키지설치
yum install -y bzip2
yum install protobuf
yum install protobuf-compiler

# 경로 이동
cd /opt/apps

# git clone
git clone https://github.com/apache/tez.git

# 경로 이동
cd tez

# git branch변경
git checkout branch-0.10.2

# 태그변경확인
git branch

# 경로 이동
cd ..

 

2. tez 폴더 권한 변경

action server: mast02

user: root

pwd: /opt/apps/

cmd:

# 빌드 시 root계정으로 빌드 될 수 없다는 에러가 나옵니다.
chown -R hadoop:hadoop ./tez

su - hadoop
cd /opt/apps/tez

 

3. pom.xml 수정

action server: mast02

user: hadoop

pwd: /opt/apps/tez

cmd:

vi pom.xml

# 디폴트값
    <guava.version>31.1-jre</guava.version>
    <hadoop.version>3.3.1</hadoop.version>
    
# 설치된 하둡버전과 구아바 버전에 맞게 변경
    <guava.version>27.0-jre</guava.version>
    <hadoop.version>3.3.5</hadoop.version>

# 아래는 아래 에러가 난다면 수정해주세요.
# bower alasql#^0.4.0   CERT_HAS_EXPIRED Request to https://registry.bower.io/packages/alasql failed: certificate has expired
vi tez-ui/pom.xml
 
<allow-root-build>--allow-root=false</allow-root-build> 이 부분을
<allow-root-build>--config.strict-ssl=false --allow-root=false</allow-root-build> 이렇게 수정해주세요.

 

4. 빌드 실행

action server: mast02

user: hadoop

pwd: /opt/apps/tez

cmd:

mvn clean package -DskipTests=true -Dmaven.javadoc.skip=true

 

트러블슈팅

https://developer-woong.tistory.com/55

apache tez build error