trino) Trino, Hive 카탈로그 연동, trino-cli

이전 포스팅에 이어 Trino 클러스터에 Hive catalog를 연동 후 trino cli를 통해 확인해보겠습니다.

Hive가 설치되어있음을 가정합니다. (본 환경에서는 mast02서버에 설치되어있습니다.)

 

https://developer-woong.tistory.com/90

Trino) Trino 435 설치

 

 

1. 카탈로그 폴더 및 파일 생성

action server: mast01, work01, work02, work03

user: hadoop

pwd: /opt/apps/

cmd:

cd /opt/apps/trino/etc
mkdir catalog

cd catalog

vi hive.properties
connector.name=hive
# mast02에 hive가 존재합니다.
hive.metastore.uri=thrift://mast02:9083
# 제 환경에서는 trino가 설치된 서버에 hadoop도 설치되어있어 아래와 같이 지정해주었습니다.
# 만약 trino가 설치된 서버에 hadoop이 설치되어있지않다면, core-site.xml, hdfs-site.xml을
# hadoop이 설치된 서버에서 가져와 적절한 경로에 위치시키고, 아래 설정을 수정해주시면 됩니다.
# core-site.xml, hdfs-site.xml이 필요합니다.
hive.config.resources=/opt/apps/hadoop-3.3.5/etc/hadoop/core-site.xml,/opt/apps/hadoop-3.3.5/etc/hadoop/hdfs-site.xml

# 경로 이동
cd /opt/apps/trino

 

 

2. trino 재기동

action server: mast01, work01, work02, work03

user: hadoop

pwd: /opt/apps/trino/

cmd:

./bin/launcher stop
./bin/launcher start

 

 

3. trino cli 파일 준비

action server: mast01

user: hadoop

pwd: /opt/apps/trino/

cmd:

# trino-cli-435-executable.jar 파일을 mast01 서버에 위치 시킵니다.
# 파일은 공식 홈페이지 내 에서 다운로드 받았습니다.

cp trino-cli-435-executable.jar /opt/apps/trino/bin/

# root 전환
exit

# 권한 부여
chwon -R hadoop:hadoop /opt/apps/trino

# 계정 전환 및 경로 이동
su - hadoop

cd /opt/apps/trino/bin

# 실행권한 부여
chmod 755 trino-cli-435-executable.jar

 

 

4. trino cli 확인

action server: mast01

user: hadoop

pwd: /opt/apps/trino/

cmd:

# 코디네이터 서버 url을 지정해줍니다.
./bin/trino-cli-435-executable.jar --server http://mast01:18081

show catalogs;

 

5. hive db, table 생성 테스트

action server: mast01

user: hadoop

pwd: /opt/apps/trino/

# 카탈로그명.db명.테이블명입니다.
create table hive.test.trino_usage (col1 varchar);

 

 

HDFS UI상에서도 테이블이 잘 만들어진것을 확인하였습니다.

 

또한, 코디네이터 UI 상에서도 실행한 쿼리를 확인할 수 있습니다.

 

감사합니다.