centos7 기준입니다.
호스트명이 mast01인 서버에서 설치를 진행하였습니다.
실행권한은 hadoop 유저이며,
java 환경변수 등록, hadoop, hive, zookeeper, hbase가 설치되어있음을 가정합니다.
1. Sqoop 설치 파일 압축 해제 및 권한 설정
action server: mast01
user: root
pwd: -
cmd:
# 경로 이동
cd /opt/apps
# 압축 파일 다운로드
wget https://archive.apache.org/dist/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
# 압축 해제
tar xvfz sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
# 폴더명변경
mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop-1.4.7
chown -R hadoop:hadoop ./sqoop-1.4.7
# 추가로 필요한 파일입니다. 압축 해제 후 필요 파일을 복사합니다.
wget https://archive.apache.org/dist/commons/lang/binaries/commons-lang3-3.12.0-bin.tar.gz
tar xvfz commons-lang3-3.12.0-bin.tar.gz
cp /opt/apps/commons-lang3-3.12.0/commons-lang3-3.12.0.jar /opt/apps/sqoop-1.4.7/lib
mv /opt/apps/sqoop-1.4.7/lib/commons-lang3-3.4.jar /opt/apps/sqoop-1.4.7/lib/commons-lang3-3.4.jar.backup
# 권한 부여
chown -R hadoop:hadoop /opt/apps/sqoop-1.4.7
2. Sqoop 환경 변수 등록
action server: mast01
user: root
pwd: /opt/apps
cmd:
# 환경변수등록
vi /etc/profile.d/sqoop.sh
export SQOOP_HOME=/opt/apps/sqoop-1.4.7
export SQOOP_CONF_DIR=$SQOOP_HOME/conf
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$SQOOP_HOME/bin
# 환경변수적용
source /etc/profile.d/sqoop.sh
# 계정 전환
su - hadoop
# 경로 이동
cd /opt/apps/sqoop-1.4.7/
3. Sqoop 파일 복사 및 수정
action server: mast01
user: hadoop
pwd: /opt/apps/sqoop-1.4.7
cmd:
# 파일 복사 및 수정
cp conf/sqoop-env-template.sh conf/sqoop-env.sh
vi conf/sqoop-env.sh
export HADOOP_COMMON_HOME=/opt/apps/hadoop-3.2.1
export HADOOP_MAPRED_HOME=/opt/apps/hadoop-3.2.1
export HBASE_HOME=/opt/apps/hbase-2.3.7
export HIVE_HOME=/opt/apps/hive-3.1.2
export ZOOCFGDIR=/opt/apps/zookeeper-3.5.10
export HCAT_HOME=$HIVE_HOME/hcatalog
# postgresql-42.6.0.jar를 구해야합니다.
cp /opt/apps/postgresql-42.6.0.jar /opt/apps/sqoop-1.4.7/lib/
cp /opt/apps/sqoop-1.4.7/sqoop-1.4.7.jar /opt/apps/hadoop-3.2.1/share/hadoop/tools/lib/
4. Sqoop 설치 확인
action server: mast01
user: hadoop
pwd: /opt/apps/sqoop-1.4.7
cmd:
# 설치 확인
sqoop help
반응형