(하둡 설치) ep06_하둡(hadoop), 주키퍼(zookeeper) 계정 생성 및 권한 설정, ssh 통신

* 본 가이드는 필요 파일과 이전 포스팅까지 작업이 완료되었다는 가정하에 진행

 

주요 스펙

호스트OS - windows10 home

게스트OS들 - centOS7

Hadoop - 3.1.0

Zookeeper - 3.4.10

jdk - 1.8.0_191

MobaXterm을 활용하여 ssh원격 접속 후 작업 진행

호스트OS는 공유기(WI-FI) 연결 환경

 

서버 6대를 활용한 하둡 HA 구성:

nn01: 액티브 네임노드, 저널노드 역할

rm01: 스탠바이 네임노드, 리소스 매니저, 저널노드 역할

jn01: 저널노드 역할

dn01: 데이터 노드 역할

dn02: 데이터 노드 역할

dn03: 데이터 노드 역할

 

실행 환경:

Action Server: 명령을 수행할 서버(hostname)

User: 명령을 수행할 계정

Pwd: 명령을 수행할 경로

 

---

 

지난 포스팅에서 mobaXterm을 활용하여 ssh 원격 접속 작업 환경 설정 및 jdk 환경변수를 설정하였다.

이번 포스팅에서는 주키퍼(zookeeper)계정을 생성하고 설치하는 작업을 진행한다.

 

주키퍼(zookeeper)란?:

developer-woong.tistory.com/11

(하둡 기초) ep06_주키퍼(Zookeeper)란?

---

주키퍼(zookeeper)계정 생성과 설치는 nn01, rm01, jn01 3대의 서버에서 진행한다.

* dn01, dn02, dn03 서버는 설치 X

 

주키퍼(zookeeper) 계정 생성

Action Server: nn01, rm01, jn01

User: root

Pwd: /root

# nn01, rm01, jn01 서버만

# 계정 추가
adduser zookeeper

# 패스워드 설정
passwd zookeeper
# 후 원하는 값 입력
# 작업은 계속 root계정에서

 

---

하둡(hadoop)계정 생성과 설치는 모든 6대의 서버에서 진행한다

 

하둡(hadoop)계정 생성

Action Server: all

User: root

Pwd: /root

# 모든 서버에서 실행

# 계정 추가
adduser hadoop

# 패스워드 설정
passwd hadoop
# 후 원하는 값 입력
# 작업은 계속 root계정에서

 

---

하둡을 사용할 계정(hadoop)에게 HDFS 관련 폴더에 대한 권한 부여

Action Server: all

User: root

Pwd: /root

# 모든 서버에서 실행

# 폴더 생성
mkdir /dfs
mkdir /yarn
mkdir /pids

# hadoop계정에게 권한 부여
chown hadoop /dfs
chgrp hadoop /dfs
chown hadoop /yarn
chgrp hadoop /yarn
chown hadoop /pids
chgrp hadoop /pids

# 확인
ls -l

---

 

주키퍼(zookeeper) ssh 통신

가이드 초반 게스트OS간 ssh 통신 설정 과정과 동일

developer-woong.tistory.com/17

(하둡 설치) ep04_게스트OS간 통신(SELINUX, SSH, NTP, 방화벽)

---

 

주키퍼(zookeeper) 계정 접속

Action Server: nn01, rm01, jn01

User: root

Pwd: /root

# nn01, rm01, jn01 서버에서만 실행
# 계정 접속
su - zookeeper

 

---

각 서버의 주키퍼(zookeeper)계정 ssh 키 생성

Action Server: nn01, rm01, jn01

User: zookeeper

Pwd: /home/zookeeper

# 주키퍼 계정에서 실행
# ssh 키 생성, 입력 값 없이 계속 Enter
ssh-keygen

 

---

주키퍼(zookeeper) ssh 키 공유

Action Server: nn01, rm01, jn01

User: zookeeper

Pwd: /home/zookeeper

# 주키퍼 계정들 간 ssh 키 공유
# nn01, rm01, jn01 3개의 서버에서 모두 실행
ssh-copy-id -i .ssh/id_rsa.pub zookeeper@nn01
ssh-copy-id -i .ssh/id_rsa.pub zookeeper@rm01
ssh-copy-id -i .ssh/id_rsa.pub zookeeper@jn01

# 비밀번호 입력 여부 없이 접속 확인
ssh nn01
exit

ssh rm01
exit

ssh jn01
exit

 

---

root 계정으로 전환

Action Server: nn01, rm01, jn01

User: zookeeper

Pwd: /home/zookeeper

# root 사용자로 변경
exit

 

---

 

하둡(hadoop) ssh 통신

 

하둡(hadoop)계정 접속

Action Server: all

User: root

Pwd: /root

# 모든 6대의 서버에서 실행
# 하둡 계정으로 접속
su - hadoop

 

---

각 서버의 하둡(hadoop)계정 ssh 키 생성

Action Server: all

User: hadoop

Pwd: /home/hadoop

# 모든 서버에서 실행
# ssh 키 생성
ssh-keygen

 

---

하둡(hadoop) ssh 키 공유

Action Server: all

User: hadoop

Pwd: /home/hadoop

# 하둡 계정들 간 ssh 키 공유
# 모든 6개의 서버에서 모두 실행
ssh-copy-id -i .ssh/id_rsa.pub hadoop@nn01
ssh-copy-id -i .ssh/id_rsa.pub hadoop@rm01
ssh-copy-id -i .ssh/id_rsa.pub hadoop@jn01
ssh-copy-id -i .ssh/id_rsa.pub hadoop@dn01
ssh-copy-id -i .ssh/id_rsa.pub hadoop@dn02
ssh-copy-id -i .ssh/id_rsa.pub hadoop@dn03

# 비밀번호 입력 여부 없이 접속 확인
ssh nn01
exit

ssh rm01
exit

ssh jn01
exit

ssh dn01
exit

ssh dn02
exit

ssh dn03
exit

 

---

다음 포스팅에선 주키퍼(zookeeper)계정에 주키퍼를 설치하는 가이드를 작성하겠습니다.

감사합니다!!

developer-woong.tistory.com/20

(하둡 설치) ep07_주키퍼(zookeeper)설치 및 환경 설정