* 본 가이드는 필요 파일과 이전 포스팅까지 작업이 완료되었다는 가정하에 진행

 

주요 스펙

호스트OS - windows10 home

게스트OS들 - centOS7

Hadoop - 3.1.0

Zookeeper - 3.4.10

jdk - 1.8.0_191

호스트OS는 공유기(WI-FI) 연결 환경

 

서버 6대를 활용한 하둡 HA 구성:

nn01: 액티브 네임노드, 저널노드 역할

rm01: 스탠바이 네임노드, 리소스 매니저, 저널노드 역할

jn01: 저널노드 역할

dn01: 데이터 노드 역할

dn02: 데이터 노드 역할

dn03: 데이터 노드 역할

 

실행 환경:

Action Server: 명령을 수행할 서버(hostname)

User: 명령을 수행할 계정

Pwd: 명령을 수행할 경로


 

 

필요 파일:

developer-woong.tistory.com/13

 

(하둡 설치) ep00_필요 파일 준비 과정

서버 6대를 활용하여 하둡 고가용성(HA)모드로 클러스터를 구축한다. 하둡이란? developer-woong.tistory.com/7 (하둡 기초) ep02_하둡에코시스템(Hadoop EcoSystem) 하둡의 역사에 대해 궁금하다면?! developer-w..

developer-woong.tistory.com

이전 포스팅:

developer-woong.tistory.com/15

 

(하둡 설치) ep02_가상 머신 서버 실행

앞선 포스팅을 통해 필요한 파일들과 환경이 구축되어있음을 가정! 하둡이란?: developer-woong.tistory.com/7 (하둡 기초) ep02_하둡에코시스템(Hadoop EcoSystem) 하둡의 역사에 대해 궁금하다면?! developer-wo..

developer-woong.tistory.com

 

 

* 모든 서버(nn01, rm01, jn01, dn01, dn02, dn03)에 대부분 비슷한 과정을 거치되,

약간의 설정 차이(고정ip할당 등)가 있으니 각 챕터별 실행 경로 및 계정 확인!

6대의 서버를 모두 실행 중 상태로 변경 후 작업하면 편함!

앞 선 포스팅들에서도 언급했지만, 한 서버에 모든 설정을 끝내고 복제하는 방식도 있을 수 있다.

하지만 본 가이드에서는 하둡 설정에 관해 몸에 익히기 위해 복제를 하지않고 직접 모든 서버를 설정한다.

 


각 서버 실행 후 hostname 설정

Action Server: all

User: root

Pwd: /root

# hostnamectl set-hostname [서버이름] - 모든 서버에서 명령 실행

# nn01
hostname set-hostname nn01

# rm01
hostname set-hostname rm01

# jn01
hostname set-hostname jn01

# dn01
hostname set-hostname dn01

# dn02
hostname set-hostname dn02

# dn03
hostname set-hostname dn03

 


/etc/hosts 수정

Action Server: all

User: root

Pwd: /root

vi /etc/hosts

192.168.56.100 nn01
192.168.56.101 rm01
192.168.56.102 jn01
192.168.56.103 dn01
192.168.56.104 dn02
192.168.56.105 dn03

* 여기서 잠깐! (각 서버의 IP가 192.168.56.---인 이유)

필자의 환경은 아래와 같은 IP주소로 후에 진행될 고정IP설정 시 호스트OS의 네트워크 대역 범위 내에서 게스트OS의 IP를 설정할 수 있다. 앞선 포스팅 과정에 이에 관련된 내용이 있고 가상 머신의 호스트 네트워크 관리자 설정이 안되어있다면 아래 포스팅을 참고하길 바랍니다.

 

developer-woong.tistory.com/14

 

(하둡 설치) ep01_가상머신 서버 생성 (Virtual Machine)

* 들어가기에 앞서 필요 파일들이 모두 설치되어있다는 가정하에 시작! 아래 링크 참조! 필자의 호스트OS는 windows10 home이다. 공유기(WI-FI)에 인터넷 연결이 되어있음을 가정 서버 6대: nn01: 액티브

developer-woong.tistory.com

윈도우 탐색기 – cmd – ipconfig 입력 – VirtualBox Host-Only Network 주소 확인

 

 


고정 IP 할당

ip addr show 명령을 실행하면 enp0s3, enp0s8이 나타난다. 

이는 네트워크 어댑터들로서, 앞 선 포스팅과 같은 과정을 거쳤다면,

enp0s3은 기본으로 설정되는 NAT, enp0s8은 추가 설정해준 호스트 전용 네트워크이다.

앞 선 포스팅에 나오듯 서버 최초 실행 시 enp0s3(NAT) 네트워크 어댑터의 스위치를 ON으로 설정하였고(더 이상 설정할 것 X), enp0s8(호스트 전용 네트워크)를 수정하여 고정 IP를 할당할 것이다.

* 앞 선 과정을 거치지 않았다면 글 상단 링크를 통해 구축 후 진행 바랍니다!

 

Action Server: all

User: root

Pwd: /root

 

# 모든 서버에서 실행, 대부분의 수정내역은 비슷하되, 각 서버 당 IPADDR만 다르게!!

# enp0s3의 onboot가 yes 인 것만 확인, no라면 yes로 수정, 다른 것은 수정 X
cat /etc/sysconfig/network-scripts/ifcfg-enp0s3

# enp0s8 내용 수정
vi /etc/sysconfig/network-scripts/ifcfg-enp0s8

 


enp0s3 (ONBOOT=yes 확인)


enp0s8 수정

(네모 박스친 부분만 수정 및 추가, GATEWAY는 호스트OS(WINDOWS10)의 VirtualBox Host-Only Network 주소,

각 서버 별로 IPADDR만 다르게 수정)

VirtualBox Host-Only Network 주소 확인: 윈도우 탐색기 - cmd - ipconfig (위에 나와 있음!)

nn01: 192.168.56.100

rm01: 192.168.56.101

jn01: 192.168.56.102

dn01: 192.168.56.103

dn02: 192.168.56.104

dn03: 192.168.56.105


재부팅 후 테스트

Action Server: all

User: root

Pwd: /root

# 네트워크 재시작
systemctl restart network

# 서버 재시작
reboot

# hostname 확인
hostname

# 각 서버의 IP확인
ip addr show

# 외부 인터넷 접속 확인
ping -c 2 google.com

 

 


 

위 과정까지 문제없이 완료되었다면 각각의 게스트OS들은 외부 인터넷과 호스트OS를 통해 접속이 가능해졌다.

다음 포스팅에서는 게스트OS간 통신을 위한 설정(SSH, NTP, SELINUX, 방화벽 해제)을 진행할 것이다.

 

감사합니다!!

 

developer-woong.tistory.com/17

 

(하둡 설치) ep04_게스트OS간 통신(SELINUX, SSH, NTP, 방화벽)

* 본 가이드는 필요 파일과 이전 포스팅까지 작업이 완료되었다는 가정하에 진행 주요 스펙 호스트OS - windows10 home 게스트OS들 - centOS7 Hadoop - 3.1.0 Zookeeper - 3.4.10 jdk - 1.8.0_191 공유기(WI-FI)..

developer-woong.tistory.com

 

반응형

+ Recent posts