* 본 가이드는 필요 파일과 이전 포스팅까지 작업이 완료되었다는 가정하에 진행

 

주요 스펙

호스트OS - windows10 home

게스트OS들 - centOS7

Hadoop - 3.1.0

Zookeeper - 3.4.10

jdk - 1.8.0_191

호스트OS는 공유기(WI-FI) 연결 환경

 

서버 6대를 활용한 하둡 HA 구성:

nn01: 액티브 네임노드, 저널노드 역할

rm01: 스탠바이 네임노드, 리소스 매니저, 저널노드 역할

jn01: 저널노드 역할

dn01: 데이터 노드 역할

dn02: 데이터 노드 역할

dn03: 데이터 노드 역할

 


 

 

하둡이란?:

developer-woong.tistory.com/7

 

(하둡 기초) ep02_하둡에코시스템(Hadoop EcoSystem)

하둡의 역사에 대해 궁금하다면?! developer-woong.tistory.com/6 (하둡완벽설치!) ep01_하둡(Hadoop)의 역사, 등장 배경 데이터 시대 2013, 2014년 기준으로 뉴욕증권거래소에서는 하루 4.5테라바이트의 데이터

developer-woong.tistory.com

필요 파일 준비:

developer-woong.tistory.com/13

 

(하둡 설치) ep00_필요 파일 준비 과정

서버 6대를 활용하여 하둡 고가용성(HA)모드로 클러스터를 구축한다. 하둡이란? developer-woong.tistory.com/7 (하둡 기초) ep02_하둡에코시스템(Hadoop EcoSystem) 하둡의 역사에 대해 궁금하다면?! developer-w..

developer-woong.tistory.com

 

가상 머신 서버 생성:

developer-woong.tistory.com/14

 

(하둡 설치) ep01_가상머신 서버 생성 (Virtual Machine)

* 들어가기에 앞서 필요 파일들이 모두 설치되어있다는 가정하에 시작! 아래 링크 참조! 필자의 호스트OS는 windows10 home이다. 공유기(WI-FI)에 인터넷 연결이 되어있음을 가정 서버 6대: nn01: 액티브

developer-woong.tistory.com

ep01을 통해 가상 서버 6대(nn01, rm01, jn01, dn01, dn02, dn03)을 구축하였고,

본 포스팅에서는 서버 실행과 동시에 기본 설정을 진행한다.

 

먼저 구축한 nn01을 예제로 설정을 진행할 것이고

다른 5대의 서버들도 같은 과정을 거친다.

 


 

nn01 서버 시작

 

서버 이름 옆 네모 박스는 회사 업무 중 복구를 위한 스냅샷으로 본 가이드와는 무관하므로 가림.

 

*스냅샷: 가상 서버를 활용해 작업을 할 시, 어떠한 오류로 인해 서버 자체가 다운되는 등의 심각한 오류가 발생할 수 있는데, 특정 지점을 스냅샷으로 저장해두면 오류가 나더라도 지정한 스냅샷으로 서버가 복구된다.

 

하둡을 구축하는 과정은 환경 설정이 매우 많고 오류 추적이 꽤 힘드므로 각 설정마다 스냅샷을 저장해두는 습관 중요!


 

시작

 


Install CentOS7 Enter

 


좌측 상단 파일 - 환경 설정 - 입력 - 호스트 키 조합 설정(게스트 OS에서 호스트OS로 빠져나올 때 혹은 반대)

 


언어 설정(본 가이드는 디폴트) - Countinue

 


INSTALLATION DESTINATION 클릭

 


별다른 클릭 없이 Done 클릭 (* 경고 표시가 사라짐, 이 과정을 거치지 않아도 자동으로 설정됨)


 

NETWORK & HOST NAME 클릭


enp0s3 이더넷 스위치 ON 클릭 후 Done (* enp0s8은 건드리지 않는다 – 서버 실행 후 설정할 예정)

 


Begin Installation 클릭

 


 

설치가 진행된다. ROOT PASSWORD 클릭

 


비밀번호 설정 후 Done (* 비밀번호가 권장하는 형식이 아니어도 Done을 두 번 클릭하면 설정되어 넘어간다.)

 


Reboot 클릭

 


Enter

 


root - 비밀번호 입력 - 접속 확인

 


위와 같은 과정을 다른 서버 5대(rm01, jn01, dn01, dn02, dn03)에도 똑같이 해준다.

앞 포스팅에서 언급했듯이 복제하는 방법도 있겠지만, 초기 설치에는 여러 환경 설정을 반복하여

몸에 익혀가는게 중요하다.

 

글이 길어지는 것 같아 다음 포스팅에서 더 이어가겠습니다!

감사합니다!!

developer-woong.tistory.com/16

 

(하둡 설치) ep03_가상 머신 서버 환경 설정(hostname, 고정 ip 할당)

* 본 가이드는 필요 파일과 이전 포스팅까지 작업이 완료되었다는 가정하에 진행 필요 파일: developer-woong.tistory.com/13 (하둡 설치) ep00_필요 파일 준비 과정 서버 6대를 활용하여 하둡 고가용성(HA)

developer-woong.tistory.com

 

반응형

+ Recent posts