(하둡 설치) ep01_가상머신 서버 생성 (Virtual Machine, 네트워크 어댑터 설정)

* 본 가이드는 필요 파일과 이전 포스팅까지 작업이 완료되었다는 가정하에 진행

 

주요 스펙

호스트OS - windows10 home

게스트OS들 - centOS7

Hadoop - 3.1.0

Zookeeper - 3.4.10

jdk - 1.8.0_191

호스트OS는 공유기(WI-FI) 연결 환경

 

서버 6대를 활용한 하둡 HA 구성:

nn01: 액티브 네임노드, 저널노드 역할

rm01: 스탠바이 네임노드, 리소스 매니저, 저널노드 역할

jn01: 저널노드 역할

dn01: 데이터 노드 역할

dn02: 데이터 노드 역할

dn03: 데이터 노드 역할

---

 

 

위 서버들을 활용해 하둡 고가용성(HA) 클러스터를 구축할 것이며,

기본 지식을 습득한 후 설치 과정을 거친다면 이해에 큰 도움이 된다.

 

하둡이란?:

developer-woong.tistory.com/7

(하둡 기초) ep02_하둡에코시스템(Hadoop EcoSystem)

 

필요 파일 준비:

developer-woong.tistory.com/13

(하둡 설치) ep00_필요 파일 준비 과정

하둡 고가용성(HA:High Availability)이란?

developer-woong.tistory.com/12

(하둡 기초) ep07_하둡 고가용성(HA:High Availability)이란?

---

 

가상 머신(Virtual Machine, VM)이란?:

물리적 하드웨어 시스템에 구축되어 자체 CPU, 메모리, 네트워크 인터페이스 및 스토리지를 갖추고 가상 컴퓨터 시스템으로 작동하는 가상환경이다.

자신의 로컬PC위에 마치 여러 컴퓨터를 더 생성하는 것과 같으며,

하둡은 기본적으로 분산처리이기 때문에 여러 컴퓨터를 통해 구축이 되고,

실제로 테스트 해보기 위해 많은 컴퓨터들을 개인적으로 실제 구축하기에 힘든 점을

이 가상머신을 통해 보완하고 실제와 같은 환경으로 테스트 해 볼 수 있다.

[참조]www.redhat.com/ko/topics/virtualization/what-is-a-virtual-machine

윈도우 탐색기 – cmd – ipconfig 입력 – VirtualBox Host-Only Network 주소 확인

(아래 Virtual Machine 내 호스트 네트워크 관리자 설정에 필요)

 

 

---

가상 머신(Virtual Box) 실행 및 호스트 네트워크 관리자 설정

 

---

IPv4 주소에 위 명령 프롬포트 창의 VirtualBox Host-Only Network 주소를 입력

다음과 같이 설정

---

가상 서버 생성

(이름 설정에 ‘cent’를 입력하면 자동으로 리눅스 계열로 설정된다, 후 원하는 서버 이름 입력)

 

---

메모리 크기 설정

---

 

아래와 같이 체크 확인 후 다음

 

---

아래와 같이 체크 확인 후 다음

 

---

 

아래와 같이 체크 확인 후 다음

 

---

아래와 같이 체크 확인 후 다음

---

 

아래 순서에 따라 클릭

(서버 이름(nn01)옆 네모 박스는 회사 업무 중 복구를 위한 스냅샷, 본 가이드와는 무관하여 가림 처리, 초기 설치 시 없어도 그대로 진행) 

---

다운로드 받았던 디스크 이미지 파일 등록

---

 

후 네트워크 클릭 - 어댑터1에 디폴트로 NAT 어댑터가 등록되어있음을 확인

 

---

어댑터 2를 새로 추가 - 아래와 같이 설정

 

---

 

여기서 잠깐!!

Virtual box 네트워크 어댑터 설정 방법:

가상 서버를 생성하였을 때, 기본적으로 어댑터 1에는 NAT 어댑터가 등록된다.

NAT 어댑터는 게스트 OS(새로 생성한 가상서버)가 호스트OS(로컬PC의 운영체제 여기서는 WINDOWS 10)의 IP를 통해 외부 인터넷에 연결해주는 가장 간단한 방법이다. 외부 인터넷과의 연결을 통해 wget등의 명령어로 필요한 모듈들을 설치한다. 하지만 게스트OS간의 통신이 불가하다.

 

호스트 전용 어댑터는 외부 인터넷과는 단절되어 있지만 구축한 게스트OS간의 통신이 가능하다.

 

이 두 어댑터를 사용하여 서로의 단점을 보완, 게스트->외부 인터넷, 게스트 -> 게스트 통신이 가능하다.

하둡은 분산 처리 시스템이기 때문에 각 게스트OS간의 통신이 원활이 이루어져야 한다.

[참조] https://technote.kr/213

VirtualBox, 가상 네트워크 설정하기

위와 같은 과정으로 rm01, jn01, dn01, dn02, dn03의 서버를 생성한다

jdk, selinux, 방화벽등의 설정들을 초기 생성한 nn01에 먼저 설정 후에 복제하는 방법도 있지만,

필자는 하둡 구축에 대해 공부해나가는 단계였기에 일일이 모든 서버에 설정을 해주며 이해를 해나갔다.

솔직히 복제했을 때 uuid가 같다는 등... 이런 부분이 뭔가 나중에 오류가 있을까라는 생각(안 날수도 있고, 다른 복제 방법이 있을 수 있지만..)과 직접 여러 과정을 반복하며 익숙해지기 위함도 있다.

 

---

완성된 6개의 서버

(* 서버 이름 옆 네모 박스는 회사 업무 중 복구를 위한 스냅샷,

본 가이드와는 무관하므로 가림 처리.)

 

*스냅샷: 가상 서버를 활용해 작업을 할 시, 어떠한 오류로 인해 서버 자체가 다운되는 등의 심각한 오류가 발생할 수 있는데, 특정 지점을 스냅샷으로 저장해두면 오류가 나더라도 지정한 스냅샷으로 서버가 복구된다.

 

하둡을 구축하는 과정은 환경 설정이 매우 많고 오류 추적이 꽤 힘드므로 각 설정마다 스냅샷을 저장해두는 습관 중요!

---

 

다음 포스팅에서 이어가겠습니다!

감사합니다!!

developer-woong.tistory.com/15

(하둡 설치) ep02_가상 머신 서버 실행