Apache Kafka 설치

 centos7 기준입니다.

실행 유저는 hadoop, 버전은 2.8.2로 설치할 것이며, mast01,02,03 3대의 서버에 cluster mode로 설치할 예정입니다.

zookeeper가 설치되어있음을 가정하고,

mast01,02,03서버에 zookeeper가 설치되어있습니다.

 

https://developer-woong.tistory.com/39

Zookeeper 설치

 

1. Kafka 압축 파일 다운로드 및 해제

action server: mast01, mast02, mast03

user: root

pwd: -

cmd:

cd /opt/apps/

wget https://archive.apache.org/dist/kafka/2.8.2/kafka_2.13-2.8.2.tgz

tar xvfz kafka_2.13-2.8.2.tgz

mv kafka_2.13-2.8.2/ kafka-2.8.2

cd /opt/apps/kafka-2.8.2/config

 

2. Kafka 설정파일 수정 

action server: mast01, mast02, mast03

user: root

pwd: -

cmd:

# mast01 서버
vi server.properties

broker.id=1 

# 주석 해제
listeners=PLAINTEXT://:9092

# 각 서버의 hostname으로 작성
advertised.listeners=PLAINTEXT://mast01:9092

# kafka 데이터가 저장되는 경로 
log.dirs=/data/kafka

zookeeper.connect=mast01:2181,mast02:2181,mast03:2181/kafka

# mast02 서버
vi server.properties

broker.id=2 

# 주석 해제
listeners=PLAINTEXT://:9092

# 각 서버의 hostname으로 작성
advertised.listeners=PLAINTEXT://mast02:9092

# kafka 데이터가 저장되는 경로 
log.dirs=/data/kafka

zookeeper.connect=mast01:2181,mast02:2181,mast03:2181/kafka

# mast03 서버
vi server.properties

broker.id=3

# 주석 해제
listeners=PLAINTEXT://:9092

# 각 서버의 hostname으로 작성
advertised.listeners=PLAINTEXT://mast03:9092

# kafka 데이터가 저장되는 경로 
log.dirs=/data/kafka

zookeeper.connect=mast01:2181,mast02:2181,mast03:2181/kafka

cd ../..

 

3. Kafka 폴터 권한 부여 및 기동

action server: mast01, mast02, mast03

user: root

pwd: /opt/apps/kafka-2.8.2

cmd:

chown -R hadoop:hadoop /opt/apps/kafka-2.8.2

su - hadoop
cd /opt/apps/kafka-2.8.2

# Kafka 기동(백그라운드 실행)
./bin/kafka-server-start.sh -daemon ./config/server.properties &

netstat -ntlp | grep 9092

 

결과확인

 

다음 포스팅에서 설치한 카프카 클러스터가 정상 동작하는지 간단한 테스트를 진행해보도록 하겠습니다.

https://developer-woong.tistory.com/53

Kafka topic producer consumer 테스트