각 솔루션별 버전 호환표를 기록하기위해 글을 작성합니다.
개인적으로 테스트할 환경이며, 이슈있을 시 계속 업데이트할 예정입니다.
조언 및 충고는 언제나 감사합니다.
아래는 각 솔루션별 표입니다.
| 솔루션 | 버전 |
| hadoop | 3.3.5 |
| spark | 3.2.3 |
| hive | 3.1.3 |
| tez | 0.10.2 |
| solr | 8.11.2 |
| ranger | 2.4.0 |
| atlas | 2.3.0 |
| hbase | 2.3.7 |
| zookeeper | 3.5.10 |
| trino | 435 |
| sqoop | 1.4.7 |
| zeppelin | 0.10.1 |
| oozie | 5.2.1 |
| nifi | 1.12.0 |
| hue | 4.2.0 |
| kafka | 2.8.2 |
hadoop 설치
https://developer-woong.tistory.com/36
hadoop 설치 (정리모음버전)
centos7 기준입니다. 6대의 서버가 준비되어있고, ntp설정, ip설정 및 호스트네임 등록, jdk 설정, zookeeper 설치가 완료됨을 가정합니다. https://developer-woong.tistory.com/37 centos linux ntp enable centos7 기준입니
developer-woong.tistory.com
spark 설치
https://developer-woong.tistory.com/49
Apache Spark 설치
centos7 기준입니다. 호스트명이 mast01인 서버에 설치할 예정이고, 실행은 hadoop 유저, 히스토리서버 역시 mast01서버에 띄우도록 하겠습니다. mast01: master work01~03: worker hadoop이 설치되어있음을 가정합
developer-woong.tistory.com
hive 설치
https://developer-woong.tistory.com/44
Apache Hive 설치
centos7 기준입니다. PostgreSQL, hadoop이 설치됨을 가정합니다. 서버는 호스트네임기준 mast02서버에 설치할 예정이고, PostgreSQL 역시 mast02서버에 설치됨을 가정합니다. hive폴더는 hadoop 유저권한, hive met
developer-woong.tistory.com
tez 설치
https://developer-woong.tistory.com/60
apache hive 엔진 tez 교체
centos7 기준입니다. mast02서버에 hive가 실행중이고, tez 빌드가 마무리되었음을 가정합니다. 본 포스팅 기준으로는 tez빌드 파일 역시 mast02서버에 존재합니다. 조언과 충고 감사합니다. https://develope
developer-woong.tistory.com
solr 설치
https://developer-woong.tistory.com/92
solr) Solr 8.11.2 설치
centos7 기준입니다. zookeeper가 설치되었음을 가정합니다. (mast01,mast02,mast03) https://developer-woong.tistory.com/39 Zookeeper 설치 centos7 기준입니다. mast01~03 3대의 서버에 주키퍼를 설치하겠습니다. 계정은 hado
developer-woong.tistory.com
ranger 설치
https://developer-woong.tistory.com/100
ranger 설치, 플러그인 연동 링크 모음
ranger 설치 링크 모음입니다. ranger 빌드 https://developer-woong.tistory.com/95 ranger) Apache Ranger 2.4.0 빌드 centos7 기준입니다. 호스트명이 mast02인 서버에서 진행하였습니다. ranger 설치 전 환경에 맞게 우선
developer-woong.tistory.com
atlas 설치
- 포스팅예정
hbase 설치
https://developer-woong.tistory.com/54
Apache Hbase 설치
centos7 기준입니다. 백업 마스터 2대를 둔 hbase cluster를 설치하도록 하겠습니다. hadoop, zookeeper가 설치되어있음을 가정합니다. 실행 유저:hadoop mast01: hbase master mast02: hbase master mast03: hbase master work01:r
developer-woong.tistory.com
zookeeper 설치
https://developer-woong.tistory.com/39
Zookeeper 설치
centos7 기준입니다. mast01~03 3대의 서버에 주키퍼를 설치하겠습니다. 계정은 hadoop입니다. 1. 압축 파일 다운로드 및 해제 action server: mast01, mast02, mast03 user: root pwd: /opt/apps/ cmd: wget https://archive.apache.o
developer-woong.tistory.com
trino 설치
https://developer-woong.tistory.com/90
Trino) Trino 435 설치
centos7 기준입니다. coordinator는 mast01, worker는 work01,02,03 서버 환경으로 설치하겠습니다. 1. openJDK17 설치, Python 버전 설정 action server: mast01, work01, work02, work03 user: root pwd: /opt/apps/ cmd: # 파일다운로드 w
developer-woong.tistory.com
sqoop 설치
https://developer-woong.tistory.com/82
Sqoop) Sqoop 1.4.7 설치
centos7 기준입니다. 호스트명이 mast01인 서버에서 설치를 진행하였습니다. 실행권한은 hadoop 유저이며, java 환경변수 등록, hadoop, hive, zookeeper, hbase가 설치되어있음을 가정합니다. 1. Sqoop 설치 파일
developer-woong.tistory.com
zeppelin 설치
https://developer-woong.tistory.com/88
zeppelin) Zeppelin 0.10. 설치
centos7 기준입니다. 호스트명이 mast01인 서버에서 설치진행하였습니다. 실행 유저는 hadoop 입니다. 1. zeppelin 설치 파일 압축 해제 및 권한 설정 action server: mast01 user: root pwd: - cmd: # 경로 이동 cd /opt/a
developer-woong.tistory.com
oozie 설치
- 포스팅예정
nifi 설치
https://developer-woong.tistory.com/47
Apache NiFi 설치
centos7 기준입니다. 호스트명이 mast03인 서버에 NiFi - 1.12.0 standalone모드로 설치하도록 하겠습니다. 실행권한은 hadoop유저이며, java 환경변수가 설정되어있음을 가정합니다. https://developer-woong.tistory.
developer-woong.tistory.com
hue 설치
- 포스팅예정
kafka 설치
https://developer-woong.tistory.com/52
Apache Kafka 설치
centos7 기준입니다. 실행 유저는 hadoop, 버전은 2.8.2로 설치할 것이며, mast01,02,03 3대의 서버에 cluster mode로 설치할 예정입니다. zookeeper가 설치되어있음을 가정하고, mast01,02,03서버에 zookeeper가 설치
developer-woong.tistory.com