Tag
#하둡 설치#빅데이터#yarn#하둡 입문#하둡 HA#HDFS#Hadoop#MAPREDUCE#하둡#하둡 가이드#zookeeper#하둡 클러스터#하둡에코시스템#리눅스 환경 설정#하둡 환경 설정#하둡 구축#데이터 엔지니어#hive iceberg#kafka topic 설정#하둡 실행#주키퍼 설치#centos7 하둡#하둡 가상 서버#하둡 기초#Virtual Box#SSH#맵리듀스#분산처리#spark-submit spark-shell pyspark#spark local cluster 차이#spark client cluster 차이#spark shuffle#spark partition#spark foreach foreachbatch#spark rdd dataframe dataset 차이#spark 동작#spark 구성 요소#spark란#hadoop 동작#hadoop 아키텍처#hadoop 버전별 차이#hadoop 정리#hadoop 이란#hadoop namenode fuser#hadoop namenode failover#트리노 엘라스틱서치 배열 오브젝트 타입#trino elasticsearch array object#trino elasticsearch 연동#elasticsearch 사용법#엘라스틱 서치 메모리 로그 파일 경로 설정#elasticsearch vm.max_map_count#엘라스틱서치 메모리 로그 파일#엘라스틱서치 설정 파일#elasticsearch 노드 역할#elasticsearch 로그 경로 설정#elasticsearch 메모리 설정#centos7 엘라스틱서치 설치#centos7 yum base url#centos7 yum repo 변경#yum repo 변경#[errno 14] http error 404 - not found#could not retrieve mirrorlist http://mirrorlist.centos.org/?release=7&arch=x86_64&repo=os&infra=stock error was 14: curl#6 - "could not resolve host: mirrorlist.centos.org; unknown error"#centos7 yum 에러#centos7 eos#nifi primary node all nodes#nifi 큐 분배#nifi 로드밸런싱#nifi load balance strategy#nifi cluster mode#hive trino#hive iceberg trino#iceberg trino 연동#hive iceberg 트랜잭션#hive 3 iceberg update delete#iceberg transaction 설정#hive iceberg update delete#hive 4.0.0 iceberg#hive 3.1.3 iceberg#hive iceberg 연동#iceberg hive tez roaringbitmap 라이브러리#hive 4 iceberg delete#java.lang.nosuchmethoderror: org.roaringbitmap.arraycontainer.add(c)lorg/roaringbitmap/container#tez iceberg#hive update delete#hive 트랜잭션 설정#mapreduce job vcore over#org.apache.hadoop.yarn.util.resource.dominantresourcecalculator#yarn.scheduler.capacity.resource-calculator#yarn vcore 초과 할당#yarn vcore 설정#ranger yarn plugin 연동#ranger yarn#ranger hive 연동#ranger hive plugin#hadoop 3.3.5 ranger2.4.0#Caused by: java.lang.ClassNotFoundException: org.codehaus.jackson.jaxrs.JacksonJsonProvider#ranger hdfs 연동#ranger plugin#apache ranger 설치#ranger.usersync.sleeptimeinmillisbetweensynccycle#ranger usersync 주기 설정#ranger 2.4.0#ranger-usersync 설치#Failed to execute goal org.apache.maven.plugins:maven-assembly-plugin:2.6:single (default) on project ranger-distro: Failed to create assembly#ranger 빌드 에러#ranger-admin설치#ranger 2.4.0 설치#apache ragner build#linux ranger build#ranger maven#centos7 ranger 빌드#apache ranger 빌드#yum install -y npm epel-release#yum install npm Error: Nothing to do#yum install npm No package npm available.#centos7 yum install npm#linux yum install npm#solr java heap 설정#solr cloud java 메모리설정#solr 메모리설정#solr znode#solr 실행#solr cloud 설치#solr 8.11.2 설치#centos7 solr 설치#트리노 카탈로그#trino hive#trino catalog 설정#trino hive 연동#trino cli#centos7 trino설치#trino 설치#zeppelin hive interpreter setting 환경 설정#zeppelin hive 연동#centos7 zeppelin 설치#zeppelin 비밀번호 설정#zeppelin 실행#zeppelin 포트#zeppelin 0.10.1 설치#zeppelin 설치#yarn.nodemanager.log.retain-seconds#spark yarn contanier log#yarn job 컨테이너 로그 삭제 주기#spark yarn log 삭제 주기#yarn log 설정#WARN [RS-EventLoopGroup-1-3] concurrent.DefaultPromise: An exception was thrown by org.apache.hadoop.hbase.io.asyncfs.FanOutOneBlockAsyncDFSOutputHelper$4.operationComplete() java.lang.IllegalArgumentException: object is not an instance of declaring clas#concurrent.DefaultPromise: An exception was thrown by org.apache.hadoop.hbase.io.asyncfs.FanOutOneBlockAsyncDFSOutputHelper$4.operationComplete() java.lang.IllegalArgumentException: object is not an instance of declaring class#hbase hadoop 버전#apache hbase 2.3.7 빌드#hbase 빌드#nifi 웹 포트설정#nifi 포트변경#nifi 로그 설정#nifi log 변경#nifi log.dir#nifi 로그 경로#centos 스쿱 설치#centos sqoop 설치#스쿱 설치#Sqoop 설치#hive metastore's schema version is not#message:Hive Schema version 3.1.0 does not match metastore's schema version 1.2.0 Metastore is not upgraded or corrupt#hive MetaException#hive 메타스토어 버전 에러#kafka 포트 여러개사용#kafka PLAINTEXT SSL#kafka producer SSL 설정#kafka connector ssl 설정#kafka client ssl 설정#kafka SSL 설정#hive 컬럼 순서변경#hive 컬럼명변경#spark 데이터프레임 cache()#spark df 값 바뀜#ftp client java.lang.NullPointerException#ftp 반복 널포인터#ftp 파일 반복#ftp 파일 다운로드#IntelliJ) Typo: In word ''#spark Caused by: java.io.NotSerializableException#scala json 파싱 에러#scala json 모듈#scala json 파싱 오류#scala json 파싱#scala json#kafka topic 보존주기#kafka topic 메시지 삭제#kafka topic 보존기간 설정#kafka topic 삭제기간 설정#kafka topic 삭제주기 명령#kafka topic 메시지 보존기간 설정#kafka topic 삭제주기#spark kafka 실시간데이터#spark streaming ha 구성#pyspark structured streaming kafka#pyspark kafka#python PIL 설치#spark checkpoint location#pyspark structred streaming kafka topic#pyspark structred streaming#pyspark streaming#ERROR: No matching distribution found for cv2#python import cv#OSError: cannot write mode RGBA as JPEG#python 이미지저장#kafka spark structured streaming#gradle 라이브러리 빌드#gradle 라이브러리 패키징#gradle 외부 라이브러리 추가 패키징#gradle 외부라이브러리#gradle 기본 Manifest 속성이 없습니다#gradle libary추가#gradle 라이브러리 추가#gradle 한글 깨짐#gradle 한글#hive-3.1.3 tez-0.10.2#apache hive tez 연동#apache tez 사용#apache tez 설치#apache hive tez 엔진 교체#yarn-site.xml 튜닝#yarn vcore#yarn 메모리#yarn vcore설정#yarn 메모리설정#yarn 튜닝#hive metastore로그#hiveserver2 로그#hive실행#hive 로그 위치#yarn queue 설정#yarn capacity-scheduler.xml 설정#yarn timelineserver 설정#yarn timelineserver#apache tez-ui 빌드#apache tez 빌드 에러#centos tez build#apache tez build#tez 빌드#apache tez 빌드#hadoop hbase 설치#리눅스 hbase 설치#apache hbase 설치#centos hbase 설치#hadoop yarn 이중화#yarn resource manager fail over#kafka 동작#kafka 컨슈머#kafka 프로듀서#kafka topic 생성#centos kafka 설치#리눅스 카프카 설치#apache kafka 설치#spark 로그 삭제 주기#spark eventlog 삭제 주기#spark-submit 예제#spark word count 예제#centos spark 설치#apache spark 설치#나이파이 메모리설정#apache nifi memory configuration#나이파이 설정#리눅스 나이파이설치#centos nifi 설치#apache nifi 설치#리눅스 메이븐설치#centos maven 설치#리눅스 하이브설치#centos hive 설치#하이브 설치#apache hive 설치#postgresql ip 설정#postgresql 포트 설정#리눅스 포스트그레 콘솔 진입 에러#centos postgresql psql error#리눅스 postgresql 설치#centos postgresql 설치#리눅스 zookeeper#org.apache.zookeeperserver.quorum.QuorumPeerMain#zookeeper error#centos zookeeper#리눅스 주키퍼설치#centos zookeeper 설치#centos java 환경변수#리눅스 java 환경변수#리눅스 ntp설정#centos ntp설정#hadoop 설정#linux hadoop 설치#centos hadoop 설치#리눅스 파이썬 버전 변경#centos python 버전 변경#centos 가상머신#리눅스 vm 설치#centos vm 설치#리눅스 파일 권한 퍼미션#centos 권한 퍼미션#리눅스 명령어정리#centos 명령어정리#리눅스 고정 ip 설정#centos 고정 ip 설정#리눅스 호스트네임#centos 호스트네임등록#centos 계정 생성#centos ssh port change#centos ssh 포트변경#ssh 포트변경#리눅스 ssh 포트#리눅스 타임존 변경#리눅스 방화벽해제#centos7 방화벽 해제#centos7 타임존변경#centos7 selinux#linux selinux disable#리눅스 selinux 비활성화#hadoop eco system version#하둡 에코 버전#하둡 에코#hadoop eco#ssh 포트 변경#ssh 키 교환#리눅스 가상머신#kafka 설치#빅데이터 하둡#하둡 ha 클러스터#hadoop yarn zookeeper#하둡 맵리듀스 예제#하둡 HDFS#하둡 워드카운트 예제#hadoop start#하둡 종료#하둡 환경설정#nodemanager resourcemanager#zookeeper 실행#yarn 실행#하둡 클러스터 구축#하둡 환경변수#리눅스 하둡#centos7 리눅스 주키퍼#하둡 주키퍼 연동#하둡 주키퍼#centOS7 파일 배포#리눅스 파일 배포#리눅스 scp#주키퍼 환경 설정#주키퍼 서버 실행#하둡 권한#하둡 설정#centos7 ssh#centos7 hadoop#주키퍼 ssh#하둡 ssh#mobaxterm ssh#sftp 사용#ssh 원격 접속#mobaxterm 사용법#java jdk 환경 변수#virtual box 고정 ip 할당#virtual box 네트워크#centos 7 하둡 설치#리눅스 방화벽 해제#centos7 hostname#가상 네트워크 어댑터#주키퍼 구조#yarn 구조#HDFS HA#태스크트래커#잡트래커#node manager#더그 커팅#elasticsearch 설치#anaconda python jupyter#image DeepRunning 이미지 딥러닝#MaskRCNN#elasticsearch.yml#mobaXterm#core-site.xml#하둡 에코시스템#기본 Manifest 속성이 없습니다#pyspark#resource manager#분산 처리#ZKFC#Apache hive#FTP Client#리눅스 jdk#주키퍼#/etc/hosts#ssh-copy-id#CentOS7#고가용성#리눅스 SSH#hadoop 설치#리눅스 계정 생성#ssh-keygen#리눅스 계정생성#환경구축#selinux#ntp#Hbase#opencv#가상 머신#얀