IT Log

시스템 요구사항 (System requirements) Java Java 9 이상 : 10.15.2.0 / 10.15.1.3 (Derby 버전) Java 8 이상 : 10.14.2.0 / 10.13.1.1 (Derby 버전) Java 6 이상 : 10.12.1.1 / 10.11.1.1 (Derby 버전) Derby Download cd /usr/local; \ wget http://apache.mirror.cdnetworks.com/db/derby/db-derby-10.14.2.0/db-derby-10.14.2.0-bin.tar.gz; \ tar xzvf db-derby-10.14.2.0-bin.tar.gz; \ rm -rf db-derby-10.14.2.0-bin.tar.gz; \ mv db-derby..

Hive 구성 : newly0513.tistory.com/147 요구사항 Java 1.8 이상 설치 : yum install -y java-1.8.0-openjdk-devel.x86_64 Hadoop Hadoop 구성 : newly0513.tistory.com/144 Hive Hive 구성 : newly0513.tistory.com/147 Connector/J 8.0.21 Local Metastore MySQL Community Server 8.0.21 RPM Download & Install wget http://repo.mysql.com/mysql80-community-release-el7-3.noarch.rpm; \ rpm -ivh mysql80-community-release-el7-3.noarc..

기본 구성 매개변수 (Basic Configuration Parameters) 구성 매개변수 설명 javax.jdo.option.ConnectionURL Metadta를 포함하는 데이터 저장소에 대한 JDBC 연결 문자열 javax.jdo.option.ConnectionDriverName Metadta를 포함하는 데이터 저장소의 JDBC 드라이버 클래스 이름 hive.metastore.uris Hive는 이러한 URI 중 하나에 연결하여 원격 Metastore에 대한 메타 데이터 요청을 수행합니다. (쉼표로 구분 된 URI 목록) hive.metastore.local 로컬 또는 원격 메타 스토어 (Hive 0.10부터 제거됨 : hive.metastore.uris가 비어있는 경우 로컬 모드, 그렇지 않으..

[이전 단계] Zookeeper 구성 (Standalone) : https://newly0513.tistory.com/146 [다음 단계] HBase 구성 (Standalone) : newly0513.tistory.com/149 요구사항 (Requirements) 지원되는 플랫폼 GNU/LINUX Solaris FreeBSD Windows Mac OS X 필수 소프트웨어 Java 1.8 이상 ( JDK 8 LTS, JDK 11 LTS, JDK 12-Java 9 및 10은 지원되지 않음 ) 최소 3대의 Zookeeper 서버 클러스터 모드 (Clustered Setup) 홀수 서버 사용 권장 유지보수 중 최대의 안정성을 위해 5개의 서버를 설치 Download 진행 노드 : master 위치 : /usr/..

[이전 단계] Hive 구성 : https://newly0513.tistory.com/147 [다음 단계] Zookeeper 구성 ( Multi-Server ) : https://newly0513.tistory.com/148 요구사항 (Requirements) 지원되는 플랫폼 GNU/LINUX Solaris FreeBSD Windows Mac OS X 필수 소프트웨어 Java 1.8 이상 ( JDK 8 LTS, JDK 11 LTS, JDK 12-Java 9 및 10은 지원되지 않음 ) 독립형 모드 ( Standalone ) Download 진행 노드 : master 위치 : /usr/local stable 버전을 다운로드 합니다. cd /usr/local; \ wget http://apache.mirro..

[이전 단계] Hadoop 완전 분산 모드(Fully-Distributed) : https://newly0513.tistory.com/144 [다음 단계] Zookeeper : https://newly0513.tistory.com/146 요구사항 (Requirements) Java Hive 1.2 이상인 경우 Java 1.7 이상 필요 Hive 0.14~1.1은 Java 1.6 이상 필요 Java 1.8 을 권장 Hadoop Hadoop 2.x 권장 Hadoop 1.x ( Hive 2.0.0 이상은 지원X ) 플랫폼 Linux Windows ( 사용하려면 약간 다른 단계 필요 ) Mac 설치 (Install) 진행 노드 : master 위치 : /usr/local cd /usr/local; \ wget ..

서버 시작 kafka-server-start.sh server.properties 각 노드(master, slave1, slave2)에서 /usr/local/kafka/config로 이동한 후에 위 코드를 실행하여 서버를 시작합니다. 문제없이 실행됬다면 화면에서 보는 것과 같이 [KafkaServer id=broker.id ] started 가 출력됩니다. (다른 위치에서 실행하신다면 kafka-server-start.sh /usr/local/kafka/config/server.properties를 입력합니다.) TOPIC 생성 및 설명 kafka-topics.sh --create --bootstrap-server master:9092 slave1:9092 slav2:9092 --replication-f..

Kafka 서버 시작 kafka-server-start.sh server.properties /usr/local/kafka/config에서 위 코드를 실행하면 화면과 같이 INFO가 쭉 뜨다가 마지막에 started이후 멈춥니다. 현재 서버를 시작한 터미널은 그대로 유지하고 새로운 터미널을 실행합니다. TOPIC 생성 kafka-topics.sh --create --bootstrap-server master:9092 --replication-factor 1 --partitions 1 --topic test kafka-topics.sh --list --bootstrap-server master:9092 화면과 같이 새로운 터미널을 실행하여 위 코드를 실행시킵니다. ( 혹시 오류가 뜬다면, source /e..