IT Log

Kafka 서버 시작 kafka-server-start.sh server.properties /usr/local/kafka/config에서 위 코드를 실행하면 화면과 같이 INFO가 쭉 뜨다가 마지막에 started이후 멈춥니다. 현재 서버를 시작한 터미널은 그대로 유지하고 새로운 터미널을 실행합니다. TOPIC 생성 kafka-topics.sh --create --bootstrap-server master:9092 --replication-factor 1 --partitions 1 --topic test kafka-topics.sh --list --bootstrap-server master:9092 화면과 같이 새로운 터미널을 실행하여 위 코드를 실행시킵니다. ( 혹시 오류가 뜬다면, source /e..

요구사항 Kafka 설치 환경변수 설정 Kafka 파일 설정 Kafka 서버 시작 TOPIC 생성 메세지 보내기 producer & consumer 시작 Text 입력 Cluster 구성 Kafka 배포 server.properties 서버 시작 TOPIC 생성 및 설명 Producer & Consumer 메세지 보내기 및 확인 요구사항 zookeeper Kafka 설치 wget http://apache.mirror.cdnetworks.com/kafka/2.2.1/kafka_2.12-2.2.1.tgz tar xzvf kafka_2.12-2.2.1.tgz mv kafka_2.12-2.2.1 kafka /usr/local로 이동합니다. 위 코드를 실행하여 Kafka를 설치합니다. 환경변수 설정 export ..

요구사항 선택사항 Pig 설치 환경변수 설정 Pig 실행 요구사항 Hadoop 2.x 이상 Java 1.7 이상 선택사항 Python 2.7 이상 (python UDF 스트리밍 사용할 때) Ant 1.8 이상 (빌드하기 위해서) Pig 설치 wget http://apache.mirror.cdnetworks.com/pig/pig-0.17.0/pig-0.17.0.tar.gz tar xzvf pig-0.17.0.tar.gz /usr/local로 이동하여 코드를 실행합니다. 환경변수 설정 export JAVA_HOME=/usr/local/jdk1.8.0_211 export HADOOP_HOME=/usr/local/hadoop-2.9.2 export MAVEN_HOME=/usr/local/maven export ..

요구사항 Spark 설치 환경변수 설정 Standalone Spark 배포 Slaves 웹 UI 확인 Spark Shell 요구사항 Java 1.8 이상 Hadoop 2.7.x 이상 Spark 설치 wget http://apache.mirror.cdnetworks.com/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz tar xzvf spark-2.4.3-bin-hadoop2.7.tgz mv spark-2.4.3-bin-hadoop2.7 spark 위 코드를 실행하여 Spark를 설치하고 폴더명을 간단하게 수정합니다. 환경변수 설정 export JAVA_HOME=/usr/local/jdk1.8.0_211 export HADOOP_HOME=/usr/local/hadoo..

요구사항 Download Install 환경변수 설정 실행 요구사항 Maven 3.3 이상에서는 JDK 1.7 이상 최소 500MB의 여유공간 Download wget http://apache.mirror.cdnetworks.com/maven/maven-3/3.6.1/binaries/apache-maven-3.6.1-bin.tar.gz tar xzvf apache-maven-3.6.1-bin.tar.gz mv apache-maven-3.6.1 maven master노드에서 위 코드를 실행하여 Download 합니다. 압축해제한 후 폴더명을 간단하게 수정합니다. (폴더명 변경은 안하셔도 상관없습니다.) 환경변수 설정 export JAVA_HOME=/usr/local/jdk1.8.0_211 export HA..

방화벽 해제 systemctl stop firewalld systemctl disable firewalld 모든 노드에서 방화벽을 해제합니다. Hadoop 시작&종료시작 시작 hdfs namenode -format start-all.sh master노드에서 hdfs namenode -format 명령을 실행하고 start-all.sh로 Hadoop을 시작합니다.master노드에서는 SecondaryNameNode, NameNode, ResourceManager, jps가 실행되고 slave노드들에서는 DataNode, NodeManager, jps가 실행됩니다. 종료 stop-all.sh master노드에서 stop-all.sh를 입력하면 종료되고 jps를 입력하여 확인해 봅니다. 웹 인터페이스 mast..

core-site.xml fs.defaultFS hdfs://master:9000 모든노드에서 core-site.xml을 들어가서 configuration부분을 다음과 같이 수정합니다. hdfs-site.xml # master node dfs.namenode.name.dir file:/usr/local/hadoop-2.9.2/namenode # slave1, slave2, slave3 node dfs.datanode.data.dir file:/usr/local/hadoop-2.9.2/datanode master노드와 slave노드들에 알맞게 hdfs-site.xml을 들어가서 configuration부분을 다음과 같이 수정합니다. yarn-site.xml yarn.nodemanager.aux-servic..

hosts hosts파일을 설정하기 위해 ifconfig명령을 통해 화면과 같이 모든 노드의 IP주소를 확인합니다. 127.0.0.1 localhost 192.168.242.132 master 192.168.242.128 slave1 192.168.242.130 slave2 192.168.242.131 slave3 vi /etc/hosts를 입력하면 화면과 같이 작성되어 있는데 입력되있던 내용을 모두 지우고 위에서 ifconfig로 확인한 주소들을 위의 코드처럼 입력해줍니다. master, slave1, slave2, slave3의 주소는 ifconfig로 확인하신 주소로 작성해 주시면 됩니다. scp /etc/hosts root@slave1:/etc/hosts scp /etc/hosts root@sla..