IT Log

요구사항 Kafka 설치 환경변수 설정 Kafka 파일 설정 Kafka 서버 시작 TOPIC 생성 메세지 보내기 producer & consumer 시작 Text 입력 Cluster 구성 Kafka 배포 server.properties 서버 시작 TOPIC 생성 및 설명 Producer & Consumer 메세지 보내기 및 확인 요구사항 zookeeper Kafka 설치 wget http://apache.mirror.cdnetworks.com/kafka/2.2.1/kafka_2.12-2.2.1.tgz tar xzvf kafka_2.12-2.2.1.tgz mv kafka_2.12-2.2.1 kafka /usr/local로 이동합니다. 위 코드를 실행하여 Kafka를 설치합니다. 환경변수 설정 export ..

요구사항 선택사항 Pig 설치 환경변수 설정 Pig 실행 요구사항 Hadoop 2.x 이상 Java 1.7 이상 선택사항 Python 2.7 이상 (python UDF 스트리밍 사용할 때) Ant 1.8 이상 (빌드하기 위해서) Pig 설치 wget http://apache.mirror.cdnetworks.com/pig/pig-0.17.0/pig-0.17.0.tar.gz tar xzvf pig-0.17.0.tar.gz /usr/local로 이동하여 코드를 실행합니다. 환경변수 설정 export JAVA_HOME=/usr/local/jdk1.8.0_211 export HADOOP_HOME=/usr/local/hadoop-2.9.2 export MAVEN_HOME=/usr/local/maven export ..

요구사항 Spark 설치 환경변수 설정 Standalone Spark 배포 Slaves 웹 UI 확인 Spark Shell 요구사항 Java 1.8 이상 Hadoop 2.7.x 이상 Spark 설치 wget http://apache.mirror.cdnetworks.com/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz tar xzvf spark-2.4.3-bin-hadoop2.7.tgz mv spark-2.4.3-bin-hadoop2.7 spark 위 코드를 실행하여 Spark를 설치하고 폴더명을 간단하게 수정합니다. 환경변수 설정 export JAVA_HOME=/usr/local/jdk1.8.0_211 export HADOOP_HOME=/usr/local/hadoo..

요구사항 Download Install 환경변수 설정 실행 요구사항 Maven 3.3 이상에서는 JDK 1.7 이상 최소 500MB의 여유공간 Download wget http://apache.mirror.cdnetworks.com/maven/maven-3/3.6.1/binaries/apache-maven-3.6.1-bin.tar.gz tar xzvf apache-maven-3.6.1-bin.tar.gz mv apache-maven-3.6.1 maven master노드에서 위 코드를 실행하여 Download 합니다. 압축해제한 후 폴더명을 간단하게 수정합니다. (폴더명 변경은 안하셔도 상관없습니다.) 환경변수 설정 export JAVA_HOME=/usr/local/jdk1.8.0_211 export HA..

방화벽 해제 systemctl stop firewalld systemctl disable firewalld 모든 노드에서 방화벽을 해제합니다. Hadoop 시작&종료시작 시작 hdfs namenode -format start-all.sh master노드에서 hdfs namenode -format 명령을 실행하고 start-all.sh로 Hadoop을 시작합니다.master노드에서는 SecondaryNameNode, NameNode, ResourceManager, jps가 실행되고 slave노드들에서는 DataNode, NodeManager, jps가 실행됩니다. 종료 stop-all.sh master노드에서 stop-all.sh를 입력하면 종료되고 jps를 입력하여 확인해 봅니다. 웹 인터페이스 mast..

core-site.xml fs.defaultFS hdfs://master:9000 모든노드에서 core-site.xml을 들어가서 configuration부분을 다음과 같이 수정합니다. hdfs-site.xml # master node dfs.namenode.name.dir file:/usr/local/hadoop-2.9.2/namenode # slave1, slave2, slave3 node dfs.datanode.data.dir file:/usr/local/hadoop-2.9.2/datanode master노드와 slave노드들에 알맞게 hdfs-site.xml을 들어가서 configuration부분을 다음과 같이 수정합니다. yarn-site.xml yarn.nodemanager.aux-servic..

hosts hosts파일을 설정하기 위해 ifconfig명령을 통해 화면과 같이 모든 노드의 IP주소를 확인합니다. 127.0.0.1 localhost 192.168.242.132 master 192.168.242.128 slave1 192.168.242.130 slave2 192.168.242.131 slave3 vi /etc/hosts를 입력하면 화면과 같이 작성되어 있는데 입력되있던 내용을 모두 지우고 위에서 ifconfig로 확인한 주소들을 위의 코드처럼 입력해줍니다. master, slave1, slave2, slave3의 주소는 ifconfig로 확인하신 주소로 작성해 주시면 됩니다. scp /etc/hosts root@slave1:/etc/hosts scp /etc/hosts root@sla..

Hadoop 완전분산모드 Clone Hadoop 완전분산모드(2)까지 진행한 노드를 Clone이라는 기능을 이용하여 Slave노드들을 생성합니다. Clone이라는 기능은 CentOS 7 설치과정을 생략하고 가상머신을 생성합니다. 화면과 같이 master에서 우클릭을 하고 Manage > Clone을 선택합니다. 다음을 누르고, The current state in the virtual machine을 선택하고 다음을 누릅니다. Create a linked clone은 참조하는 형태이기 때문에 전체복사를 하는 Create a full clone을 선택하고 다음을 누릅니다. 그리고 Virtual machine name을 slave1로 하고 마침을 누릅니다. (나중에 이렇게 해서 slave2와 slave3도 ..