Hadoop 완전분산모드(4)

hosts

hosts파일을 설정하기 위해 ifconfig명령을 통해 화면과 같이 모든 노드의 IP주소를 확인합니다.

 

 

 

127.0.0.1 localhost
192.168.242.132 master
192.168.242.128 slave1
192.168.242.130 slave2
192.168.242.131 slave3

 vi /etc/hosts를 입력하면 화면과 같이 작성되어 있는데 입력되있던 내용을 모두 지우고 위에서 ifconfig로 확인한 주소들을 위의 코드처럼 입력해줍니다. 

 

master, slave1, slave2, slave3의 주소는 ifconfig로 확인하신 주소로 작성해 주시면 됩니다.

 

 

 

scp /etc/hosts root@slave1:/etc/hosts
scp /etc/hosts root@slave2:/etc/hosts
scp /etc/hosts root@slave3:/etc/hosts

hosts파일 작성을 각 노드에서 vi /etc/hosts로 작성할 수 있지만 간편하게 위의 코드를 이용하여 각 노드에 복사해 줍니다. (처음 실행하게 되면 yes/no를 묻는데 yes를 해주시면 됩니다.)

 

 

 

HADOOP 환경구성

cd $HADOOP_HOME/etc/hadoop으로 이동합니다. 그리고 hadoop-env.sh / core-site.xml / hdfs-site.xml / yarn-site.xml / mapred-site.xml 총 5개의 파일을 수정합니다.

 

※ master, slave1, slave2, slave3 모든 노드를 설정합니다. 모든 노드가 설정이 똑같지 않으므로 해당 노드에 맞는 설정을 해야합니다.

 

 

 

hadoop-env.sh

export JAVA_HOME=/usr/local/jdk1.8.0_211                     # 25번째 줄
export HADOOP_CONF_DIR=/usr/local/hadoop-2.9.2/etc/hadoop    # 33번째 줄
export HADOOP_PID_DIR=/usr/local/hadoop-2.9.2/pds            # 113번째 줄

모든노드에서 hadoop-env.sh를 들어가 JAVA_HOME / HADOOP_CONF_DIR / HADOOP_PID_DIR 를 위의 코드와 같이 설정합니다.