Hadoop 완전분산모드(5)

core-site.xml

<configuration>
   <property>
      <name>fs.defaultFS</name>
      <value>hdfs://master:9000</value>
   </property>
</configuration>

모든노드에서 core-site.xml을 들어가서 configuration부분을 다음과 같이 수정합니다.

 

 

 

hdfs-site.xml

# master node

<configuration>   
   <property>
      <name>dfs.namenode.name.dir</name>
      <value>file:/usr/local/hadoop-2.9.2/namenode</value>
   </property>   
</configuration>

# slave1, slave2, slave3 node

<configuration>   
   <property>
      <name>dfs.datanode.data.dir</name>
      <value>file:/usr/local/hadoop-2.9.2/datanode</value>
   </property>   
</configuration>

master노드와 slave노드들에 알맞게 hdfs-site.xml을 들어가서 configuration부분을 다음과 같이 수정합니다. 

 

 

 

yarn-site.xml

<configuration>
   <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
   </property>
   <property>
      <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
      <value>org.apache.hadoop.mapred.ShuffleHandler</value>
   </property>   
</configuration>

모든 노드에서 yarn-site.xml을 들어가서 configuration부분을 다음과 같이 수정합니다. 

 

 

 

mapred-site.xml

<configuration>
   <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
   </property>
</configuration>

mapred-site.xml파일이 없으므로 mapred-site.xml.template파일을 이용하여 작성합니다. mv mapred-site.xml.template mapred-site.xml를 입력하여 mapred-site.xml파일을 생성합니다. 그리고 모든 노드에서 mapred-site.xml을 들어가서 configuration부분을 다음과 같이 수정합니다.

 

 

 

Slaves

slave1
slave2
slave3

master노드에서 slaves파일을 들어가 위와 같이 작성합니다.

 

 

 

HDFS 폴더 생성

master노드

mkdir namenode
chmod 777 namenode

cd $HADOOP_HOME으로 이동하여 위의 코드를 실행하면 화면과 같이 보입니다. master노드에서만 진행합니다.

 

 

 

Slave노드

mkdir datanode
chmod 777 datanode

cd $HADOOP_HOME으로 이동하여 위의 코드를 실행하면 화면과 같이 보입니다. slav1, slave2, slave3에서 진행합니다.