Hadoop 완전분산모드(2)

Hadoop

SSH

ssh-keygen -t rsa 
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 
ssh localhost 
exit

ssh-keygen -t rsa를 입력하고 Enter를 몇번 눌러서 생성합니다. 생성된 키는 ~/.ssh/id_rsa.pub파일에 있는데 authorized_keys파일로 복사해줍니다. 그리고 ssh localhost로 접속이 잘 되는지 확인하고 exit를 입력하여 접속을 종료합니다.

 

 

 

Hadoop Download

wget http://apache.mirror.cdnetworks.com/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz
tar xvzf hadoop-2.9.2.tar.gz

cd /usr/local로 위치를 이동합니다. 위의 코드를 입력하여 hadoop-2.9.2를 다운받고 압축을 해제합니다.

 

 

 

export JAVA_HOME=/usr/local/jdk1.8.0_211
export HADOOP_HOME=/usr/local/hadoop-2.9.2
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:

/etc/profile에 위 코드로 수정하여 줍니다. 파일을 나와서 hadoop version 명령을 입력한 뒤 버전을 확인합니다.

 

 

 

환경구성

hadoop-env.sh

export JAVA_HOME=/usr/local/jdk1.8.0_211

JAVA_HOME경로를 화면과 같이 설정해 줍니다.

 

 

 

core-site.xml

<configuration>
   <property>
      <name>fs.defaultFS</name>
      <value>hdfs://localhost:9000</value>
   </property>
</configuration>

 

 

 

실행

hdfs namenode -format
start-all.sh

namenode를 포맷시켜준 뒤 start-all.sh 명령으로 Hadoop을 시작합니다. jps로 확인해보면 NameNode, DataNode, NodeManager, ResourceManager, SecondaryNameNode, Jps가 보입니다.

 

 

 

웹 인터페이스

localhost:50070

Firefox를 실행한 뒤 주소에 localhost:50070을 입력하면 화면과 같이 NameNode에 대한 정보가 나옵니다.

 

 

 

localhost:8088

그리고 이어서 localhost:8088을 입력하면 Hadoop Cluster에 대한 정보를 확인할 수 있습니다.