Hadoop 완전분산모드(1)

• 준비사항
• 구성 조건
  • 필수 소프트웨어
  • 소프트웨어 설치
    • OracleJDK
• Hadoop 
  • SSH
  • Hadoop Download
  • 환경구성
    • hadoop-env.sh
    • core-site.xml
  • 실행
  • 웹 인터페이스
• Hadoop 완전분산모드
  • Clone
  • Snapshot(생략가능)
  • hostname
  • hosts
  • Hadoop 환경구성
    • hadoop-env.sh
    • core-site.xml
    • hdfs-site.xml
    • yarn-site.xml
    • maprred.site.xml
    • slaves
  • HDFS 폴더 생성
    • master노드
    • slave노드
• Hadoop 시작&종료
  • 방화벽 해제
  • 시작
  • 종료
• 웹 인터페이스

 

준비사항

• CentOS 7

 

구성 조건

필수 소프트웨어

• Java 
  
  • Hadoop 2.7 이상 - Java 7 이상
  • Hadoop 2.6 및 이전 - Java 6 이상
• SSH

 

소프트웨어 설치

• Java 
  2019-04-16 이후 업데이트된 JDK 8u211은 Oracle License가 변경되어 개인 개발 목적에 한하여 2020-12-31까지만 무료로 제공된다고 합니다. 아직까지는 무료이니 Oracle JDK로 진행하겠습니다.
  
  
• SSH
  CentOS 7의 경우 SSH가 기본으로 제공되어 따로 설치할 필요가 없습니다.

 

 

OracleJDK

CentOS 7에서는 OpenJDK가 설치되어 있습니다. OracleJDK와 충돌하지 않도록 삭제한 후에 설치하겠습니다. 터미널에서 yum remove java* 명령으로 삭제를 합니다. 그 다음 아래 주소로 접속합니다.

https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

 

 

접속하면 화면과 같이 Cookie관련 팝업창이 나옵니다. I accept all cookies를 클릭합니다. 

 

 

 

Accept License Agreement를 체크합니다. Download 목록 중 jdk-8u211-linux-x64.tar.gz파일을 다운받습니다.

 

 

 

Save File을 체크한 뒤 OK를 누릅니다.

 

 

 

다운로드한 jdk-8u211-linux-x64.tar.gz파일이 있는 /root/다운로드로 이동합니다. 그리고 jdk-8u211-linux-x64.tar.gz파일을 /usr/local로 옮겨줍니다.

 

 

 

/usr/local로 가면 옮겨진 jdk-8u211-linux-x64.tar.gz파일이 있는걸 확인하고 tar xzvf jdk-8u211-linux-x64.tar.gz로 압축을 해제합니다.

 

 

 

export JAVA_HOME=/usr/local/jdk1.8.0_211
export PATH=$PATH:$JAVA_HOME/bin:

/etc/profile에 위의 코드를 작성하고 나옵니다.

 

 

 

source /etc/profile
java -version

변경된 사항을 source /etc/profile 명령으로 적용시켜 줍니다. 그리고 java -version으로 Java설치와 환경변수 설정이 잘 되었는지 확인합니다.

 

 

참고 : hadoop.apache.org