IT Log

Hadoop SSH ssh-keygen -t rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys ssh localhost exit ssh-keygen -t rsa를 입력하고 Enter를 몇번 눌러서 생성합니다. 생성된 키는 ~/.ssh/id_rsa.pub파일에 있는데 authorized_keys파일로 복사해줍니다. 그리고 ssh localhost로 접속이 잘 되는지 확인하고 exit를 입력하여 접속을 종료합니다. Hadoop Download wget http://apache.mirror.cdnetworks.com/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz tar xvzf hadoop-2.9.2.tar.gz cd /usr/l..

준비사항 구성 조건 필수 소프트웨어 소프트웨어 설치 OracleJDK Hadoop SSH Hadoop Download 환경구성 hadoop-env.sh core-site.xml 실행 웹 인터페이스 Hadoop 완전분산모드 Clone Snapshot(생략가능) hostname hosts Hadoop 환경구성 hadoop-env.sh core-site.xml hdfs-site.xml yarn-site.xml maprred.site.xml slaves HDFS 폴더 생성 master노드 slave노드 Hadoop 시작&종료 방화벽 해제 시작 종료 웹 인터페이스 준비사항 CentOS 7 구성 조건 필수 소프트웨어 Java Hadoop 2.7 이상 - Java 7 이상 Hadoop 2.6 및 이전 - Java 6..

Hadoop Ecosystem이란? ecosystem은 우리말로 생태계로, 검색해보면 '상호작용하는 유기체들과 또 그들과 서로 영향을 주고받는 주변의 무생물 환경을 묶어서 부르는 말'이라고 합니다. 그렇다면, Hadoop Ecosystem은 하둡 생태계로 'Hadoop에서 상호작용하는 프로젝트들 or 프로젝트들의 환경'이라고 보면 될 것 같습니다. Hadoop Ecosystem Archetecture 기본적으로 Hadoop을 기반으로 구성되나, 수집 / 저장 / 데이터베이스 등등 같은 카테고리 안에 있는 프로젝트들이 있으며, 사용할 기능이나 목적 또는 상황에 따라 하나를 선택하거나 병행하여 구성될 수 있습니다. 각 프로젝트의 버전들이 계속 올라가고 있으나 '상호작용하는 생태계'이므로 항상 최신버전을 사용..