IT Log

Hadoop 완전분산모드 Clone Hadoop 완전분산모드(2)까지 진행한 노드를 Clone이라는 기능을 이용하여 Slave노드들을 생성합니다. Clone이라는 기능은 CentOS 7 설치과정을 생략하고 가상머신을 생성합니다. 화면과 같이 master에서 우클릭을 하고 Manage > Clone을 선택합니다. 다음을 누르고, The current state in the virtual machine을 선택하고 다음을 누릅니다. Create a linked clone은 참조하는 형태이기 때문에 전체복사를 하는 Create a full clone을 선택하고 다음을 누릅니다. 그리고 Virtual machine name을 slave1로 하고 마침을 누릅니다. (나중에 이렇게 해서 slave2와 slave3도 ..

Hadoop SSH ssh-keygen -t rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys ssh localhost exit ssh-keygen -t rsa를 입력하고 Enter를 몇번 눌러서 생성합니다. 생성된 키는 ~/.ssh/id_rsa.pub파일에 있는데 authorized_keys파일로 복사해줍니다. 그리고 ssh localhost로 접속이 잘 되는지 확인하고 exit를 입력하여 접속을 종료합니다. Hadoop Download wget http://apache.mirror.cdnetworks.com/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz tar xvzf hadoop-2.9.2.tar.gz cd /usr/l..

준비사항 구성 조건 필수 소프트웨어 소프트웨어 설치 OracleJDK Hadoop SSH Hadoop Download 환경구성 hadoop-env.sh core-site.xml 실행 웹 인터페이스 Hadoop 완전분산모드 Clone Snapshot(생략가능) hostname hosts Hadoop 환경구성 hadoop-env.sh core-site.xml hdfs-site.xml yarn-site.xml maprred.site.xml slaves HDFS 폴더 생성 master노드 slave노드 Hadoop 시작&종료 방화벽 해제 시작 종료 웹 인터페이스 준비사항 CentOS 7 구성 조건 필수 소프트웨어 Java Hadoop 2.7 이상 - Java 7 이상 Hadoop 2.6 및 이전 - Java 6..

SQL이란? Structured Query Language의 약자로 관계형 데이터베이스 관리시스템의 데이터를 관리하기 위해 설계된 특수 목적의 프로그래밍 언어이다. SQL 구문 SQL 구문은 3가지로 나뉜다. DDL(Data Definition Language) DML(Data Manipulation Language) DCL(Data Control Language) DDL Data Definition Language의 약자로, 데이터구조나 데이터베이스 스키마를 정의하기 위한 프로그래밍 언어이다. (TABLE기준으로 설명하겠다.) CREATE 데이터베이스, 테이블, 인덱스를 생성한다. [ ]안은 생략 가능하다. CREATE TABLE 테이블명 ( 컬럼명데이터타입 [제약조건], 컬럼명데이터타입 [제약조건],..

Hadoop Ecosystem이란? ecosystem은 우리말로 생태계로, 검색해보면 '상호작용하는 유기체들과 또 그들과 서로 영향을 주고받는 주변의 무생물 환경을 묶어서 부르는 말'이라고 합니다. 그렇다면, Hadoop Ecosystem은 하둡 생태계로 'Hadoop에서 상호작용하는 프로젝트들 or 프로젝트들의 환경'이라고 보면 될 것 같습니다. Hadoop Ecosystem Archetecture 기본적으로 Hadoop을 기반으로 구성되나, 수집 / 저장 / 데이터베이스 등등 같은 카테고리 안에 있는 프로젝트들이 있으며, 사용할 기능이나 목적 또는 상황에 따라 하나를 선택하거나 병행하여 구성될 수 있습니다. 각 프로젝트의 버전들이 계속 올라가고 있으나 '상호작용하는 생태계'이므로 항상 최신버전을 사용..

초기값이 0이거나 동일한 경우 모든 뉴런의 동일한 출력 값을 내보낼 것 역전파 단계에서 각 뉴런이 모두 동일한 gradient 값을 가짐 학습이 잘되려면 각 뉴런이 가중치에 따라 비대칭이어야 함 가중치가 동일할 경우 뉴런 개수와 상관없이 하나인것처럼 작동 초기값이 작은 난수인 경우 만약 가중치 초기값을 큰 값으로 한다면 0과 1로수렴하기 때문에 gradient vanishing이 발생 ReLU일 경우 절대값이 클 경우 음수일 때 dead ReLU 문제가 발생 따라서, 가중치 초기값을 작게 초기화 해야 동일한 초기값을 가지지않고 램더하게 초기화 일반적으로 초기값 평균 0, 표준편차 0.01인 정규분포를 따르는 값으로 랜덤하게 초기화 이러한 방법도 얕은 신경망에서는 문제없으나, 깊이가 깊어질수록 문제 발생 ..

CNN(Convolutional Neural Network)이란? CNN은 사람의 시신경 구조를 모방한 구조 데이터를 feature로 추출하여 패턴을 파악하는 구조 Convolution 과정과 Pooling 과정을 통해 진행 활용용도는 보통 정보추출, 문장분류, 얼굴인식에 사용 CNN의 주요 용어 Convolution Channel Filter Kernel Stride Padding Feature Map Activation Map Pooling Convolution 하나의 함수(f)와 다른 함수(g)를 반전 이동한 값을 곱한 다음 구간에 대해 적분하여 새로운 함수를 구하는 수학 연산자 Channel 컬러이미지는 RGB, 즉 RED, GREEN, BLUE 3개의 채널을 합친 이미지로, 40x20픽셀인 컬러..

오차역전파(Backpropagation)란? MLP(Multi Layer Perceptron)에서 학습할 방법을 해결하기 위해 나온 알고리즘으로, 예측값이 실제값과 다를때 출력에서 오류가 계산되어 역방향으로 분배된다. 역방향으로 분배하는 과정에서 가중치들이 조정되고, 조정된 가중치값으로 다시 순방향으로 계산이 진행된다. 오차역전파는 속도는 느리지만, 안정적인 결과를 얻을 수 있다. 오차역전파(Backpropagation)의 구동방식 임의의 초기 가중치를 설정하고 순방향으로 결과 값을 계산한다. 결과 값을 실제 값과 비교하여 오차를 계산한다. 경사하강법을 이용하여 오차가 작아지는 방향으로 가중치를 조정한다. 오류가 최소화될 때까지 1~3과정을 반복한다.