Hive 구성

[이전 단계] Hadoop 완전 분산 모드(Fully-Distributed) : https://newly0513.tistory.com/144

[다음 단계] Zookeeper : https://newly0513.tistory.com/146

---

요구사항 (Requirements)

1. Java
   • Hive 1.2 이상인 경우 Java 1.7 이상 필요
   • Hive 0.14~1.1은 Java 1.6 이상 필요
   • Java 1.8 을 권장
2. Hadoop
   • Hadoop 2.x 권장
   • Hadoop 1.x ( Hive 2.0.0 이상은 지원X )
3. 플랫폼
   • Linux
   • Windows ( 사용하려면 약간 다른 단계 필요 )
   • Mac

---

 

설치 (Install)

• 진행 노드 : master

• 위치 : /usr/local

cd /usr/local; \
wget http://apache.mirror.cdnetworks.com/hive/hive-2.3.7/apache-hive-2.3.7-bin.tar.gz; \
tar xzvf apache-hive-2.3.7-bin.tar.gz; \
rm -rf apache-hive-2.3.7-bin.tar.gz; \
mv apache-hive-2.3.7-bin hive

 

환경 변수 설정

• 진행 노드 : master

• 파일 : /etc/profile

 PATH에 $HIVE_HOME/bin 을 추가합니다.

export HIVE_HOME=/usr/local/hive

 

Hive 파일 구성

 hive-env.sh.template 파일을 복사하여 hive-env.sh 파일을 생성합니다. HADOOP_HOME은 필수로 설정하되, 나머지는 선택사항입니다.

cd /usr/local/hive/conf; \
cp hive-env.sh.template hive-env.sh; \
vi hive-env.sh

export HADOOP_HOME=/usr/local/hadoop                           # 48번 라인
export HIVE_CONF_DIR=/usr/local/hive/conf                      # 51번 라인

---

Hive 실행 (Runnig Hive)

• 진행 노드 : master
• Hadoop이 실행중인 상태

HDFS

 hadoop fs 명령을 사용하기 위해서는 hadoop이 실행 중이어야 합니다. Hive에서 테이블을 생성하기 전에 아래 HDFS 명령을 사용하여 / tmp 및 / user / hive / warehouse (일명 hive.metastore.warehouse.dir)를 생성하고 chmod g+w를 설정해야 합니다.

hadoop fs -mkdir /tmp; \
hadoop fs -mkdir -p /user/hive/warehouse; \
hadoop fs -chmod g+w /tmp; \
hadoop fs -chmod g+w /user/hive/warehouse

 

Schema 초기화

 Hive 2.1부터 schematool 명령을 실행하여 초기화합니다. (derby mode)

schematool -dbType derby -initSchema

 

Hive CLI 실행 (Runnig Hive CLI)

 실행은 schematool 명령을 실행한 위치에서 해야합니다. 

hive

---

Hive 오류

FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException:  java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

• schematool 명령을 실행한 위치에서 hive를 시작하지 않은 경우 발생

 

• 해결 방법 : schematool을 실행시켜 metastore_db 폴더가 생성되고, derby.log 파일이 있는 위치에서 hive 실행