IT Log

작성 방법 영어 대문자는 작성할 때 필수로 작성해야하는 부분( ex : CREATE )이고, ( ) 안에 영어 대문자로 파이프라인 | 과 함께 있는 경우는 선택적으로 반드시 하나는 작성해야하는 부분( ex : DATABASE|SCHEMA )이고, [ ] 안에 들어가는 부분은 선택적 요소로, 상황에 맞게 사용이 가능한 부분( ex : IF NOT EXISTS )이고, 영어 소문자는 사용자가 임의로 작성이 가능한 부분( database_name)입니다. CRAETE TABLE CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name [(col_name data_type [column_constraint_specification] [CO..

작성 방법 영어 대문자는 작성할 때 필수로 작성해야하는 부분( ex : CREATE )이고, ( ) 안에 영어 대문자로 파이프라인 | 과 함께 있는 경우는 선택적으로 반드시 하나는 작성해야하는 부분( ex : DATABASE|SCHEMA )이고, [ ] 안에 들어가는 부분은 선택적 요소로, 상황에 맞게 사용이 가능한 부분( ex : IF NOT EXISTS )이고, 영어 소문자는 사용자가 임의로 작성이 가능한 부분( database_name)입니다. CRAETE DATABASE CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hdfs_path] [MANAGEDLOCATION hdfs_pat..

ALTER TABLE -- ALTER TABLE NAME ALTER TABLE table_name RENAME TO new_table_name; -- ALTER TABLE PROPERTIES ALTER TABLE table_name SET TBLPROPERTIES table_properties; ALTER TABLE 예시 -- 가장 평범한 예시 ALTER TABLE hivetable RENAME TO newtable; -- dt파티션이 2020-01-01인 값의 행만 TRUNCATE ALTER TABLE hivetable SET TBLPROPERTIES ('comment'='테이블 변경'); ALTER COLUMN COLUMN 이름/유형/위치/설명 변경 ALTER TABLE table_name [PART..

[WITH CommonTableExpression (, CommonTableExpression)*] SELECT [ALL | DISTINCT] select_expr, select_expr, ... FROM table_reference [WHERE where_condition] [GROUP BY col_list] [ORDER BY col_list] [CLUSTER BY col_list | [DISTRIBUTE BY col_list] [SORT BY col_list] ] [LIMIT [offset,] rows] ALL | DISTINCT ALL : 모든 행을 출력 DISTINCT : 중복 제거한 모든 행을 출력 COL1 COL2 1 2 1 3 1 4 -- COL1에 대한 중복을 제거한 뒤 출력(1만 출력) ..

scp secure copy의 약어 (원격 파일 복사 프로그램) 사용법(usage) scp [-12346BCpqrv] [-c cipher] [-F ssh_config] [-i identity_file] [-l limit] [-o ssh_option] [-P port] [-S program] [[user@]host1:]file1 ... [[user@]host2:]file2 설명 scp는 네트워크의 호스트간에 파일을 복사합니다. 데이터 전송에 ssh (1)을 사용하고 동일한 인증을 사용하고 ssh (1)과 동일한 보안을 제공합니다. scp는 인증에 필요한 경우 암호 또는 암호를 묻습니다. 옵션 설명 -1 scp가 프로토콜 1을 사용하도록합니다. -2 scp가 프로토콜 2를 사용하도록합니다. -3 두 원격 호..

VMware workstation Player Download https://www.vmware.com/에 접속한다. Downloads → Free Product Downloads → Workstation Player 순으로 클릭한다. Download Now를 클릭한다. 다운로드한 VMware-player-*.exe를 클릭한다. VMware workstation Player Install

HADOOP 구성 상황 OracleJDK 1.8.0_211 hadoop-2.8.5 zookeeper-3.4.14 hbase-2.0.5 maven-3.6.1 요구 사항 Java Hive버전 1.2이상에서는 Java 1.7이상이 필요하다. ( Java 1.8을 권장) Hadoop 2.x버전과 1.x버전 둘다 지원하지만, 1.x버전은 Hive 2.0.0이후 버전은 지원하지 않는다. HIVE 설치 최신 버전인 3.1.1로 설치를 진행한다. master노드에서 진행하며, 파일 위치는 /usr/local이다. wget http://apache.mirror.cdnetworks.com/hive/hive-3.1.1/apache-hive-3.1.1-bin.tar.gz tar xzvf apache-hive-3.1.1-bin..

[이전 단계] CentOS 7 설치 : https://newly0513.tistory.com/92 [다음 단계] Hive 구성 : https://newly0513.tistory.com/147 시작하기에 앞서... 어느정도 리눅스 환경에 익숙하시거나 hadoop 구성이 처음이 아니신분이 본다는 가정하에 글을 작성하였습니다. ( 익숙하다.. 처음이 아니다.. 라는 기준이 애매하긴 합니다. ) 각각의 서버에서 필수로 해야하거나 개별적으로 다르게 작성해야하는 부분을 제외하고는 한 서버에서 구성할 수 있게 작성하였습니다. 리눅스에서 작업을 하게 되면 거의 사용하게 되는 vi편집기에 대한 설명은 아래 링크에서 참고하시고 작성해주시면 되겠습니다. 또한 Hadoop구성 시 편의를 위해서 사용할 scp에 대한 설명도 아..