IT Log

오류 발생 Airflow 설치 중 'sudo apt install python3-testresources' 에서 발생 해결 방안 아래 명령을 실행 후 오류가 발생했던 명령 재실행 sudo rm /var/lib/dpkg/lock* ※ 그 외 해결 방안이 있으나, 시도해보지 않음 재부팅 sudo killall apt apt-get sudo rm /var/lib/apt/lists/lock sudo rm /var/cache/apt/archives/lock

오류 발생 Airflow 설치 중 'pip install "apache-airflow==${AIRFLOW_VERSION}" --constraint "${CONSTRAINT_URL}"' 단계에서 발생 해결 방안 pip가 종속성에 대해서 현재 설치된 모든 패키지를 고려하지 않아 발생하는 문제로, 해당 패키지를 개별 설치 # Ubuntu sudo apt install python3-testresources

전제 조건 Python : 3.6, 3.7, 3.8 Database : PostgreSQL : 9.6, 10, 11, 12, 13 MySQL : 5.7, 8 SQLite : 3.15.0 이상 Kubernertes : 1.16, 1.17.5, 1.18.6 - Kubernertes 설치 URL : newly0513.tistory.com/191 ※ MySQL 5.x 버전은 여러 스케줄러를 실행할 수 없거나 제한적임 (MariaDB 권장하지 않음) 또한, SQLite는 주로 테스트에 사용됨 작성 글 구성환경 OS : Ubuntu 20.04 Python : 3.8.5 Database : PostgreSQL 12 Kubernertes : 1.20.5 1. Airflow HOME 경로 설정 export AIRFLOW..

설치 방법 : curl을 사용하여 kubectl binary 설치 기본 패키지 관리 도구를 사용하여 설치 (Ubuntu, Debian or HypriotOS) 기본 패키지 관리 도구를 사용하여 설치 (CentOS, RHEL or Fedora) 1. curl을 사용하여 kubectl binary 설치 1. 최신 릴리즈 다운로드 # 최신 릴리즈 curl -LO "https://dl.k8s.io/release/$(curl -L -s https://dl.k8s.io/release/stable.txt)/bin/linux/amd64/kubectl" # 특정 릴리즈 (1.18.6 버전을 다운로드하는 경우) curl -LO "https://dl.k8s.io/release/v1.18.6/bin/linux/amd64/ku..

HADOOP 구성 상황 OracleJDK 1.8.0_211 hadoop-2.8.5 zookeeper-3.4.14 hbase-2.0.5 maven-3.6.1 요구 사항 Java Hive버전 1.2이상에서는 Java 1.7이상이 필요하다. ( Java 1.8을 권장) Hadoop 2.x버전과 1.x버전 둘다 지원하지만, 1.x버전은 Hive 2.0.0이후 버전은 지원하지 않는다. HIVE 설치 최신 버전인 3.1.1로 설치를 진행한다. master노드에서 진행하며, 파일 위치는 /usr/local이다. wget http://apache.mirror.cdnetworks.com/hive/hive-3.1.1/apache-hive-3.1.1-bin.tar.gz tar xzvf apache-hive-3.1.1-bin..

[이전 단계] CentOS 7 설치 : https://newly0513.tistory.com/92 [다음 단계] Hive 구성 : https://newly0513.tistory.com/147 시작하기에 앞서... 어느정도 리눅스 환경에 익숙하시거나 hadoop 구성이 처음이 아니신분이 본다는 가정하에 글을 작성하였습니다. ( 익숙하다.. 처음이 아니다.. 라는 기준이 애매하긴 합니다. ) 각각의 서버에서 필수로 해야하거나 개별적으로 다르게 작성해야하는 부분을 제외하고는 한 서버에서 구성할 수 있게 작성하였습니다. 리눅스에서 작업을 하게 되면 거의 사용하게 되는 vi편집기에 대한 설명은 아래 링크에서 참고하시고 작성해주시면 되겠습니다. 또한 Hadoop구성 시 편의를 위해서 사용할 scp에 대한 설명도 아..

[이전 단계] HBase 구성 (Standalone) : https://newly0513.tistory.com/149 [다음 단계] 전제 조건 (Prerequisites) Java JDK8 권장 HBase 버전 1.2+인 경우 JDK7도 지원 JDK9, 10, 11은 확실하지 않음 운영체제 유틸리티 ssh DNS NTP Zookeeper Zookeeper 3.4.x 이상 Hadoop 본인이 설치한 Hadoop버전과 호환되는 HBase버전을 선택합니다. 분산 클러스터 구조 Node Master Zookeeper RegionServer master O O X slave1 backup O O slave2 X O O Download Download Url HBase 홈페이지 : hbase.apache.org/d..

[이전 단계] Zookeeper 구성 (Multi-Server) : https://newly0513.tistory.com/148 [다음 단계] HBase 구성 ( Full-distributed ) : newly0513.tistory.com/150 전제 조건 (Prerequisites) Java JDK8 권장 HBase 버전 1.2+인 경우 JDK7도 지원 JDK9, 10, 11은 확실하지 않음 운영체제 유틸리티 ssh DNS NTP Zookeeper Zookeeper 3.4.x 이상 Hadoop 본인이 설치한 Hadoop버전과 호환되는 HBase버전을 선택합니다. Download Download Url HBase 홈페이지 : hbase.apache.org/downloads.html HBase 미러 사이트..