Kafka 설치(1)

• 요구사항
• Kafka 설치
  • 환경변수 설정
• Kafka 파일 설정
• Kafka 서버 시작
• TOPIC 생성
• 메세지 보내기
  • producer & consumer 시작
  • Text 입력
• Cluster 구성
  • Kafka 배포
  • server.properties
  • 서버 시작
  • TOPIC 생성 및 설명
  • Producer & Consumer
  • 메세지 보내기 및 확인

 

 

 

요구사항

• zookeeper

 

 

 

Kafka 설치

wget http://apache.mirror.cdnetworks.com/kafka/2.2.1/kafka_2.12-2.2.1.tgz
tar xzvf kafka_2.12-2.2.1.tgz 
mv kafka_2.12-2.2.1 kafka

/usr/local로 이동합니다. 위 코드를 실행하여 Kafka를 설치합니다.

 

 

 

환경변수 설정

export JAVA_HOME=/usr/local/jdk1.8.0_211
export HADOOP_HOME=/usr/local/hadoop-2.9.2
export MAVEN_HOME=/usr/local/maven
export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m"
export SPARK_HOME=/usr/local/spark
export ZOOKEEPER_HOME=/usr/local/zookeeper
export PIG_HOME=/usr/local/pig-0.17.0
export KAFKA_HOME=/usr/local/kafka
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$MAVEN_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin:$ZOOKEEPER_HOME/bin:$PIG_HOME/bin:$KAFKA_HOME/bin:

/etc/profile에 위 코드로 설정해 줍니다. (본인과 설치한 목록이 다르시면 Kafka에 해당하는 HOME과 PATH만 추가해 주시면 됩니다.)

 

 

 

Kafka 파일 설정

broker.id=1   # 21번줄
zookeeper.connect=master:2181   # 123번줄

/usr/local/kafka/config로 이동하여 server.properties파일을 위와 같이 수정해 줍니다.

 

 

 

참고 : kafka.apache.org