Kafka 설치(2)

Kafka 서버 시작

kafka-server-start.sh server.properties

/usr/local/kafka/config에서 위 코드를 실행하면 화면과 같이 INFO가 쭉 뜨다가 마지막에 started이후 멈춥니다. 현재 서버를 시작한 터미널은 그대로 유지하고 새로운 터미널을 실행합니다.

 

 

 

TOPIC 생성

kafka-topics.sh --create --bootstrap-server master:9092 --replication-factor 1 --partitions 1 --topic test
kafka-topics.sh --list --bootstrap-server master:9092

화면과 같이 새로운 터미널을 실행하여 위 코드를 실행시킵니다. ( 혹시 오류가 뜬다면, source /etc/profile을 한 번 실행한 후 다시 해봅니다. )

 

 

 

메세지 보내기producer & consumer 시작

kafka-console-producer.sh --broker-list master:9092 --topic test
kafka-console-consumer.sh --bootstrap-server master:9092 --topic test --from-beginning

producer와 consumer를 화면과 같이 다른 터미널에서 실행합니다. 

 

 

 

Text 입력

This is a message
This is another message

producer를 실행한 터미널에서 위 코드를 작성해 봅니다. 그리고 consumer가 실행된 터미널에서 작성한 코드가 제대로 출력되는지 확인합니다.

 

 

 

Cluster 구성

Kafka 배포

scp -r /usr/local/kafka root@slave1:/usr/local/
scp -r /usr/local/kafka root@slave2:/usr/local/

kafka폴더를 zookeeper가 있는 slave1과 slave2에 배포합니다.

 

 

 

server.properties

#master
broker.id=1   # 21번줄
listeners=PLAINTEXT://:9092   # 31번줄
advertised.listeners=PLAINTEXT://master:9092   # 36번줄
zookeeper.connect=master:2181,slave1:2181,slave2:2181   # 123번줄

#slave1
broker.id=2   # 21번줄
listeners=PLAINTEXT://:9092   # 31번줄
advertised.listeners=PLAINTEXT://slave1:9092   # 36번줄
zookeeper.connect=master:2181,slave1:2181,slave2:2181   # 123번줄


#slave2
broker.id=3   # 21번줄
listeners=PLAINTEXT://:9092   # 31번줄
advertised.listeners=PLAINTEXT://slave2:9092   # 36번줄
zookeeper.connect=master:2181,slave1:2181,slave2:2181   # 123번줄

/usr/local/kafka/config로 이동합니다. server.properties파일을 열어 위와 같이 수정합니다.

 

 

 

참고 : kafka.apache.org