Kafka 설치(3)

서버 시작

kafka-server-start.sh server.properties

각 노드(master, slave1, slave2)에서 /usr/local/kafka/config로 이동한 후에 위 코드를 실행하여 서버를 시작합니다. 문제없이 실행됬다면 화면에서 보는 것과 같이 [KafkaServer id=broker.id ] started 가 출력됩니다. (다른 위치에서 실행하신다면 kafka-server-start.sh /usr/local/kafka/config/server.properties를 입력합니다.)

 

 

 

TOPIC 생성 및 설명

kafka-topics.sh --create --bootstrap-server master:9092 slave1:9092 slav2:9092 --replication-factor 3 --partitions 1 --topic mytopic
kafka-topics.sh --describe --bootstrap-server master:9092 slave1:9092 slav2:9092 --topic mytopic

create명령으로 mytopic이라는 TOPIC을 생성합니다. 그리고 describe명령으로 해당 TOPIC에 대한 설명을 볼 수 있습니다. 첫번째 행은 모든 파티션의 요약을 제공합니다. 따라서, PartitionCount는 파티션 개수이고, ReplicationFactor는 복제 개수이고, Configs는 분할크기 입니다. 그아래 행은 각 행에 대한 정보인데 총 파티션 개수는 1개 이므로 한 줄만 있습니다. 여기서 Leader는 주어진 파티션에 대한 모든 읽기 및 쓰기를 담당하는 노드로 랜덤하게 정해지고, Replicas는 파티션의 로그를 복제할 노드 목록이고, Isr는 결과적으로 동기화된 복제집합입니다.

 

 

 

Producer & Consumer

kafka-console-producer.sh --broker-list master:9092 slave1:9092 slave2:9092 --topic mytopic
kafka-console-consumer.sh --bootstrap-server master:9092 slave1:9092 slave2:9092 --from-beginning --topic mytopic

위 코드를 화면과 같이 각각 다른 터미널에서 실행합니다.

 

 

 

메세지 보내기 및 확인

first message
second message
last message

producer를 실행한 터미널에서 위 코드를 입력한 뒤 consumer에서 제대로 출력이 되는지 확인합니다.

 

 

참고 : kafka.apache.org