이 글은 카프카 핵심가이드 책을 공부하며 정리하는 글입니다.
책 내용의 일부를 발췌하여 작성하기도 합니다. 책을 구매해서 보시는 편이 낫습니다.

1장. 브로커와 클러스터 재 정리

(컨슈머 프로듀서 카프카가 뭔지? 이야기는 빼고…)

브로커(broker)

• 하나의 카프카 서버
• 프로듀서로부터 메시지를 수신.
• 오프셋을 지정한 후 해당 메시지를 디스크에 저장
• 컨슈머의 파티션 읽기 요청에 응답과 디스크에 저장된 메시지를 전송

클러스터(cluster)

• 여러개의 브로커의 집합
• 여러 브로커 중 하나는 클러스터의 컨트롤러 역할을 수행
• 컨트롤러는 각 브로커에게 담당 파티션을 할당
• 브로커의 정상동작을 모니터링함.

그래서 아키텍쳐는?

다중 클러스터

• 재해 복구를 대비한 다중 데이터 센터를 유지하거나
• 목적에 따라서 동일한 데이터에 대해서 분리해서 처리할 수 있음.
• 기본적으로 카프카의 복제 매커니즘은 단일 클러스터에서만 동작
• 여러 다중 클러스터를 위한 툴이 존재하는데 미러메이커가 대표적이다.
• 다중 클러스터를 구축하면 하나의 카프카 클러스터에서 소비된 메세지를 다른 클러스터에서도 사용할 수 있다.

• 얼마전 카프카 밋업에서 소개된 다중 클러스터에서 미러메이커를 대체 할 brooklin(링크드인에서 개발) 에 대해서 이동진님의 소개가 있었다. 아래 깃헙을 참고해보는 것도.. brooklin 소개 이동진님 깃헙