반응형 DataPipeline1 실시간 이벤트 스트리밍의 심장, Apache Kafka에 대해 알아보겠습니다. Ⅰ. Apache Kafka 란? 대용량 메시지를 실시간으로 안전하게 전달하고 장기간 보관할 수 있도록 설계된 오픈소스 분산 이벤트 스트리밍 플랫폼입니다. 2011년 LinkedIn에서 공개된 이후 현재는 이벤트 기반 아키텍처(EDA), 마이크로서비스, 데이터 파이프라인, IoT, 실시간 분석의 "중추 신경망" 역할을 담당하는 사실상의 표준입니다.2025년 Kafka 4.0 정식 출시를 기점으로 ZooKeeper 의존성이 완전히 제거된 KRaft(Kafka Raft) 전용 체제로 전환되었으며, 2026년에는 4.x 버전이 운영 환경의 기본이 되었습니다. 이로써 구성이 단순해지고 대규모 클러스터의 확장성이 크게 향상되었습니다. ■ Kafka 발전 과정 사내 로그 수집 도구에서 범용 실시간 데이터 백본으로 .. 2026. 5. 2. 이전 1 다음 반응형