728x90
반응형

kafka connect 2

Kafka Connect

개요Kafka Connect는 Apache Kafka의 데이터 통합 프레임워크로, 외부 시스템과 Kafka 간의 데이터 이동을 자동화한다. 코드 작성 없이 표준화된 커넥터를 이용해 데이터베이스, 메시징 큐, 파일 시스템, 클라우드 서비스 등과 Kafka를 연동할 수 있다. 대규모 데이터 스트리밍 파이프라인을 구축하기 위한 핵심 구성 요소로, 실시간 데이터 통합(ETL)을 간소화한다.1. 개념 및 정의 항목 내용 비교 개념Kafka와 외부 시스템 간 데이터 연동을 수행하는 표준 프레임워크Flume, NiFi 대비 단순하고 확장성 높음목적데이터 수집 및 전송 자동화대규모 스트리밍 파이프라인 구성필요성다양한 소스/싱크 시스템 간 통합 자동화실시간 분석 및 로그 처리 환경 필수2. 특징특징설명비교표준화된 커..

Topic 2025.11.13

Debezium

개요Debezium은 데이터베이스의 변경 이벤트(삽입, 수정, 삭제)를 실시간으로 캡처하여 스트리밍 플랫폼(Kafka, Pulsar 등)으로 전달하는 오픈소스 Change Data Capture(CDC) 플랫폼입니다. 운영 데이터베이스에 부담을 주지 않으면서도 데이터 복제, 캐시 갱신, 이벤트 기반 마이크로서비스 설계에 필요한 데이터 변경 이벤트를 실시간으로 수집할 수 있어 데이터 아키텍처 현대화의 핵심 기술로 각광받고 있습니다.본 글에서는 Debezium의 구조, 동작 방식, 주요 커넥터, 활용 사례 등을 기반으로 실시간 데이터 파이프라인 구축 전략을 소개합니다.1. 개념 및 정의 항목 설명 정의Debezium은 데이터베이스의 변경 로그를 캡처하여 Kafka/Pulsar와 같은 메시지 시스템으로 전달..

Topic 2025.09.06
728x90
반응형