ITPE * JackerLab

개요Log-Based Delta는 데이터베이스 또는 분산 시스템의 변경 로그(Change Log 또는 Transaction Log)를 기반으로 데이터 변화만을 감지하여 저장, 동기화, 전파하는 효율적인 데이터 처리 기술입니다. 이는 대규모 데이터 환경에서의 성능 최적화, 실시간 분석, CDC(Change Data Capture) 기반 데이터 흐름 구성에 핵심적으로 활용됩니다.1. 개념 및 정의Log-Based Delta는 전체 데이터를 비교하거나 재처리하지 않고, 로그 상의 변경 정보만 추출하여 데이터 처리에 반영하는 방식입니다.핵심 아이디어: 변경 이벤트 중심의 데이터 최소 처리출처: 트랜잭션 로그, 바이너리 로그, Write-Ahead Log 등적용 범위: 데이터 복제, 스트리밍 분석, 비동기 동기화..

개요Debezium은 Apache Kafka 기반의 오픈소스 CDC(Change Data Capture) 플랫폼으로, 데이터베이스의 변경사항을 실시간으로 감지하고 이벤트로 스트리밍함으로써 Event-Driven ETL의 핵심 엔진으로 활용됩니다. 기존 배치 기반 ETL과 달리 데이터 변경 이벤트 발생 시 즉각적으로 데이터 흐름을 유도할 수 있어, 마이크로서비스, 데이터 웨어하우스, 실시간 분석에 이상적인 구조를 제공합니다.1. 개념 및 정의 항목 설명 정의DB 트랜잭션 로그를 감지하여 변경 이벤트를 Kafka 스트림으로 전달하는 CDC 플랫폼핵심 역할데이터 변경 추적 → 이벤트 발행 → 후속 시스템으로 스트리밍데이터 흐름 구조Source DB → Debezium Connector → Kafka → Co..

개요데이터 기반 시스템의 출발점은 '수집'입니다. 어떤 데이터를 어떻게, 얼마나 빠르게, 어떤 형식으로 수집할 수 있는가에 따라 분석 품질, 실시간성, 대응력이 결정됩니다. 데이터 수집 기술은 IoT, 웹, 로그, 메시지, API, 배치/실시간 등 다양한 형태로 진화하고 있으며, 이에 따라 수집 아키텍처와 도구 또한 다변화되고 있습니다. 이 글에서는 대표적인 수집 기술과 아키텍처 유형, 적용 전략을 체계적으로 정리합니다.1. 데이터 수집이란? 항목 설명 정의다양한 출처에서 데이터를 수신, 추출, 적재하기 위한 기술적 처리 과정목적데이터 분석·모델링을 위한 원천 확보, 실시간 반응 시스템 기반 확보수집 유형배치 수집(Batch), 실시간 스트리밍(Stream), 이벤트 기반, CDC(Change Data..