ITPE * JackerLab

개요Log-Based Delta는 데이터베이스 또는 분산 시스템의 변경 로그(Change Log 또는 Transaction Log)를 기반으로 데이터 변화만을 감지하여 저장, 동기화, 전파하는 효율적인 데이터 처리 기술입니다. 이는 대규모 데이터 환경에서의 성능 최적화, 실시간 분석, CDC(Change Data Capture) 기반 데이터 흐름 구성에 핵심적으로 활용됩니다.1. 개념 및 정의Log-Based Delta는 전체 데이터를 비교하거나 재처리하지 않고, 로그 상의 변경 정보만 추출하여 데이터 처리에 반영하는 방식입니다.핵심 아이디어: 변경 이벤트 중심의 데이터 최소 처리출처: 트랜잭션 로그, 바이너리 로그, Write-Ahead Log 등적용 범위: 데이터 복제, 스트리밍 분석, 비동기 동기화..

개요Change Data Capture(CDC)는 데이터베이스 내에서 발생하는 변경사항을 실시간 또는 근실시간으로 캡처하여 다른 시스템으로 전파하는 기술입니다. 기존의 배치 기반 ETL과 달리, CDC는 데이터의 변경 이벤트(삽입, 수정, 삭제)를 추적하여 스트리밍 방식으로 전달함으로써 데이터 동기화의 정확성과 속도를 크게 향상시킵니다.1. 개념 및 정의CDC는 소스 시스템의 데이터 변경을 감지하여 대상 시스템으로 전달하고 이를 실시간으로 반영하는 데이터 처리 기법입니다.적용 대상: 관계형 DB, NoSQL, 메시지 큐 등주요 방식: 로그 기반(Log-based), 트리거 기반(Trigger-based), 시간 기반(Polling)활용 목적: 데이터 복제, 실시간 분석, 마이크로서비스 간 연동2. 특징 ..

개요Materialized View Logs(MVL)는 데이터베이스에서 **물리화된 뷰(Materialized View, MV)**의 동기화를 최적화하기 위해 원본 테이블의 변경 사항을 추적하는 로그 테이블입니다. MVL은 특히 MV를 Fast Refresh 모드로 업데이트할 때 필요한 정보만 빠르게 찾아 반영할 수 있도록 해주며, **전체 테이블 스캔 없이도 효율적인 증분 갱신(incremental update)**이 가능하게 합니다.1. 개념 및 정의Materialized View는 질의 결과를 디스크에 저장해 놓은 뷰로, 성능 향상을 위해 자주 사용됩니다. MVL은 다음과 같은 구조적 목적을 가집니다:원본 테이블의 DML(Insert/Update/Delete) 변경 사항을 기록MV Fast Refr..

개요CRDT(Conflict-Free Replicated Data Types)는 네트워크 연결이 불안정하거나 분산 환경에서 동기화 없이도 데이터 충돌 없이 병렬 업데이트를 가능하게 하는 데이터 구조입니다. 동시성이 필수적인 협업 애플리케이션, 분산 데이터베이스, 오프라인 지원 시스템 등에서 높은 가용성과 일관성을 동시에 달성할 수 있어 주목받고 있습니다. 이 글에서는 CRDT의 원리, 종류, 기술적 장점과 활용 사례까지 폭넓게 다룹니다.1. 개념 및 정의CRDT는 여러 노드가 동일한 데이터를 각자 복제하고, 중앙 서버나 락(lock) 없이도 서로의 변경 사항을 안전하게 병합(merge)할 수 있도록 설계된 자료구조입니다. 모든 노드는 비동기적으로 독립된 변경을 수행할 수 있으며, 이후 최종적으로 모든 노..