728x90
반응형

데이터옵스 2

Delta Live Tables (DLT)

개요Delta Live Tables(DLT)는 Databricks에서 제공하는 스트리밍 및 배치 데이터 파이프라인의 구축, 운영, 관리를 자동화하는 프레임워크입니다. SQL 또는 Python으로 정의한 선언적 파이프라인을 기반으로, 데이터 품질, 검증, 자동화된 오류 복구, 모니터링 기능을 통합 제공하며, 데이터 팀이 신뢰할 수 있는 실시간 분석 환경을 빠르게 구축할 수 있도록 돕습니다.1. 개념 및 정의DLT는 Delta Lake 기반의 데이터 파이프라인을 코드 선언만으로 자동화된 워크플로우로 변환하는 기능입니다.SQL 및 Python 기반의 선언형 데이터 정의 (DSL)자동 검사, 모니터링, 오류 복구 내장데이터 품질 규칙 기대(expectations) 정의 가능2. 주요 기능 및 특징 기능 설명 ..

Topic 2025.06.26

Apache Iceberg Merge-On-Read (MoR)

개요Apache Iceberg의 Merge-On-Read(MoR) 모드는 데이터 레이크 환경에서 업데이트 및 삭제와 같은 변경 작업을 수행할 때, 기존 데이터 파일을 직접 수정하지 않고 별도 위치에 기록한 후, 쿼리 시점에 해당 변경 사항을 병합하여 읽는 전략입니다. 이를 통해 실시간 처리가 필요한 대용량 데이터 분석에서 고성능 쓰기와 최신 상태 조회를 동시에 달성할 수 있습니다.1. 개념 및 정의 항목 설명 정의Iceberg 테이블에서 업데이트/삭제를 별도 파일로 저장하고, 쿼리 시점에 기존 파일과 병합하여 읽는 쓰기 모드주요 목적데이터 수정을 즉시 반영하면서도, 원본 파일의 재작성 비용 최소화활용 환경데이터 웨어하우스, 스트리밍 ETL, 실시간 리포팅 등MoR은 Copy-On-Write(COW)보다..

Topic 2025.06.12
728x90
반응형