728x90
반응형

datalineage 2

Apache Atlas

개요Apache Atlas는 엔터프라이즈 환경에서 메타데이터를 효율적으로 관리하고 데이터 거버넌스를 구현하기 위한 오픈소스 프레임워크입니다. 주로 Hadoop 에코시스템을 위한 메타데이터 관리 도구로 시작되었으나, 현재는 다양한 데이터 플랫폼과 연동되어 메타데이터 수집, 분류, 계보 추적(Lineage), 보안 정책 적용 등 폭넓은 기능을 지원합니다.1. 개념 및 정의 항목 내용 정의메타데이터 수집, 관리, 검색, 시각화를 통해 데이터 자산을 통합 관리하는 프레임워크목적데이터 자산에 대한 가시성 확보, 거버넌스, 컴플라이언스 대응필요성분산된 데이터 환경에서 메타데이터 일관성 유지와 규정 준수 보장 필요2. 주요 특징특징설명효과메타데이터 저장소다양한 소스의 기술/비즈니스 메타데이터 통합통합 관리 기반 제..

Topic 2025.12.19

OpenLineage

개요OpenLineage는 데이터 파이프라인의 흐름을 추적하고 분석할 수 있도록 돕는 오픈소스 메타데이터 표준 프레임워크입니다. 데이터의 생산부터 소비까지의 경로(Lineage)를 표준화된 방식으로 수집·분석함으로써 데이터 품질, 거버넌스, 디버깅에 핵심 역할을 합니다. 본 글에서는 OpenLineage의 구조, 주요 기능, 기술 요소 및 활용 방안을 심층적으로 소개합니다.1. 개념 및 정의 항목 설명 정의데이터 워크플로우 내에서 발생하는 메타데이터를 수집하여, 데이터 이동 경로를 표준화된 방식으로 기록하는 오픈소스 프로젝트주요 목적데이터 파이프라인 추적, 품질 관리, 오류 진단 자동화배경Marquez 프로젝트 기반, LF AI & Data 재단 주도OpenLineage는 Airflow, Spark, ..

Topic 2025.06.11
728x90
반응형