Marquez

개요

Marquez는 데이터 파이프라인 전반의 메타데이터를 수집하고, 데이터 계보(Data Lineage)를 시각화 및 추적할 수 있도록 지원하는 오픈소스 플랫폼입니다. 주로 Apache Airflow, dbt, Spark 등과 통합되어 사용되며, 데이터의 생산부터 소비까지 전체 흐름을 추적하여 품질 관리, 데이터 거버넌스, 문제 진단을 가능하게 합니다.

---

1. 개념 및 정의

항목	내용	비고
정의	데이터 파이프라인 내 작업(Job)과 데이터셋 간 관계를 추적하는 메타데이터 서비스	LF AI & Data 프로젝트
목적	데이터 흐름 시각화 및 영향도 분석, 거버넌스 대응	ETL/ELT 관리 효율화
적용 분야	데이터 엔지니어링, 데이터 거버넌스, 감사(Audit)	데이터 플랫폼 전반

---

2. 특징

항목	설명	비고
OpenLineage 기반	OpenLineage 표준 스펙을 사용한 계보 수집	Airflow, Spark, dbt 지원
실시간 계보 추적	파이프라인 실행 시 메타데이터 자동 수집	Job 실행 시점 연동
UI 기반 시각화	데이터셋, Job 관계를 웹 UI에서 시각화	DAG 형태로 표시
API 중심 설계	RESTful API 제공으로 확장성 확보	데이터 카탈로그와 연계 가능

→ 데이터 흐름의 투명성과 감사 가능성을 동시에 확보함

---

3. 구성 요소

구성 요소	설명	주요 기능
Metadata API	메타데이터 수집 및 질의용 REST API	Job 등록, Run 트래킹 등
PostgreSQL	메타데이터 저장용 관계형 DB	영속성 및 쿼리 최적화
Web UI	데이터셋 및 Job의 계보 시각화 인터페이스	GraphView, Namespace, Search 등
Lineage Collector	OpenLineage 이벤트 수신 및 처리	Kafka/HTTP 이벤트 수신 가능
Namespace	시스템, 팀 또는 파이프라인 그룹을 분리하는 단위	다중 파이프라인 구성 관리

→ 메타데이터 수집과 탐색을 위한 구조가 모듈화되어 있음

---

4. 기술 요소

기술 요소	설명	연동 사례
OpenLineage	표준화된 계보 수집 스펙 기반	Airflow, dbt, Flink 등과 연동
DAG Visualization	UI에서 Job-Data 간 흐름 표현	Cypher DAG ↔ Job Graph
Run Status Tracking	Job의 실행 상태를 실시간 추적	Success/Fail/Running 구분 표시
Event-Driven 구조	이벤트 기반으로 계보 수집 자동화	Kafka 또는 HTTP 이벤트 핸들링

→ 계보의 신뢰성과 확장성을 모두 고려한 설계 구조

---

5. 장점 및 이점

항목	설명	기대 효과
데이터 투명성 강화	데이터 흐름 및 처리 이력 명확화	데이터 오류 원인 분석 가능
의존성 분석	데이터셋 간 영향도 확인	스키마 변경 시 영향 범위 예측
거버넌스 대응	감사(Audit) 및 규제 보고에 유리	DataOps 요구 사항 대응
도구 간 연결성	다양한 워크플로우 도구와 연계 가능	파이프라인 생태계 확대 지원

→ 데이터 운영팀, 거버넌스팀 모두에게 실질적인 가치 제공

---

6. 주요 활용 사례 및 고려사항

사례	설명	고려사항
데이터 레이크 계보 분석	수집부터 BI까지 흐름 시각화	파일 기반 데이터 추적 정확도 조정 필요
dbt 모델 추적	모델 생성 간 의존성 파악	모델명, 스키마 일관성 확보 필요
Airflow DAG 모니터링	Task별 계보 및 실행 상태 추적	DAG 구조 간결성 유지 필요
규제 보고 대응	데이터 사용 경로 및 책임자 명확화	메타데이터 갱신 주기 관리 중요

→ 계보 정확도를 위해 메타데이터 품질 관리와 표준화 정책 병행 필요

---

7. 결론

Marquez는 오픈소스 환경에서 실시간 데이터 계보를 추적하고 시각화할 수 있는 최적의 도구입니다. OpenLineage 표준 기반의 유연한 구조, 다양한 워크플로우 툴과의 연계성, 직관적인 UI는 데이터 흐름의 투명성 확보 및 거버넌스 대응에 큰 도움이 됩니다. 데이터 중심 조직 운영에 있어 핵심 메타데이터 허브 역할을 수행할 수 있습니다.