Unity Catalog

개요

Unity Catalog는 Databricks에서 제공하는 통합 데이터 거버넌스 솔루션으로, 조직의 모든 데이터 자산에 대한 중앙 집중적 카탈로그, 권한 관리, 감사 추적, 계보(라인리지) 정보를 제공하는 메타데이터 관리 플랫폼이다. Lakehouse 아키텍처에 최적화되어 있으며, 데이터 엔지니어, 분석가, 보안 관리자 모두를 위한 단일 관리 체계를 실현한다.

---

1. 개념 및 정의

항목	설명
정의	Databricks 내의 테이블, 뷰, 파일, ML 모델 등에 대한 메타데이터, 권한, 라인리지 등을 중앙 관리하는 플랫폼
역할	데이터 거버넌스, 카탈로그 관리, 접근 제어, 감사 로깅 제공
대상 환경	Databricks Lakehouse, Delta Lake 기반 워크스페이스 전반

Unity Catalog는 Azure, AWS, GCP 등 멀티 클라우드 환경에서 일관된 거버넌스 정책 적용을 가능하게 한다.

---

2. 특징

특징	설명	기존 방식과 차이점
계층적 네임스페이스	Catalog > Schema > Table 구조로 데이터 정리	Hive metastore 기반 구조보다 명확하고 통일성 높음
중앙화된 권한 제어	RBAC + Attribute 기반 접근 제어(BAC) 지원	SQL GRANT로 직관적인 정책 구성 가능
자동 데이터 계보 추적	Notebook, Job, Query 기반 Lineage 제공	수동 계보 등록 또는 외부 ETL 분석 불필요

통합 메타스토어 개념으로, 조직 전반 데이터 흐름을 통제할 수 있다.

---

3. 구성 요소

구성 요소	설명	예시
Catalog	가장 상위 네임스페이스로 조직 단위 구성	main, dev_team, finance_data
Schema	데이터베이스 단위로 테이블을 분류	transactions, logs, users
Table/View	구조화된 데이터 객체	customer_orders, ad_clicks 등
External Location	S3/GCS 등 외부 저장소 정의	s3://org-prod-data/bronze/
Permission	데이터 객체에 대한 사용자 권한 정의	GRANT SELECT ON TABLE ... TO ...

구성요소는 SQL 명령 또는 UI, REST API로 제어 가능하다.

---

4. 기술 요소 및 통합성

기술 요소	역할	적용 예시
Unity Lineage	데이터 흐름 시각화 및 추적	SQL ↔ Table ↔ Notebook 연결 맵핑
Data Sharing (Delta Sharing)	외부 조직과 안전한 데이터 공유	파트너 간 컬럼 기반 공유 제한 설정
자동 감지 스캐너	신규 테이블/파일 메타 자동 등록	Auto Catalog Discovery 기능
보안 통합	IAM 및 키 보관 정책 연계	Azure Active Directory, AWS IAM 통합

Unity Catalog는 서드파티 툴 연계 없이 Databricks 네이티브 통합 환경을 제공한다.

---

5. 장점 및 기대 효과

장점	설명	효과
데이터 거버넌스 일관성	모든 데이터 객체에 동일한 권한 정책 적용	데이터 접근 리스크 최소화
사용성 향상	SQL 기반 권한 설정, 탐색 UI 제공	Self-Service 데이터 활용 가능
감사 추적 강화	모든 쿼리, 작업, 권한 변경 로그 기록	보안 및 규제 대응성 확보

특히 GDPR, HIPAA 등 규제가 요구되는 기업에 적합하다.

---

6. 주요 활용 사례 및 고려사항

사례	설명	고려사항
다부서 협업을 위한 RBAC 구성	각 팀별 스키마 및 권한 분리 적용	사용자 그룹 정의 및 역할 할당 명확화 필요
머신러닝 모델 계보 관리	Feature Table → Model → Endpoint 추적	MLflow + UC 통합 구성 필수
감사 로그 기반 보안 감사	쿼리/변경 내역 기반의 리스크 분석	로그 보존 주기 및 익명화 정책 필요

운영 편의성과 보안 간 균형을 위한 거버넌스 설계가 핵심이다.

---

7. 결론

Unity Catalog는 Lakehouse 기반 데이터 플랫폼에서 데이터 통제, 공유, 분석을 위한 핵심 인프라로 자리잡고 있다. 데이터 자산의 신뢰성, 보안성, 추적 가능성을 보장하면서도, 사용자 중심의 셀프 서비스 데이터 접근을 가능하게 하며, 현대 데이터 조직의 거버넌스 요구를 통합적으로 만족시키는 플랫폼으로 발전하고 있다.