ITPE * JackerLab

개요DataHub는 LinkedIn이 개발하고 LF AI & Data 재단이 관리하는 오픈소스 메타데이터 플랫폼으로, 대규모 데이터 환경에서 실시간 메타데이터 수집, 검색, 계보(Lineage), 품질 추적을 가능하게 하는 현대적 데이터 거버넌스 솔루션이다. 마이크로서비스 아키텍처와 Kafka 기반의 실시간 이벤트 스트리밍을 통해 지속적으로 변화하는 데이터 환경에 민첩하게 대응할 수 있다.1. 개념 및 정의 항목 설명 정의실시간 메타데이터 수집, 탐색, 계보 분석, 품질 관리, 정책 기반 거버넌스를 지원하는 오픈소스 플랫폼개발 주체LinkedIn → LF AI & Data 오픈소스 커뮤니티 주도아키텍처Kafka + GraphQL + Neo4j(또는 Elasticsearch) 기반 메타데이터 처리 플랫폼..

개요Column-Level Data Lineage는 데이터 계보 추적(Data Lineage) 중에서도 컬럼 단위까지 데이터를 추적하여, 데이터가 어떻게 생성·변환·활용되는지를 보다 정밀하게 파악할 수 있는 기법입니다. 데이터 신뢰성과 규제 준수, 오류 추적 및 품질 관리 향상을 위해 빅데이터 및 분석 시스템에서 점점 더 중요해지고 있습니다. 특히 금융, 헬스케어, 제조 등 데이터 품질이 비즈니스에 직결되는 산업에서 널리 채택되고 있습니다.1. 개념 및 정의 항목 내용 정의Column-Level Data Lineage는 데이터베이스의 테이블 내 특정 컬럼 단위로 데이터의 흐름과 연산 과정을 추적하는 기능입니다.목적데이터 품질 관리, 거버넌스, 컴플라이언스를 위한 상세한 추적 정보 확보가 목적입니다.필요..