ITPE * JackerLab

PATE-GAN(Private Aggregation of Teacher Ensembles - GAN)

개요PATE-GAN은 민감한 데이터를 보호하면서도 고품질의 합성 데이터를 생성할 수 있도록 고안된 차등 프라이버시(Differential Privacy, DP) 기반의 생성적 적대 신경망(Generative Adversarial Network) 아키텍처입니다. PATE 프레임워크와 GAN을 결합하여 민감 정보를 포함한 원본 데이터 없이도 학습 가능한 프라이버시 보존 데이터 생성을 목표로 합니다.1. 개념 및 정의 항목 설명 비고 정의PATE 구조와 GAN을 결합한 프라이버시 보존 합성 데이터 생성 모델Differential Privacy 지원목적원본 데이터 노출 없이 머신러닝 모델 학습의료, 금융 등 민감 분야 적합필요성데이터 프라이버시 보호와 데이터 활용 간의 균형 필요합법적 데이터 공유 도구로 활..

개요Data Sharing Contract Language(DSCL)는 다양한 조직 간 또는 시스템 간의 데이터 공유 시, 정책, 권한, 조건 등을 명시적으로 선언하고 자동으로 검증 가능한 계약을 정의하기 위한 특수 목적 언어입니다. DSCL은 데이터의 사용 범위, 목적 제한, 삭제 주기, 접근 권한 등 데이터 거버넌스의 핵심 요소를 기계가 이해 가능한 형식으로 기술하며, 특히 분산 데이터 환경과 개인정보 보호 규제 대응에 유용합니다.1. 개념 및 정의 항목 설명 비고 정의데이터 공유 조건을 명세하고 검증 가능한 형태로 선언하는 계약 언어정책 + 규칙 + 권한 명세 포함목적데이터 공유 시 법적/정책적 요구사항 자동 반영수동 검토에서 자동 검증으로 전환필요성다양한 파트너 간 데이터 이동 시 법적 위험 ..

개요Data Sharing Agreement Catalog(DSAC)는 조직 간 또는 내부 부서 간 데이터 공유를 체계적으로 관리하기 위한 계약 기반 메타데이터 관리 시스템입니다. 데이터 공유 시 발생하는 법적, 윤리적, 기술적 이슈를 사전에 정의된 계약 조건(Agreement)으로 표준화하고, 이를 중앙 카탈로그로 관리함으로써 데이터 거버넌스, 프라이버시 보호, 규제 준수를 지원하는 핵심 도구로 주목받고 있습니다.1. 개념 및 정의DSAC는 데이터 공유에 대한 계약 조건(공유 목적, 범위, 기간, 접근 권한 등)을 구조화된 메타데이터로 정리하고, 이를 검색, 추적, 자동화된 정책 적용이 가능하도록 중앙화된 카탈로그 형태로 관리하는 체계입니다.주요 목적은 데이터 공유의 신뢰성과 투명성을 확보하며, 조직 ..

개요One Table은 Lakehouse 아키텍처에서 다양한 데이터 처리 엔진과 분석 플랫폼이 하나의 테이블 형식으로 읽고 쓸 수 있도록 지원하는 다중 엔진 호환 테이블 사양(Multi-Engine Table Spec)이다. Apache Iceberg와 Delta Lake 포맷을 상호 운용 가능하게 만드는 사양으로, 개방성과 호환성, 확장성 측면에서 데이터 생태계에 중요한 전환점을 제공한다.1. 개념 및 정의One Table은 데이터가 저장된 단일 테이블을 Iceberg, Delta Lake, Apache Spark, Trino, Flink, Hive, Dremio, Snowflake 등 다양한 엔진이 동일한 규격으로 읽고 쓸 수 있도록 중재하는 메타데이터 구조 및 포맷 인터페이스다. 구성 요소 설명 ..

개요Unity Catalog는 Databricks에서 제공하는 통합 데이터 거버넌스 솔루션으로, 조직의 모든 데이터 자산에 대한 중앙 집중적 카탈로그, 권한 관리, 감사 추적, 계보(라인리지) 정보를 제공하는 메타데이터 관리 플랫폼이다. Lakehouse 아키텍처에 최적화되어 있으며, 데이터 엔지니어, 분석가, 보안 관리자 모두를 위한 단일 관리 체계를 실현한다.1. 개념 및 정의 항목 설명 정의Databricks 내의 테이블, 뷰, 파일, ML 모델 등에 대한 메타데이터, 권한, 라인리지 등을 중앙 관리하는 플랫폼역할데이터 거버넌스, 카탈로그 관리, 접근 제어, 감사 로깅 제공대상 환경Databricks Lakehouse, Delta Lake 기반 워크스페이스 전반Unity Catalog는 Azure..

개요데이터는 이제 ‘소유’보다 ‘공유’를 통해 더 큰 가치를 창출하는 자산이 되었습니다. 다양한 조직 간, 부서 간, 시스템 간의 데이터 연계와 협업이 중요해지며, 이를 가능하게 하는 데이터 공유 기술의 발전이 주목받고 있습니다. 본 글에서는 데이터 공유의 개념, 주요 기술 방식, 활용 모델, 플랫폼 예시 및 보안 고려사항까지 포괄적으로 정리합니다.1. 데이터 공유란? 항목 설명 정의데이터 제공자와 활용자 간 데이터 파일, API, 플랫폼 등을 통해 정보를 교환하거나 연계하는 기술적·정책적 행위목적데이터 활용 극대화, 중복 제거, 협업 기반 인사이트 확보공유 유형내부 공유(부서 간), 외부 공유(기관/기업 간), 개방형 공유(공공/민간 데이터셋)데이터 공유는 ‘데이터의 유통망’이며, 거버넌스와 기술이 ..