ITPE * JackerLab

Column-Level Lineage with OpenLineage v1.2

개요OpenLineage는 데이터 파이프라인의 실행과 흐름을 표준화된 방식으로 기록하는 메타데이터 계보(lineage) 표준입니다. v1.2 버전에서는 특히 컬럼 단위 계보(Column-Level Lineage) 추적 기능이 공식 지원되면서, 데이터 품질 추적, 규정 준수, 영향도 분석에서의 실용성이 크게 향상되었습니다.1. 개념 및 정의Column-Level Lineage는 테이블 간의 흐름뿐만 아니라, 개별 컬럼 간 데이터 변환 및 이동을 정밀하게 추적하는 메타데이터 구조를 의미합니다.OpenLineage v1.2: 컬럼 종속성 명시 기능 포함Input/Output Facets: 컬럼 입출력 간 매핑 정보 제공명시적 ColumnMapping: 변환 로직 기반 의존성 정의 가능2. 특징 특징 설명 ..

Anomaly-Kill Switch

개요Anomaly-Kill Switch는 시스템에서 비정상적인 패턴이 탐지되었을 때, 자동으로 기능을 비활성화하거나 제한하여 손해를 최소화하고 회복 시간을 단축하는 보호 전략입니다. 실시간 이상 탐지 기술과 연계되어 비즈니스 운영 중단을 최소화하며, 고가용성·보안·서비스 품질을 유지하는 데 필수적입니다.1. 개념 및 정의Anomaly-Kill Switch는 애플리케이션, 인프라, API, 머신러닝 모델 등에서 이상 상황 발생 시 사전에 정의된 정책에 따라 해당 기능이나 경로를 ‘강제 중단(kill)’하여 확산을 방지하는 자동화된 보호 장치입니다.Anomaly Detection: 정상 시나리오에서 벗어난 상태 탐지 (통계, ML 기반)Kill Switch: 조건 만족 시 즉시 실행되는 기능 비활성화 트리거..

eBPF Rootkit Detection

개요eBPF(extended Berkeley Packet Filter)는 리눅스 커널 공간에서 유저 공간의 개입 없이 다양한 커널 이벤트를 관찰하고 조작할 수 있는 고성능 확장 기술입니다. 이 특성을 활용하여 시스템 콜 후킹, 커널 오브젝트 은폐 등으로 동작하는 Rootkit을 탐지하는 전략이 eBPF Rootkit Detection입니다.1. 개념 및 정의eBPF Rootkit Detection은 커널의 syscall, tracepoint, kprobe, LSM hook 등 다양한 관측 지점을 활용하여 악성 행위를 실시간으로 탐지하는 방식입니다.eBPF 프로그램: 커널 내 이벤트에 반응하여 실행되는 작은 코드 조각Rootkit: 탐지 회피 및 권한 탈취를 목적으로 커널 내부 조작을 수행하는 악성 코드D..