728x90
반응형

데이터 파이프라인 3

Delta Sharing

개요Delta Sharing은 다양한 플랫폼 간에 안전하고 효율적으로 데이터를 공유할 수 있도록 설계된 오픈 소스 데이터 공유 프로토콜입니다. Databricks에서 주도하여 개발되었으며, Delta Lake 포맷을 기반으로 하되 Apache Arrow, Parquet 등의 오픈 포맷과 호환되는 구조로, 조직 간 실시간 데이터 협업과 분석을 가능하게 합니다. 데이터 레이크에서 직접 데이터를 공유함으로써 복잡한 ETL, 복사 작업 없이 효율적인 데이터 활용이 가능합니다.1. 개념 및 정의 항목 설명 정의Delta Sharing은 오픈 포맷 데이터를 다양한 클라이언트와 안전하게 공유하기 위한 REST 기반 프로토콜입니다.목적플랫폼, 언어, 클라우드 환경과 무관한 안전하고 통합된 데이터 공유 실현필요성사일로..

Topic 2025.05.15

CAEP (Continuous Access Evaluation Protocol)

개요CAEP(Continuous Access Evaluation Protocol)은 클라우드 기반 보안 환경에서 사용자나 디바이스의 상태 변화에 따라 실시간으로 액세스 권한을 재평가할 수 있도록 설계된 개방형 보안 프로토콜입니다. OAuth 2.0과 OpenID Connect를 기반으로 하며, 토큰 유효 기간에 의존하지 않고 동적으로 정책 변경이나 리스크 이벤트를 반영하여 세션을 관리할 수 있게 해 줍니다. Microsoft, Google, Cisco, Okta 등이 참여한 OpenID Foundation WG에서 표준화가 진행되고 있습니다.1. 개념 및 정의 항목 설명 정의CAEP는 사용자 상태 변화나 정책 변경에 따라 인증 세션을 실시간으로 무효화하거나 재검토하는 프로토콜입니다.목적동적 정책 반영과..

Topic 2025.05.14

MLOps(Machine Learning + Operations)

개요MLOps(Machine Learning Operations)는 머신러닝 모델의 개발(ML Development)과 운영(IT Operations)을 통합하여 모델의 배포, 모니터링, 유지보수를 자동화하는 접근 방식입니다. 이를 통해 머신러닝 모델을 더욱 신속하게 배포하고, 안정적으로 운영할 수 있으며, 지속적인 개선과 최적화를 가능하게 합니다. 본 글에서는 MLOps의 개념, 핵심 원칙, 주요 도구, 장점, 활용 사례 및 도입 시 고려사항을 살펴봅니다.1. MLOps란 무엇인가?MLOps는 머신러닝 모델을 운영 환경에 원활하게 배포하고 지속적으로 유지할 수 있도록 지원하는 방법론입니다. DevOps와 유사하게, MLOps는 모델 개발, 테스트, 배포, 모니터링을 자동화하여 전체 머신러닝 라이프사이클..

Topic 2025.03.11
728x90
반응형