ITPE * JackerLab

개요lakeFS는 데이터레이크를 위한 오픈소스 버전 관리 시스템으로, Git과 유사한 브랜치 및 커밋 기능을 지원하여 대규모 데이터 작업의 신뢰성과 재현성을 보장합니다. 데이터 엔지니어와 사이언티스트는 코드처럼 데이터를 안전하게 관리하고, 실험과 배포 과정을 체계적으로 운영할 수 있습니다.1. 개념 및 정의 항목 설명 정의객체 저장소(S3, GCS 등) 위에서 데이터 버전 관리를 제공하는 시스템목적데이터 변경을 추적 가능하게 하고, 안전한 실험 및 롤백 환경 제공주요 특징커밋, 브랜치, 머지, 리버트 등 Git과 유사한 기능 지원lakeFS는 데이터 신뢰성과 거버넌스를 동시에 확보할 수 있는 플랫폼으로 주목받고 있습니다.2. 특징특징설명기대 효과브랜치 기반 워크플로우데이터 환경을 코드처럼 관리실험/운영..

개요데이터가 폭발적으로 증가하면서, 다양한 형태의 데이터를 안정적이고 확장 가능하게 저장하는 기술이 점점 더 중요해지고 있습니다. 텍스트, 이미지, 센서, 로그, 트랜잭션 등 이질적인 데이터를 저장하기 위해 기존의 RDBMS를 넘어서 객체 저장소, NoSQL, 데이터 레이크, 파일 시스템 등 다양한 저장 기술이 등장했습니다. 이 글에서는 현대 데이터 환경에서 사용되는 주요 저장 기술과 그 특징, 선택 전략을 정리합니다.1. 데이터 저장이란? 항목 설명 정의생성된 데이터를 일정 기간 안정적으로 보존하고, 조회·분석할 수 있게 저장하는 기술적 기반목적데이터 보존, 처리 성능 확보, 검색 용이성, 보안·복구주요 고려 요소데이터 유형, 저장 용량, 확장성, 접근 속도, 비용, 정합성저장은 데이터 라이프사이클의..