ITPE * JackerLab

개요Amazon S3 Express One Zone(S3 E1Z)은 고성능을 요구하는 애플리케이션을 위해 설계된 AWS의 최신 객체 스토리지 클래스다. 단일 가용 영역(Availability Zone)에 저장되는 구조로, 매우 낮은 지연 시간과 높은 처리량을 제공하며, 분석, 기계 학습, 임시 데이터 처리 등의 워크로드에 적합하다.1. 개념 및 정의 항목 설명 정의AWS S3의 초고속 단일 AZ 스토리지 클래스로, 저지연·고처리량 객체 스토리지목적지연 시간 민감한 애플리케이션에서 고성능 I/O를 지원하기 위해 설계필요성기존 S3 Standard의 고가용성 보장 외에도, 성능 지향적 워크로드 대응 필요2. 특징특징설명차별점단일 AZ 저장하나의 가용 영역에만 객체 저장S3 Standard는 다중 AZ 복제..

개요lakeFS는 데이터레이크를 위한 오픈소스 버전 관리 시스템으로, Git과 유사한 브랜치 및 커밋 기능을 지원하여 대규모 데이터 작업의 신뢰성과 재현성을 보장합니다. 데이터 엔지니어와 사이언티스트는 코드처럼 데이터를 안전하게 관리하고, 실험과 배포 과정을 체계적으로 운영할 수 있습니다.1. 개념 및 정의 항목 설명 정의객체 저장소(S3, GCS 등) 위에서 데이터 버전 관리를 제공하는 시스템목적데이터 변경을 추적 가능하게 하고, 안전한 실험 및 롤백 환경 제공주요 특징커밋, 브랜치, 머지, 리버트 등 Git과 유사한 기능 지원lakeFS는 데이터 신뢰성과 거버넌스를 동시에 확보할 수 있는 플랫폼으로 주목받고 있습니다.2. 특징특징설명기대 효과브랜치 기반 워크플로우데이터 환경을 코드처럼 관리실험/운영..

개요데이터가 폭발적으로 증가하면서, 다양한 형태의 데이터를 안정적이고 확장 가능하게 저장하는 기술이 점점 더 중요해지고 있습니다. 텍스트, 이미지, 센서, 로그, 트랜잭션 등 이질적인 데이터를 저장하기 위해 기존의 RDBMS를 넘어서 객체 저장소, NoSQL, 데이터 레이크, 파일 시스템 등 다양한 저장 기술이 등장했습니다. 이 글에서는 현대 데이터 환경에서 사용되는 주요 저장 기술과 그 특징, 선택 전략을 정리합니다.1. 데이터 저장이란? 항목 설명 정의생성된 데이터를 일정 기간 안정적으로 보존하고, 조회·분석할 수 있게 저장하는 기술적 기반목적데이터 보존, 처리 성능 확보, 검색 용이성, 보안·복구주요 고려 요소데이터 유형, 저장 용량, 확장성, 접근 속도, 비용, 정합성저장은 데이터 라이프사이클의..