ITPE * JackerLab

개요One Table은 Lakehouse 아키텍처에서 다양한 데이터 처리 엔진과 분석 플랫폼이 하나의 테이블 형식으로 읽고 쓸 수 있도록 지원하는 다중 엔진 호환 테이블 사양(Multi-Engine Table Spec)이다. Apache Iceberg와 Delta Lake 포맷을 상호 운용 가능하게 만드는 사양으로, 개방성과 호환성, 확장성 측면에서 데이터 생태계에 중요한 전환점을 제공한다.1. 개념 및 정의One Table은 데이터가 저장된 단일 테이블을 Iceberg, Delta Lake, Apache Spark, Trino, Flink, Hive, Dremio, Snowflake 등 다양한 엔진이 동일한 규격으로 읽고 쓸 수 있도록 중재하는 메타데이터 구조 및 포맷 인터페이스다. 구성 요소 설명 ..

개요Delta Lake는 기존 데이터 레이크에 ACID 트랜잭션, 버전 관리, 스키마 강제 등의 기능을 추가하여, 안정적이고 신뢰할 수 있는 데이터 처리 환경을 제공하는 오픈소스 스토리지 레이어이다. Databricks에서 주도하며, Apache Spark 및 Lakehouse 아키텍처의 핵심 구성요소로 채택되고 있다.1. 개념 및 정의 항목 내용 정의Apache Spark 기반 데이터 레이크에 트랜잭션, 스키마 관리, 데이터 버전 기능을 추가한 스토리지 포맷 및 레이어형식Parquet + 트랜잭션 로그(_delta_log) 기반 스토리지주체Databricks 주도, Linux Foundation Project 참여Delta Lake는 "데이터 레이크의 유연성"과 "데이터 웨어하우스의 신뢰성"을 결합한..

개요Apache Iceberg의 Merge-On-Read(MoR) 모드는 데이터 레이크 환경에서 업데이트 및 삭제와 같은 변경 작업을 수행할 때, 기존 데이터 파일을 직접 수정하지 않고 별도 위치에 기록한 후, 쿼리 시점에 해당 변경 사항을 병합하여 읽는 전략입니다. 이를 통해 실시간 처리가 필요한 대용량 데이터 분석에서 고성능 쓰기와 최신 상태 조회를 동시에 달성할 수 있습니다.1. 개념 및 정의 항목 설명 정의Iceberg 테이블에서 업데이트/삭제를 별도 파일로 저장하고, 쿼리 시점에 기존 파일과 병합하여 읽는 쓰기 모드주요 목적데이터 수정을 즉시 반영하면서도, 원본 파일의 재작성 비용 최소화활용 환경데이터 웨어하우스, 스트리밍 ETL, 실시간 리포팅 등MoR은 Copy-On-Write(COW)보다..

개요lakeFS는 데이터레이크를 위한 오픈소스 버전 관리 시스템으로, Git과 유사한 브랜치 및 커밋 기능을 지원하여 대규모 데이터 작업의 신뢰성과 재현성을 보장합니다. 데이터 엔지니어와 사이언티스트는 코드처럼 데이터를 안전하게 관리하고, 실험과 배포 과정을 체계적으로 운영할 수 있습니다.1. 개념 및 정의 항목 설명 정의객체 저장소(S3, GCS 등) 위에서 데이터 버전 관리를 제공하는 시스템목적데이터 변경을 추적 가능하게 하고, 안전한 실험 및 롤백 환경 제공주요 특징커밋, 브랜치, 머지, 리버트 등 Git과 유사한 기능 지원lakeFS는 데이터 신뢰성과 거버넌스를 동시에 확보할 수 있는 플랫폼으로 주목받고 있습니다.2. 특징특징설명기대 효과브랜치 기반 워크플로우데이터 환경을 코드처럼 관리실험/운영..

개요데이터가 폭발적으로 증가하면서, 다양한 형태의 데이터를 안정적이고 확장 가능하게 저장하는 기술이 점점 더 중요해지고 있습니다. 텍스트, 이미지, 센서, 로그, 트랜잭션 등 이질적인 데이터를 저장하기 위해 기존의 RDBMS를 넘어서 객체 저장소, NoSQL, 데이터 레이크, 파일 시스템 등 다양한 저장 기술이 등장했습니다. 이 글에서는 현대 데이터 환경에서 사용되는 주요 저장 기술과 그 특징, 선택 전략을 정리합니다.1. 데이터 저장이란? 항목 설명 정의생성된 데이터를 일정 기간 안정적으로 보존하고, 조회·분석할 수 있게 저장하는 기술적 기반목적데이터 보존, 처리 성능 확보, 검색 용이성, 보안·복구주요 고려 요소데이터 유형, 저장 용량, 확장성, 접근 속도, 비용, 정합성저장은 데이터 라이프사이클의..

개요'빅데이터'는 대량의 데이터를 수집·저장·분석하여 인사이트를 도출하는 기술과 방법론을 의미하며, 2010년대 초부터 산업 전반에서 디지털 혁신을 이끌어왔습니다. 하지만 정형·비정형 데이터를 저장하는 데 그치지 않고, AI 기반의 실시간 분석과 자동화된 의사결정까지 요구되는 시대가 도래하면서 '빅데이터 2.0' 개념이 주목받고 있습니다. 본 포스트에서는 빅데이터와 빅데이터 2.0의 개념, 기술 차이, 아키텍처, 활용 사례 등을 비교 분석합니다.1. 빅데이터(Big Data)란? 항목 설명 정의대용량, 고속, 다양한 형태의 데이터를 저장하고 분석하는 기술 및 환경특징3V(Volume, Velocity, Variety) → 이후 5V(Veracity, Value)로 확장주요 기술Hadoop, HDFS, ..

개요Lakehouse(레이크하우스)는 데이터 레이크(Data Lake)의 유연성과 데이터 웨어하우스(Data Warehouse)의 구조화된 분석 기능을 결합한 차세대 데이터 아키텍처입니다. 방대한 양의 정형, 반정형, 비정형 데이터를 하나의 플랫폼에서 저장하고 분석할 수 있도록 하며, 비용 효율성과 확장성, 실시간 분석 기능을 동시에 갖춘 혁신적 접근 방식으로 주목받고 있습니다.1. 개념 및 정의Lakehouse는 데이터 레이크 기반의 대용량 저장 구조에, 웨어하우스급 ACID 트랜잭션, 카탈로그, BI 호환성 등의 기능을 결합하여, 하나의 통합 플랫폼에서 데이터 처리와 분석을 모두 수행할 수 있도록 하는 아키텍처입니다.핵심 목적:데이터 중복 제거: 레이크와 웨어하우스 이중 유지 문제 해결실시간 분석 가..