One Table (Lakehouse Multi-Engine Table Spec)

개요

One Table은 Lakehouse 아키텍처에서 다양한 데이터 처리 엔진과 분석 플랫폼이 하나의 테이블 형식으로 읽고 쓸 수 있도록 지원하는 다중 엔진 호환 테이블 사양(Multi-Engine Table Spec)이다. Apache Iceberg와 Delta Lake 포맷을 상호 운용 가능하게 만드는 사양으로, 개방성과 호환성, 확장성 측면에서 데이터 생태계에 중요한 전환점을 제공한다.

---

1. 개념 및 정의

One Table은 데이터가 저장된 단일 테이블을 Iceberg, Delta Lake, Apache Spark, Trino, Flink, Hive, Dremio, Snowflake 등 다양한 엔진이 동일한 규격으로 읽고 쓸 수 있도록 중재하는 메타데이터 구조 및 포맷 인터페이스다.

구성 요소	설명
Transaction Log	Iceberg 및 Delta의 로그 파일을 함께 관리
Table Metadata	포맷 간 공통 테이블 구조 메타데이터 정의
Compatibility Layer	Iceberg ↔ Delta 변환을 위한 어댑터 역할 수행
Engine Plugin	Spark, Flink, Trino 등 엔진별 읽기/쓰기 인터페이스

---

2. 특징

항목	One Table	Delta Lake	Apache Iceberg
다중 엔진 지원	예 (공식 목표)	Spark 중심	Trino, Flink 중심
버저닝 / 시간여행	지원	지원	지원
스키마 진화	지원	지원	지원
ACID 트랜잭션	지원	강력 지원	강력 지원
호환성 계층	Iceberg/Delta 교차 지원	제한적	제한적

• Lakehouse 중립화: 특정 포맷 종속 없이 다양한 분석/ETL 엔진 연동 가능
• 포맷 호환 통합: Delta의 트랜잭션 로그와 Iceberg의 manifest 구조를 연결
• 오픈 생태계 확장: 다양한 도구 및 클라우드 벤더 간 상호 운용성 제공

---

3. 기술 요소

기술 요소	설명	활용 사례
Delta Log Translator	Delta Lake의 _delta_log를 Iceberg manifest로 변환	Databricks ↔ Flink 간 연동
Iceberg Catalog Adapter	Iceberg의 metadata.json을 Delta 엔진에서 파싱	Dremio ↔ Spark 연결
One Table Schema	테이블 스키마, partition, snapshot 정의 표준화	여러 엔진 간 schema sync
Parquet 기반 스토리지	데이터 포맷은 공통적으로 Parquet 기반 사용	객체 스토리지 연동 기반 운영

---

4. 장점 및 이점

장점	설명	기대 효과
엔진 독립성 확보	특정 벤더 종속 없이 다양한 워크로드 실행	클라우드 비용 최적화 및 유연성 증가
기술 생태계 연결	Spark, Flink, Trino, Dremio 등 간 데이터 연동	개발 및 분석 워크플로우 일원화
테이블 사양 단순화	메타데이터 형식 표준화	운영 복잡성 및 마이그레이션 비용 감소
커뮤니티 중심 확장	오픈 커뮤니티에서 합의된 표준 기반 확장	벤더 간 잠금 효과 감소, 진입 장벽 완화

---

5. 주요 활용 사례 및 고려사항

사례	적용 방식	고려사항
금융 분석 플랫폼	Delta 기반으로 수집, Flink로 실시간 분석	일관된 스냅샷 구조 유지 필수
다중 클라우드 DW 운영	AWS → Azure 간 Iceberg ↔ Delta 데이터 공유	Object Storage 권한 통합 필요
ML Feature Store	Spark ↔ Trino 간 테이블 동기화	스키마 진화 정책 정의 필요

• 트랜잭션 충돌 방지 및 잠금 전략 설계 필요
• 데이터 파일은 공유하되, 메타데이터 로그 일관성 유지가 핵심

---

6. 결론

One Table은 Lakehouse 시대에 데이터 형식의 표준화와 상호 운용성을 실현하기 위한 중요한 이정표이다. 다양한 엔진 간 데이터 공유, 분석, 처리를 단일 테이블 구조로 통합함으로써, 운영 복잡성을 줄이고 데이터 기반 의사결정 속도를 가속화한다. 앞으로의 데이터 아키텍처는 One Table 같은 다중 포맷 호환 사양을 중심으로 진화할 것이다.