Iceberg REST Catalog (IRC)
개요
Iceberg REST Catalog(IRC)는 Apache Iceberg에서 정의한 RESTful API 기반 메타데이터 카탈로그 프로토콜로, 다양한 클라이언트(엔진, 도구, 서비스)가 Iceberg 테이블에 대한 메타데이터를 표준 방식으로 접근할 수 있도록 지원하는 컴포넌트입니다. 기존 Hive Metastore의 한계를 극복하고, REST 기반의 클라우드 친화적, 확장 가능한 메타데이터 서비스 아키텍처로 전환하는 핵심 기술로 주목받고 있습니다.
1. 개념 및 정의
IRC는 Apache Iceberg의 테이블, 스냅샷, 분할(partition), 메타데이터 파일 등 객체들에 대한 읽기/쓰기 인터페이스를 REST API로 제공하는 카탈로그 서비스입니다.
이로써 Presto, Trino, Spark, Flink 등 다양한 쿼리 엔진 및 메타데이터 처리 도구가 동일한 REST 스펙을 기반으로 Iceberg 테이블을 조회하고, 등록하고, 업데이트할 수 있습니다.
2. 특징
| 특징 | 설명 | 기존 Hive Metastore 대비 장점 |
| RESTful API 인터페이스 | HTTP 기반의 표준 API 호출 | 언어/플랫폼 독립성 확보 |
| 메타데이터 객체화 | 테이블/스냅샷/파일 구조를 명확히 분리 | 구조적 탐색과 분산 병렬 처리 용이 |
| 클라우드 네이티브 설계 | 인증, 확장성, 배포 유연성 내장 | K8s 기반 운영에 적합 |
IRC는 Iceberg의 오픈한 메타데이터 생태계를 지향합니다.
3. 구성 요소
| 구성 요소 | 설명 | 연동 대상 |
| REST Catalog Service | Iceberg 카탈로그 정보를 REST로 제공 | Trino, Spark, Flink, Dremio |
| Object Store Backend | 메타데이터 파일 저장소 (JSON/Parquet 등) | S3, HDFS, GCS, Azure Blob |
| 인증/권한 엔진 | 카탈로그 API 호출에 대한 제어 | OAuth2, JWT, API Gateway 연동 |
| Versioned Metadata Engine | Iceberg 테이블의 버전, 스냅샷 관리 | Git-like metadata tree |
서비스로서 운영되는 메타데이터 서버 형태로 구축됩니다.
4. 기술 요소
| 기술 요소 | 설명 | 사용 기술 |
| REST API 설계 | OpenAPI 기반 API 명세 제공 | JSON over HTTP, Swagger |
| 테이블 식별 체계 | Catalog/Namespace/Table 구조 | Iceberg URI Scheme (iceberg://) |
| ACID 스냅샷 처리 | Append/Overwrite/Delete 트랜잭션 처리 | Snapshot Isolation + Manifest Tree |
| 다중 엔진 지원 | 다양한 쿼리 엔진과 REST 연동 가능 | Trino, Spark 3.x, Flink 1.16+ |
IRC는 Iceberg를 진정한 다중 엔진 호환 데이터레이크 포맷으로 확장합니다.
5. 장점 및 이점
| 장점 | 설명 | 기대 효과 |
| 확장성과 호환성 | 표준 API로 다양한 도구와 연동 가능 | 도구 선택 유연성 증가 |
| 운영 간소화 | 메타스토어 설치/운영 없이 REST로 대체 | 유지보수 및 배포 부담 완화 |
| 보안/접근 통제 강화 | API 게이트웨이와 인증 연동 가능 | 다중 사용자 환경에 안전한 구조 |
IRC는 Iceberg를 메타데이터 API 기반 플랫폼으로 진화시킵니다.
6. 주요 활용 사례 및 고려사항
| 사례 | 활용 방식 | 고려사항 |
| 다중 쿼리 엔진 통합 | Trino, Spark, Flink에서 동일 카탈로그 접근 | API 호출 속도 및 캐싱 전략 필요 |
| 클라우드 환경 배포 | Kubernetes 기반 REST 카탈로그 배포 | 인증/로그 처리 구조 설계 필수 |
| 데이터 제품 기반 아키텍처 | 도메인별 테이블을 REST로 모듈화 | 네임스페이스 관리 및 API 네이밍 설계 필요 |
IRC는 단일 통합 카탈로그보다는 서비스형 모듈화 모델에 적합합니다.
7. 결론
Iceberg REST Catalog는 현대적인 데이터레이크 아키텍처에 맞춰 메타데이터 관리를 클라우드 네이티브, API 기반으로 전환하는 핵심 기술입니다. 다양한 쿼리 엔진의 연결 지점이자, 테이블 상태 관리, 스냅샷 탐색, 권한 통제의 중심점으로서 IRC는 Iceberg 기반 데이터 아키텍처의 확장성과 실용성을 크게 높이며, 앞으로의 데이터 메시 및 데이터 제품화 전략에서도 중요한 인프라 컴포넌트로 자리잡을 것입니다.