Substrait (Portable SQL IR)

개요

현대 데이터 분석 환경은 다양한 SQL 기반 시스템들(예: Spark, Trino, DuckDB, ClickHouse 등)이 공존하면서, 쿼리 논리 구조와 실행 계획의 이식성(portability) 문제가 부각되고 있습니다. 이러한 문제를 해결하기 위해 등장한 것이 Substrait입니다. Substrait는 SQL 쿼리의 의미적 표현을 추상화한 중간 표현(IR: Intermediate Representation) 포맷으로, 서로 다른 엔진 간 쿼리 공유, 최적화, 실행을 가능하게 하는 범용 쿼리 정의 표준입니다.

---

1. 개념 및 정의

Substrait는 SQL을 비롯한 선언적 쿼리 언어를 공통된 중간 형식으로 변환하여, 서로 다른 분석 시스템 간 논리적 쿼리 표현, 최적화 계획, 실행 연산자 정의를 통일할 수 있게 해주는 포맷입니다. Apache Arrow 기반 생태계와 긴밀히 연동되며, protobuf 기반으로 설계되어 경량화 및 직렬화가 용이합니다.

---

2. 특징

항목	Substrait	기존 SQL 처리 방식
표현 형식	Protobuf 기반 중간 표현(IR)	각 엔진 내부 독자적 표현
이식성	높음 (시스템 간 공유 가능)	낮음 (엔진 종속적)
최적화 제어	외부 최적화기 연동 가능	엔진 내부 전용 최적화기만 사용
실행 연동	LLVM, Velox, DataFusion 등과 연계	실행 엔진 종속

Substrait는 SQL ↔ IR ↔ 최적화기 ↔ 실행 엔진 구조를 유연하게 분리할 수 있게 합니다.

---

3. 구성 요소

구성 요소	설명	역할
Plan	전체 쿼리 논리 구조	Relation, Extension 등 포함
Relation	Scan, Filter, Join 등 연산자 표현	SQL의 FROM, WHERE, JOIN 대응
Function Extensions	UDF, UDAF 등의 함수 정의 모듈	엔진 간 사용자 함수 호환성 확보
Type System	정적 타입 체계	Arrow 기반 데이터 타입 명시
Expression	함수, 컬럼, 조건 등 표현식	SELECT, WHERE, GROUP BY 대응

이러한 구조는 엔진-독립적인 쿼리 계획 전달 및 최적화 모듈 삽입을 가능하게 합니다.

---

4. 기술 요소

기술	설명	적용 역할
Protobuf 기반 직렬화	경량화된 이식 가능한 바이너리 포맷	시스템 간 쿼리 교환 및 RPC 전송
Extension Mechanism	함수/데이터 타입 커스터마이징 지원	벤더별 기능 추가 및 호환성 보장
Velox 연동	Meta 개발 실행 엔진과의 연동	Substrait → 실행 계획 변환에 활용
Apache Arrow 통합	공통 메모리 포맷과 타입 체계 공유	고속 실행 엔진과의 연결성 강화

Substrait는 오픈 생태계 내 다양한 분석 도구와 연계 가능한 표준 포맷입니다.

---

5. 장점 및 이점

장점	설명	기대 효과
분석 시스템 간 호환성	Substrait 기반으로 쿼리 공유 가능	Spark ↔ Trino ↔ DuckDB 간 쿼리 이식 가능
실행 엔진 자유도	IR → 다양한 백엔드 실행 엔진 연계 가능	최적화 분리 및 성능 실험 가능
중립적 최적화기 적용	Substrait IR 기반 외부 최적화기 적용	데이터 엔진 외부에서 조정 가능
성능 개선	LLVM 기반 실행 최적화 가능	쿼리 실행 속도 향상

특히 데이터 레이크/하우스, 멀티 클라우드 환경에서 가치가 높습니다.

---

6. 주요 활용 사례 및 고려사항

활용 분야	적용 예시	고려사항
쿼리 변환기	Spark SQL → Substrait → DuckDB 변환	완전한 연산자 매핑 여부 확인 필요
외부 최적화기	Cost-based Optimizer 적용	통계 정보 연동 필요
다중 백엔드 실행	하나의 IR로 다양한 엔진에서 실행	실행계 커넥터 개발 필수
분석 SaaS 플랫폼	다양한 고객별 엔진 대응 구조 설계	확장 규약 관리 체계 필요

현재는 Join, Aggregate 등 주요 연산자를 우선 지원하며, 향후 ML 연산자 등으로 확장 예정입니다.

---

7. 결론

Substrait는 SQL 처리 구조를 유연하게 분리하고, 다양한 데이터 시스템 간 쿼리 호환성과 실행 유연성을 높여주는 차세대 중간 표현 표준입니다. 특히 오픈소스 생태계와 상업용 분석 엔진 간의 호환성을 확보하고자 하는 기업 및 개발자들에게 필수적인 프레임워크로 자리잡고 있습니다. 향후 분석 플랫폼 아키텍처에서 Substrait 기반 계획 처리 구조는 더욱 보편화될 것으로 전망됩니다.