Declarative DAG

개요

Declarative DAG(선언형 비순환 그래프)는 데이터 파이프라인을 구성할 때, ‘무엇을 실행할 것인가’를 정의함으로써 시스템이 ‘어떻게 실행할 것인가’를 자동으로 결정하도록 하는 워크플로우 설계 방식이다. Airflow, Dagster, Prefect 등 최신 데이터 오케스트레이션 도구들이 선언형 접근을 채택하면서 생산성, 재현성, 테스트 가능성을 높이고 있다.

---

1. 개념 및 정의

Declarative DAG는 워크플로우 구성 요소(태스크, 데이터 흐름 등)를 명령형 코드 대신 구성 정보나 선언적 정의로 기술하여, 엔진이 내부적으로 실행 계획(DAG)을 자동 구성하는 방식이다.

• 목적: 실행 방식보다 결과 중심 정의로 복잡도 감소 및 유지보수 용이성 확보
• 핵심 원리: 시스템이 의존성과 실행 순서를 자동 추론
• 주요 대상: 데이터 파이프라인, ML 워크플로우, ETL 등 복합 프로세스

---

2. 특징

항목	명령형 DAG	선언형 DAG
정의 방식	코드 기반 명령 나열	구성 정보 선언
유연성	높음 (세밀 제어 가능)	중간 수준 (추상화 존재)
유지보수성	낮음 (코드 복잡성)	높음 (구조 명확)

• 차별점: 사용자는 의존성이나 순서를 직접 코딩하지 않고 결과 정의에 집중
• 유사 개념: Terraform(인프라), dbt(데이터 모델)와 유사한 선언형 철학 적용

---

3. 구성 요소

구성 요소	설명	예시 도구
Task 정의	실행 단위의 목적 정의	SQL, Python 블록 등
Dependencies 추론	자동 의존성 그래프 생성	Dagster, Mage, Prefect
Scheduler	정의된 DAG 실행 엔진	Airflow, Argo, Prefect

• YAML, JSON, DSL 등 구성 언어로 정의 가능
• Tagging, Retry 정책, SLA 설정 등 메타 정보도 선언적으로 기술 가능

---

4. 기술 요소

기술 요소	설명	장점
DAG Parser	선언형 구성 → DAG 그래프 변환	자동화, 검증 가능
Rehydration Engine	중단된 태스크 재실행 자동화	복원력 향상
Testable DAG	유닛 테스트 가능한 태스크 단위	안정성 증가

• Dynamic DAG 생성도 가능하며, 외부 API 연동 통해 DAG 변경 가능
• Workflow as Code 패러다임을 구성하는 핵심 기술 요소로 부상 중

---

5. 장점 및 이점

장점	설명	기대 효과
개발 생산성 향상	단순 선언으로 파이프라인 구성	빠른 구현과 변경 용이
가시성 확보	DAG 구조 자동 시각화 가능	디버깅 및 리뷰 수월
테스트 및 재현성	코드 기반 테스트 연계 가능	CI/CD 및 품질 보장

• 복잡한 ETL 파이프라인에도 적용 가능하며, 개발자 간 협업에 유리
• 변경 이력 추적과 버전 관리를 통한 품질 유지 가능

---

6. 주요 활용 사례 및 고려사항

활용 사례	설명	고려사항
데이터 분석 플랫폼	주기적 데이터 수집/정제/시각화 자동화	의존성 충돌 방지 필요
머신러닝 모델 파이프라인	학습, 평가, 배포 단계 자동화	리소스 관리 및 캐싱 전략 필요
이벤트 기반 데이터 처리	센서/로그 기반 실시간 처리	선언형 표현식 확장성 고려

• 제약사항: 복잡한 제어 흐름(조건문, 루프 등)은 표현에 한계 존재
• 보안/권한: 작업별 정책 및 사용자 권한 분리 설정 필요

---

7. 결론

Declarative DAG는 데이터 중심 업무에서 코드 복잡도를 줄이고, 재현성과 유지보수성을 획기적으로 향상시키는 설계 철학이다. 특히, 협업 중심의 대규모 데이터 플랫폼에서 선언형 워크플로우는 안정적이고 확장 가능한 파이프라인 구축에 적합하다. 향후 코드 추론, 자동 생성, 시각화와 결합된 ‘스마트 오케스트레이션’의 핵심 기술로 발전할 가능성이 높다.