Flyte

개요

Flyte는 데이터, ML, 분석 파이프라인을 위한 강력하고 신뢰성 있는 오픈소스 오케스트레이션 플랫폼입니다. 쿠버네티스 기반의 분산 워크플로우 실행 환경을 제공하며, 반복 가능하고 버전 관리가 가능한 워크플로우 정의, 자동화된 리소스 스케줄링, 강력한 타입 시스템, 재시도/복구 기능 등을 포함합니다. Uber에서 개발되어 다양한 대규모 AI/데이터 환경에서 사용되고 있습니다.

---

1. 개념 및 정의

항목	내용	비고
정의	신뢰성 있고 확장 가능한 데이터/ML 워크플로우 오케스트레이터	CNCF Incubating 프로젝트
목적	복잡한 데이터 파이프라인의 구성, 실행, 추적 자동화	Kubeflow, Prefect, Airflow 대안
아키텍처	마이크로서비스 + 쿠버네티스 기반 분산 플랫폼	워크플로우는 DAG로 정의

---

2. 특징

항목	설명	비고
Python SDK 기반 정의	워크플로우와 태스크를 코드로 선언	@task, @workflow 데코레이터 활용
정적 타입 시스템	타입 안전성을 통한 안정성 확보	타입 검증 → 빌드 타임 오류 방지
DAG 기반 실행	의존성 기반 병렬/순차적 태스크 실행	복잡한 워크플로우 구성 가능
캐싱, 재시도, 체크포인팅	실패 복구와 반복 방지 기능 내장	ML/데이터 실험에 적합

→ ML/데이터 파이프라인의 “신뢰성”과 “재현성”에 중점 둔 설계

---

3. 구성 요소

구성 요소	설명	주요 기능
Flytekit	워크플로우 정의를 위한 Python SDK	함수 기반 선언 방식
Flyte Admin	워크플로우 실행 관리 및 상태 추적	UI 및 API 제공
Flyte Propeller	쿠버네티스 상에서 DAG 실행 관리	태스크 분리 실행
Flyte Console	웹 기반 UI로 실행 상태, DAG 확인	시각화 및 모니터링 기능 포함
Flyte Agent	외부 시스템 연동을 위한 실행자	Spark, Hive, AWS Sagemaker 등 연동

→ 기능 분리 아키텍처로 유지보수성과 확장성 강화

---

4. 기술 요소

기술 요소	설명	연동 사례
쿠버네티스 기반 실행	Pod 단위 태스크 컨테이너화 및 자동 확장	클러스터 자원 최적화
컨테이너화된 태스크	Docker 이미지 기반 실행 단위	재현 가능한 실행 환경 보장
버전 관리	워크플로우/태스크/파라미터 버전 관리	실험 재현 및 비교 가능
리소스 할당 제어	CPU/메모리/GPU 리소스 요청 제한 가능	ML 학습에 필수

→ 기업 환경에서도 신뢰성 있게 운영할 수 있는 인프라 친화적 구조

---

5. 장점 및 이점

항목	설명	기대 효과
반복 가능한 ML 파이프라인	버전 + 캐시 + 컨테이너 조합	실험 재현성 극대화
병렬 실행 최적화	DAG 기반 병렬 구조 자동 처리	대규모 데이터 처리 속도 개선
플랫폼 확장성	다양한 데이터 소스/워크로드 연동 가능	Agent 기반 확장 구조
배포 유연성	클라우드, 온프레미스, 하이브리드 모두 지원	보안 요건에 따라 선택 가능

→ 단일화된 코드 기반으로 데이터팀과 MLOps 팀 협업 촉진

---

6. 주요 활용 사례 및 고려사항

사례	설명	고려사항
ML 모델 학습/배포 자동화	학습 → 테스트 → 배포 전 과정을 워크플로우화	학습 파라미터와 태스크 버전 관리 필수
데이터 전처리 파이프라인	매일 수 TB 단위 데이터 정제 자동화	태스크 캐싱, 재시도 정책 설정
바이오/금융 분석 워크플로우	복잡한 계산 작업 흐름 구성	GPU 지원 및 리소스 조절 필요
연구기관 실험 추적	실험 자동화 + 결과 비교 가능	메타데이터 정합성 확보 필요

→ 태스크 간 데이터 공유 전략과 스케줄링 정책 설계가 품질에 직접 영향

---

7. 결론

Flyte는 데이터 및 머신러닝 워크플로우의 정의, 실행, 추적, 재현까지 포괄하는 완전한 오케스트레이션 플랫폼입니다. 특히, 신뢰성과 반복 가능성을 최우선으로 설계되어 대규모 ML 및 데이터 환경에서도 안정적으로 운영 가능하며, 코드 중심, 타입 안전성, 쿠버네티스 친화성 등 현대적 기술 요구에 부합하는 오픈소스 솔루션입니다.