ITPE * JackerLab

개요Flyte는 데이터, ML, 분석 파이프라인을 위한 강력하고 신뢰성 있는 오픈소스 오케스트레이션 플랫폼입니다. 쿠버네티스 기반의 분산 워크플로우 실행 환경을 제공하며, 반복 가능하고 버전 관리가 가능한 워크플로우 정의, 자동화된 리소스 스케줄링, 강력한 타입 시스템, 재시도/복구 기능 등을 포함합니다. Uber에서 개발되어 다양한 대규모 AI/데이터 환경에서 사용되고 있습니다.1. 개념 및 정의 항목 내용 비고 정의신뢰성 있고 확장 가능한 데이터/ML 워크플로우 오케스트레이터CNCF Incubating 프로젝트목적복잡한 데이터 파이프라인의 구성, 실행, 추적 자동화Kubeflow, Prefect, Airflow 대안아키텍처마이크로서비스 + 쿠버네티스 기반 분산 플랫폼워크플로우는 DAG로 정의2. ..

개요Prefect 2.0은 Python 기반의 데이터 워크플로우 오케스트레이션 프레임워크로, 복잡한 데이터 파이프라인을 코드 기반으로 정의하고 신뢰성 있게 실행 및 모니터링할 수 있도록 설계되었습니다. 기존 Prefect 1.0의 DAG 기반에서 벗어나 동적, 이벤트 기반 워크플로우를 지원하며, 유연성과 확장성이 뛰어난 현대적 오케스트레이션 플랫폼으로 진화했습니다.1. 개념 및 정의 항목 내용 비고 정의Python 코드로 데이터 워크플로우를 선언하고 오케스트레이션하는 프레임워크PrefectHQ 개발, 오픈소스 기반목표코드 중심의 선언적 + 동적 파이프라인 구현Apache Airflow 대안주요 대상데이터 엔지니어, ML 엔지니어, 분석팀Python 친화적 환경 선호 조직2. 특징항목설명비고DAG 비의..

개요SQLMesh는 SQL 기반의 데이터 워크플로우를 보다 체계적이고 안정적으로 관리하기 위한 오픈소스 데이터 오케스트레이션 프레임워크이다. 모델 버전 관리, 테스트, 캐싱, 재현성 확보 등 데이터 엔지니어링의 복잡성을 획기적으로 줄이기 위해 설계되었다. dbt의 대안 또는 보완재로 주목받으며, 프로덕션 수준의 데이터 파이프라인 구현을 단순화한다.1. 개념 및 정의SQLMesh는 Python 없이도 SQL만으로 데이터 파이프라인의 정의, 테스트, 실행, 변경 관리까지 가능한 플랫폼으로, 특히 데이터 모델의 변경 사항을 추적하고 안전하게 배포하는 기능에 초점을 맞추고 있다.목적: SQL로 데이터 모델링과 파이프라인을 구성하며 데이터 품질과 유지관리성을 확보기반 원리: SQL-centric 접근으로 DevO..