ITPE * JackerLab

개요Pachyderm은 머신러닝 및 데이터 엔지니어링을 위한 데이터 중심의 MLOps 플랫폼으로, Git과 유사한 방식의 데이터 버전 관리와 자동화된 파이프라인 실행을 제공합니다. Kubernetes 기반에서 작동하며, 반복 가능하고 추적 가능한 ML 워크플로우 구축을 가능하게 합니다.1. 개념 및 정의 항목 설명 정의데이터 버전 관리와 파이프라인 자동화를 지원하는 MLOps 플랫폼목적머신러닝 실험의 반복성과 재현성을 확보필요성모델 뿐 아니라 데이터 변경 이력도 관리하는 체계적 MLOps 구조 필요Pachyderm은 Git for Data를 표방하며, 코드뿐 아니라 데이터의 변경 추적과 분기(Branching)를 지원2. 특징특징설명비교데이터 버전 관리Git과 유사한 커밋, 브랜치 구조DVC, Lake..

개요Dagster는 데이터 파이프라인을 선언적으로 정의하고, 재사용 가능하며, 디버깅과 테스트가 쉬운 방식으로 관리할 수 있도록 설계된 모던 데이터 오케스트레이션 플랫폼입니다. Airflow, Prefect 등 기존 워크플로우 툴의 단점을 보완하면서 데이터 중심 개발자 경험, 타입 안전성, 실시간 관찰성을 제공하는 것이 특징입니다.1. 개념 및 정의Dagster는 데이터 파이프라인을 코드로 정의하고, 파이프라인 실행 및 스케줄링, 모니터링, 상태 추적을 지원하는 Python 기반 오픈소스 오케스트레이터입니다.목적: 신뢰성 있는 데이터 파이프라인 구축과 운영을 단순화개념 모델: 작업(Task)이 아닌 데이터 흐름 중심의 “Asset” 기반비교 대상: Apache Airflow, Prefect, Luigi ..