ITPE * JackerLab

개요Declarative DAG(선언형 비순환 그래프)는 데이터 파이프라인을 구성할 때, ‘무엇을 실행할 것인가’를 정의함으로써 시스템이 ‘어떻게 실행할 것인가’를 자동으로 결정하도록 하는 워크플로우 설계 방식이다. Airflow, Dagster, Prefect 등 최신 데이터 오케스트레이션 도구들이 선언형 접근을 채택하면서 생산성, 재현성, 테스트 가능성을 높이고 있다.1. 개념 및 정의Declarative DAG는 워크플로우 구성 요소(태스크, 데이터 흐름 등)를 명령형 코드 대신 구성 정보나 선언적 정의로 기술하여, 엔진이 내부적으로 실행 계획(DAG)을 자동 구성하는 방식이다.목적: 실행 방식보다 결과 중심 정의로 복잡도 감소 및 유지보수 용이성 확보핵심 원리: 시스템이 의존성과 실행 순서를 자동..

개요Volcano Scheduler는 쿠버네티스(Kubernetes) 환경에서 AI/ML, HPC, Big Data 등 고성능 연산(Batch/Job) 워크로드에 최적화된 스케줄링 기능을 제공하는 확장형 스케줄러다. 기본 kube-scheduler의 한계를 보완하며, 자원 예약, 우선순위, Job 그룹 스케줄링, 공정성(Fairness) 등 배치 컴퓨팅에 필수적인 기능들을 지원한다.1. 개념 및 정의Volcano는 쿠버네티스의 CRD(Custom Resource Definition)를 기반으로 Job 단위의 리소스 요청과 스케줄링 정책을 정의하고 실행할 수 있도록 하는 스케줄링 프레임워크이다. 쿠버네티스 네이티브 방식으로 통합되며, 대규모 AI 모델 학습, 병렬 계산 작업 등에 유용하다.목적 및 필요성고..

개요MLOps(Machine Learning Operations)와 AutoML(Automated Machine Learning)은 AI 및 머신러닝 모델의 효율적인 개발과 운영을 지원하는 핵심 기술입니다. MLOps는 머신러닝 모델의 지속적인 배포, 모니터링, 유지보수를 위한 운영 기법이며, AutoML은 모델 개발을 자동화하여 비전문가도 쉽게 AI 모델을 만들 수 있도록 돕는 기술입니다.1. MLOps란?MLOps는 머신러닝 모델의 개발, 배포, 유지보수를 자동화하고 최적화하는 DevOps 방식의 확장 개념입니다. 머신러닝 프로젝트에서 발생하는 운영상의 문제를 해결하여, 모델의 지속적인 개선과 안정적인 서비스 제공을 지원합니다.1.1 MLOps의 주요 원칙자동화된 머신러닝 파이프라인: 데이터 수집, ..