ITPE * JackerLab

개요AI/ML 모델을 실제 서비스 환경에 배포하고 운영하는 과정은 단순한 학습(training)보다 더 복잡하고 까다롭습니다. 특히 확장성, 안정성, 보안, 표준화된 관리가 필수적입니다. 이를 해결하기 위해 CNCF 산하 Kubeflow 프로젝트의 일부로 개발된 KServe는 Kubernetes 네이티브 방식의 모델 서빙 프레임워크로, AI/ML 모델 운영을 단순화하고 표준화합니다.1. 개념 및 정의KServe는 Kubernetes 상에서 머신러닝 및 딥러닝 모델을 효율적으로 배포, 확장, 관리할 수 있는 오픈소스 서빙 프레임워크입니다. 다양한 프레임워크(TensorFlow, PyTorch, XGBoost 등)에서 학습된 모델을 손쉽게 서빙할 수 있도록 지원합니다.주요 목적은 확장 가능한 모델 서빙과 운..

개요클라우드 네이티브 환경에서 AI/ML, HPC(고성능 컴퓨팅), 데이터 분석 등 배치 워크로드(batch workload) 실행 수요가 급격히 증가하고 있습니다. 하지만 기본 Kubernetes 스케줄러는 배치 처리에 특화되지 않아, 대규모 리소스 관리와 공정성(Fairness) 보장에 한계가 있습니다. 이를 해결하기 위해 CNCF 산하에서 개발된 프로젝트가 바로 Kueue입니다.1. 개념 및 정의Kueue는 Kubernetes 환경에서 배치 워크로드를 효율적으로 스케줄링하고 큐 관리 기능을 제공하는 오픈소스 프레임워크입니다.주요 목적은 리소스 활용 최적화, 공정한 배치 실행, 클라우드 네이티브 워크로드 자동화입니다.2. 특징 특징 기존 Kubernetes 스케줄러 Kueue 배치 처리제한적대규모..