ITPE * JackerLab

개요AI/ML 모델을 실제 서비스 환경에 배포하고 운영하는 과정은 단순한 학습(training)보다 더 복잡하고 까다롭습니다. 특히 확장성, 안정성, 보안, 표준화된 관리가 필수적입니다. 이를 해결하기 위해 CNCF 산하 Kubeflow 프로젝트의 일부로 개발된 KServe는 Kubernetes 네이티브 방식의 모델 서빙 프레임워크로, AI/ML 모델 운영을 단순화하고 표준화합니다.1. 개념 및 정의KServe는 Kubernetes 상에서 머신러닝 및 딥러닝 모델을 효율적으로 배포, 확장, 관리할 수 있는 오픈소스 서빙 프레임워크입니다. 다양한 프레임워크(TensorFlow, PyTorch, XGBoost 등)에서 학습된 모델을 손쉽게 서빙할 수 있도록 지원합니다.주요 목적은 확장 가능한 모델 서빙과 운..

개요AI 엔지니어링(AI Engineering)은 인공지능 모델을 실제 서비스 및 제품에 안정적이고 지속 가능하게 적용하기 위한 종합적인 엔지니어링 접근법이다. 이는 단순한 모델 개발을 넘어, 운영 환경에서의 지속적 개선, 자동화된 배포, 거버넌스 및 모니터링 등을 포괄한다. 특히 MLOps, 신뢰 가능한 AI, 반복 가능한 학습 파이프라인 등이 중심 요소로 부각되고 있다.1. 개념 및 정의AI 엔지니어링은 AI 모델을 산업 현장에 실제로 통합하고 운영하기 위한 기술, 프로세스, 도구의 총합이다.목적: AI 모델의 일관된 개발, 검증, 배포 및 운영 체계화필요성: PoC 단계를 넘어 실제 프로덕션 환경에서의 안정적 운영 필요성 증가핵심 개념: 지속 가능한 모델 관리, 운영 자동화, 모델 신뢰성 확보2. ..

개요Seldon Core는 머신러닝 모델을 Kubernetes 환경에 안정적이고 확장 가능하게 배포(서빙)할 수 있도록 지원하는 오픈소스 MLOps 플랫폼입니다. REST/gRPC API, A/B 테스트, Canary 배포, 모델 해석성(Explainability) 등 다양한 기능을 제공하며, 다양한 프레임워크와 언어의 모델을 통합 관리할 수 있습니다. 본 글에서는 Seldon Core의 핵심 기능, 아키텍처, 활용 전략을 소개합니다.1. 개념 및 정의Seldon Core는 컨테이너화된 머신러닝 모델을 Kubernetes 상에서 배포하고, 서빙하며, 운영할 수 있는 MLOps 인프라입니다. 모델을 마이크로서비스로 감싸고, 서비스 메쉬 및 모니터링 도구와 통합하여 프로덕션 수준의 배포 자동화, 트래픽 제어..