ITPE * JackerLab

GPU Fractional Scheduling

개요GPU Fractional Scheduling은 하나의 GPU 자원을 여러 워크로드 또는 사용자 간에 세분화하여 할당하고, 시간 또는 공간 기준으로 효율적으로 스케줄링하는 기술입니다. AI/ML 트레이닝 및 추론 워크로드, 클라우드 기반 모델 서비스 환경에서 GPU 활용률을 극대화하며 비용 효율성을 제공하는 핵심 전략으로 주목받고 있습니다.1. 개념 및 정의Fractional Scheduling은 물리적 GPU 장치를 가상적으로 분할하여 서로 다른 프로세스나 컨테이너가 GPU를 동시에 공유하게 하는 스케줄링 방식입니다.Fractional GPU: GPU 자원을 memory, SM(Core), compute time 등으로 쪼개어 사용Space Sharing: 다중 프로세스가 병렬로 실행 (MPS 기반..

개요Modular Data Center는 표준화된 모듈 단위로 구성되어, 빠른 구축, 손쉬운 확장, 에너지 효율성을 제공하는 프리패브리케이션 기반의 데이터센터입니다. 사전 제작된 IT, 전력, 냉각 모듈을 현장에 배치하는 방식으로 전통적인 데이터센터 구축의 복잡성과 비용을 혁신적으로 줄일 수 있는 차세대 인프라 모델입니다.1. 개념 및 정의모듈형 데이터센터는 컨테이너 또는 프리패브 형태로 제작된 독립적인 구성 요소를 현장에 조립하여 완성하는 데이터센터 구조입니다. 일반적으로 IT 모듈, 전력 모듈, 냉각 모듈로 구성되며, 각 모듈은 이동성과 독립 운영성을 갖추고 있습니다.이는 CAPEX 절감, TTM(Time To Market) 단축, 공간 최적화를 실현할 수 있어, 엣지 컴퓨팅, 고밀도 컴퓨팅, 임시/..