GPU Fractional Scheduling

개요

GPU Fractional Scheduling은 하나의 GPU 자원을 여러 워크로드 또는 사용자 간에 세분화하여 할당하고, 시간 또는 공간 기준으로 효율적으로 스케줄링하는 기술입니다. AI/ML 트레이닝 및 추론 워크로드, 클라우드 기반 모델 서비스 환경에서 GPU 활용률을 극대화하며 비용 효율성을 제공하는 핵심 전략으로 주목받고 있습니다.

---

1. 개념 및 정의

Fractional Scheduling은 물리적 GPU 장치를 가상적으로 분할하여 서로 다른 프로세스나 컨테이너가 GPU를 동시에 공유하게 하는 스케줄링 방식입니다.

• Fractional GPU: GPU 자원을 memory, SM(Core), compute time 등으로 쪼개어 사용
• Space Sharing: 다중 프로세스가 병렬로 실행 (MPS 기반)
• Time Sharing: 시간 단위로 GPU를 슬라이싱하여 사용

---

2. 특징

특징	설명	효과
세분화된 자원 할당	GPU 연산 단위를 구간 또는 비율로 분할	낮은 리소스 요구 워크로드 수용 증가
QoS 제어 가능	우선순위 기반 스케줄링 가능	실시간성과 예측 가능성 확보
자원 회수 및 재할당	워크로드 종료 시 자동 반환	GPU 낭비 최소화

GPU Fractional Scheduling은 단순 공유를 넘어서 스마트한 자원 운영을 구현합니다.

---

3. 구성 요소

구성 요소	설명	역할
GPU Scheduler	분할 단위 및 우선순위 기준 GPU 할당	전체 자원 매니저
Runtime Controller	컨테이너/세션 단위 GPU 분배	동시성 관리 및 제한 적용
Metrics Exporter	GPU 사용량, 지연 시간 등 모니터링	동적 리소스 조정의 기반 데이터 제공

Kubernetes, Slurm, Ray 등과 통합되어 클러스터 단위에서도 구현 가능합니다.

---

4. 기술 요소

기술	설명	사용 목적
NVIDIA MPS	멀티 프로세스 서비스	GPU 커널을 병렬 실행 지원
MIG (Multi-Instance GPU)	A100 이상의 GPU에서 지원	하드웨어 레벨 분할 기술
CUDA Streams	명시적 스트림 컨트롤	병렬 작업 간 충돌 최소화

Fractional Scheduling은 하드웨어(MIG)와 소프트웨어(MPS, CUDA) 기술을 함께 활용합니다.

---

5. 장점 및 이점

장점	설명	기대 효과
GPU 활용률 증가	고정 자원 사용 구조 탈피	동일 인프라에서 더 많은 워크로드 실행
비용 최적화	Pay-as-you-go 방식 구현	GPU TCO 절감 및 수익성 증대
환경 유연성 확보	다양한 워크로드 프로파일 수용	실험, 교육, 추론, 개발 동시 처리 가능

GPU Fractional Scheduling은 AI/ML 플랫폼 운영의 전략적 무기가 됩니다.

---

6. 주요 활용 사례 및 고려사항

사례	분야	비고
AI 모델 추론 API	SaaS/클라우드 ML 플랫폼	고속 응답 vs 낮은 자원 사용량 균형
교육용 GPU 실습 환경	대학/연구기관	실습용 GPU 자원 공유 최적화
백오피스 배치 워크로드	비동기 처리 시스템	우선순위 낮은 워크로드에 GPU 배정

고려사항:

• 성능 간섭 최소화를 위한 격리 정책 필요
• 사용자 요구와 스케줄러 정책 간 충돌 조율 필수
• GPU 드라이버 및 런타임 호환성 점검 필요

---

7. 결론

GPU Fractional Scheduling은 GPU 자원의 효율성을 극대화하며, 다양한 사용자/워크로드의 요구를 유연하게 수용할 수 있는 첨단 스케줄링 기법입니다. AI 서비스가 일상화되는 시대에 GPU 활용의 경제성과 확장성을 동시에 확보할 수 있는 중요한 인프라 전략으로 각광받고 있습니다.