ITPE * JackerLab

개요AI 연산의 폭발적 증가와 함께 GPU 자원의 사용량도 급격히 상승하고 있으며, 이에 따라 막대한 전력 소비와 탄소 배출이 글로벌 이슈로 부각되고 있습니다. 특히 데이터센터의 전력 소비 중 상당 부분을 차지하는 AI 트레이닝 및 추론 작업에 사용되는 GPU 스케줄링에 대한 에너지 효율화 요구가 높아지고 있습니다. 이를 해결하기 위한 핵심 기술로 주목받는 것이 바로 Carbon-Aware GPU Scheduler입니다. 이 기술은 탄소 배출량 예측 및 저탄소 전력 시간대 인지를 통해 AI 워크로드의 실행 시점과 위치를 최적화합니다.1. 개념 및 정의Carbon-Aware GPU Scheduler는 AI 트레이닝 및 추론 워크로드를 탄소 배출량이 적은 시간대/지역에 우선 배치하거나, 탄소 인식 기준에 따..

개요Mixed Precision Training(혼합 정밀도 학습)은 딥러닝 모델 학습 시 다양한 정밀도의 숫자 타입(FP32, FP16, BF16)을 혼합 사용하여 학습 속도는 높이고 메모리 사용량은 줄이는 최적화 기법입니다. NVIDIA, Google 등 주요 AI 칩셋 제조사에서 지원하는 이 기술은, 모델 성능은 유지하면서도 GPU 활용도를 극대화할 수 있어 대규모 딥러닝 학습의 새로운 표준으로 자리 잡고 있습니다.1. 개념 및 정의Mixed Precision Training은 신경망의 연산 과정에서 **정밀도가 낮은 포맷(FP16 또는 BF16)**과 **기존의 32비트 부동소수점(FP32)**을 혼용하여 학습을 수행하는 기법입니다. 일반적으로는 다음 방식으로 사용됩니다:Forward/Backwa..