ITPE * JackerLab

개요Mixed Precision Training(혼합 정밀도 학습)은 딥러닝 모델 학습 시 다양한 정밀도의 숫자 타입(FP32, FP16, BF16)을 혼합 사용하여 학습 속도는 높이고 메모리 사용량은 줄이는 최적화 기법입니다. NVIDIA, Google 등 주요 AI 칩셋 제조사에서 지원하는 이 기술은, 모델 성능은 유지하면서도 GPU 활용도를 극대화할 수 있어 대규모 딥러닝 학습의 새로운 표준으로 자리 잡고 있습니다.1. 개념 및 정의Mixed Precision Training은 신경망의 연산 과정에서 **정밀도가 낮은 포맷(FP16 또는 BF16)**과 **기존의 32비트 부동소수점(FP32)**을 혼용하여 학습을 수행하는 기법입니다. 일반적으로는 다음 방식으로 사용됩니다:Forward/Backwa..

개요Quantization-aware Training(QAT, 양자화 인지 학습)은 딥러닝 모델의 경량화(모델 크기 축소 및 연산량 감소)를 위해 도입되는 기술 중 하나로, 학습 과정에서 양자화를 시뮬레이션하여 정확도 손실을 최소화합니다. 특히 엣지 디바이스나 모바일 환경에서 고속 추론과 낮은 전력 소비가 요구되는 분야에 적합하며, Post-Training Quantization(PTQ)보다 높은 정밀도를 유지할 수 있다는 장점이 있습니다.1. 개념 및 정의QAT는 훈련 단계부터 8-bit 또는 정수 연산을 염두에 두고, 양자화 시뮬레이션을 포함한 연산을 통해 모델을 학습시키는 방식입니다. 이는 학습 중 float 연산과 양자화된 정수 연산 사이의 오차를 고려하여 weight와 activation을 함께..