ITPE * JackerLab

개요Quantization-aware Training(QAT, 양자화 인지 학습)은 딥러닝 모델의 경량화(모델 크기 축소 및 연산량 감소)를 위해 도입되는 기술 중 하나로, 학습 과정에서 양자화를 시뮬레이션하여 정확도 손실을 최소화합니다. 특히 엣지 디바이스나 모바일 환경에서 고속 추론과 낮은 전력 소비가 요구되는 분야에 적합하며, Post-Training Quantization(PTQ)보다 높은 정밀도를 유지할 수 있다는 장점이 있습니다.1. 개념 및 정의QAT는 훈련 단계부터 8-bit 또는 정수 연산을 염두에 두고, 양자화 시뮬레이션을 포함한 연산을 통해 모델을 학습시키는 방식입니다. 이는 학습 중 float 연산과 양자화된 정수 연산 사이의 오차를 고려하여 weight와 activation을 함께..

개요Memory Replay Buffer(메모리 리플레이 버퍼)는 강화 학습(Reinforcement Learning, RL)에서 에이전트가 수집한 과거 경험을 저장하고, 이를 반복적으로 학습에 활용하기 위해 사용하는 핵심 구조입니다. 비효율적인 학습을 방지하고, 데이터의 다양성을 확보하여 더 안정적이고 효율적인 정책 학습을 가능하게 만듭니다.1. 개념 및 정의메모리 리플레이 버퍼는 에이전트가 환경과 상호작용하며 얻은 상태(state), 행동(action), 보상(reward), 다음 상태(next state)의 튜플을 저장하는 버퍼입니다. 이 저장된 경험을 샘플링하여, 모델이 다양한 상황을 다시 학습하게 함으로써 데이터 효율성 향상, 표본 상관관계 감소, 모델의 안정성 증가라는 효과를 기대할 수 있습니..