Knowledge Distillation
개요
Knowledge Distillation(지식 증류)은 성능이 우수한 대형 신경망(Teacher Model)에서 학습된 지식을 경량화된 소형 신경망(Student Model)으로 전이하여, 연산량은 줄이면서도 유사한 예측 성능을 유지하는 딥러닝 모델 최적화 기법입니다. AI 모델 경량화, Edge AI, 모바일 디바이스 추론 환경에서 실용성이 높으며, Transformer, CNN, LLM 등 다양한 구조에 적용됩니다.
1. 개념 및 정의
| 항목 | 설명 |
| 정의 | Teacher 모델의 soft output(logit 또는 확률 분포)을 활용해 Student 모델을 학습시키는 전이 학습 방법 |
| 목적 | 모델 경량화 + 성능 유지(또는 손실 최소화) |
| 대표 분야 | 이미지 분류, 객체 탐지, 자연어 처리, 대화형 AI |
기존 hard label 대신 soft label을 학습 데이터로 사용하여 정보량을 증대시킵니다.
2. 작동 원리
| 단계 | 설명 | 예시 |
| Step 1 | Teacher 모델 학습 완료 상태 확보 | GPT, BERT, ResNet 등 사전학습 모델 |
| Step 2 | Soft label 생성: logit 또는 softmax 출력 | Temperature 조정 가능 |
| Step 3 | Student 모델에 soft label 학습 수행 | CrossEntropy + KL Divergence 혼합 Loss |
| Step 4 | 필요시 hard label과의 혼합 학습 | Mixed Loss(λ 조절) 적용 |
Soft target은 클래스 간 유사성을 반영해 일반화 성능을 향상시킵니다.
3. 기술 구성 및 Loss Function
| 구성 요소 | 설명 | 수식 | ||
| Softmax with Temperature | 출력 분포 부드럽게 조절 | |||
| Distillation Loss | KL-Divergence 기반 | ( \text{Loss}_{\text{KD}} = KL(P_T | P_S) ) | |
| 총 손실 함수 | Soft + Hard label 혼합 |
Temperature T는 보통 210 사이에서 조정되며, α는 0.50.9 사이에서 실험적으로 선택됩니다.
4. 장점 및 효과
| 항목 | 설명 | 기대 효과 |
| 모델 경량화 | 파라미터 수 감소 | 모바일/임베디드 적용 용이 |
| 예측 정밀도 향상 | soft label의 정보량 활용 | overfitting 방지, 일반화 성능 증가 |
| 빠른 추론 속도 | 연산량 감소 | inference latency 단축 |
Distillation은 성능과 효율성의 균형을 위한 핵심 전략으로 자리잡고 있습니다.
5. 활용 사례
| 분야 | 적용 사례 | 도구 |
| NLP | DistilBERT, TinyBERT 등 경량 모델 | Hugging Face Transformers |
| CV | MobileNet, EfficientNet 증류 학습 | TensorFlow, PyTorch |
| 음성 인식 | Whisper Tiny, Conformer Distilled | ESPnet, OpenVINO |
Knowledge Distillation은 다양한 AI 경량화 기술(Quantization, Pruning 등)과도 조합 가능합니다.
6. 고려사항 및 한계
| 항목 | 설명 | 해결 전략 |
| Teacher 모델 품질 | 성능이 낮은 Teacher는 전이 효과 낮음 | 고정밀 사전학습 모델 사용 권장 |
| Soft label 잡음 | Temperature 설정에 따라 정보 왜곡 가능 | 적정 T 및 정규화 기법 적용 |
| 클래스 불균형 | 희소 클래스에 대한 soft signal 약화 | weighted loss 도입 |
실험 설계에서 Teacher-Student 구조의 복잡도와 데이터 특성 반영이 중요합니다.
7. 결론
Knowledge Distillation은 딥러닝 모델 경량화와 실용화를 위한 대표적인 전이 학습 전략입니다. Teacher 모델의 지식을 soft signal 형태로 전달받아 Student 모델이 일반화 성능을 유지할 수 있도록 하며, 특히 Edge 환경, 실시간 응답, 배포 효율성 등의 과제를 해결하는 데 강력한 효과를 발휘합니다. 향후 Multi-teacher Distillation, Self-Distillation 등 다양한 확장이 기대됩니다.