개요Delta-Tuning은 대규모 사전 학습 모델(PLM, Pretrained Language Model)을 다양한 다운스트림 태스크에 맞게 빠르고 효율적으로 적응시키기 위한 경량화 파인튜닝 기법입니다. 기존의 전체 파라미터 업데이트 방식(Fine-Tuning)과 달리, 모델 파라미터의 일부분만 조정하거나 새로운 적은 수의 파라미터만 추가 학습하여, 메모리 사용량을 줄이고 학습 속도를 향상시킵니다.1. 개념 및 정의Delta-Tuning은 ‘Δ(델타)’ 즉, 기존 사전 학습 모델에서의 변화량만 학습하는 접근 방식입니다.핵심 개념: 전체 모델 파라미터를 유지하고, 소량의 추가 파라미터만 학습기반 철학: 모델은 이미 일반적 표현을 학습했으므로, 적은 변화로도 태스크 적응 가능대상 모델: BERT, GPT,..
