개요Prefix Tuning은 대규모 사전학습 언어모델(Pretrained Language Model, PLM)을 효율적으로 미세조정(fine-tuning) 하기 위한 경량화 기법입니다. 전체 모델 파라미터를 업데이트하지 않고, 입력 앞에 학습 가능한 'prefix(접두어)' 벡터를 삽입해 원하는 태스크에 맞게 모델 출력을 조정하는 방식입니다. 이는 특히 모델 크기가 큰 GPT, T5, BERT 등에서 적은 계산 비용으로 빠르고 유연한 파인튜닝을 가능하게 해 줍니다.1. 개념 및 정의Prefix Tuning은 입력 시퀀스에 추가적인 학습 가능한 벡터(프리픽스)를 붙여서 Transformer의 각 레이어에서 key와 value에 영향을 미치는 방식으로 모델의 출력을 제어합니다.기존 파라미터는 동결(free..