ITPE * JackerLab

개요Adapter Modules(어댑터 모듈)은 대규모 사전학습 언어모델(PLM)을 효율적이고 확장성 있게 파인튜닝(fine-tuning) 하기 위한 모듈화 전략입니다. 기존의 Full Fine-Tuning 방식은 모든 모델 파라미터를 업데이트해야 하므로 비용이 크고 비효율적입니다. 반면, 어댑터 모듈은 기존 파라미터는 고정(freeze)하고, 각 Transformer 레이어에 소형 학습 가능한 모듈(adapter)을 삽입하여 학습 성능을 확보합니다. 이는 Parameter-Efficient Fine-Tuning(PEFT) 기법 중에서도 대표적인 방식입니다.1. 개념 및 정의Adapter는 각 Transformer 레이어 내부의 Feedforward Layer 사이 또는 Attention 블록 뒤에 삽입..

개요Prefix Tuning은 대규모 사전학습 언어모델(Pretrained Language Model, PLM)을 효율적으로 미세조정(fine-tuning) 하기 위한 경량화 기법입니다. 전체 모델 파라미터를 업데이트하지 않고, 입력 앞에 학습 가능한 'prefix(접두어)' 벡터를 삽입해 원하는 태스크에 맞게 모델 출력을 조정하는 방식입니다. 이는 특히 모델 크기가 큰 GPT, T5, BERT 등에서 적은 계산 비용으로 빠르고 유연한 파인튜닝을 가능하게 해 줍니다.1. 개념 및 정의Prefix Tuning은 입력 시퀀스에 추가적인 학습 가능한 벡터(프리픽스)를 붙여서 Transformer의 각 레이어에서 key와 value에 영향을 미치는 방식으로 모델의 출력을 제어합니다.기존 파라미터는 동결(free..