ITPE * JackerLab

개요IA³(Input-Aware Adapter)은 사전 학습된 언어 모델(PLM)을 다양한 태스크에 효율적으로 적응시키기 위한 경량화 파인튜닝 전략으로, 입력에 따라 동적으로 조정되는 어댑터 파라미터를 통해 적은 학습 비용으로 높은 성능을 실현합니다. 기존의 Adapter 기법보다 더욱 파라미터 효율적이며, 자연어 처리(NLP), 음성 인식 등 다양한 분야에서 확장성과 실용성을 인정받고 있습니다.1. 개념 및 정의IA³는 입력 특성(input features)에 따라 학습 가능한 게이트(gating) 벡터를 사용해 Transformer 계층의 각 선형 연산에 스케일 파라미터를 곱함으로써 미세 조정을 수행합니다.핵심 원리: 입력 인식 스케일 벡터로 출력값 조정업데이트 대상: 어댑터 파라미터만 학습, 기존 ..

개요BitFit(Bias Term Fine-Tuning)은 대규모 사전학습 언어모델(PLM)을 효율적으로 파인튜닝하기 위해 도입된 경량화 튜닝 전략입니다. 전체 모델의 수많은 파라미터 중 오직 '바이어스(bias)' 항목만을 조정함으로써 최소한의 학습으로도 우수한 성능을 확보할 수 있는 것이 특징입니다. 메모리·계산 효율을 극대화하면서도 성능 손실 없이 다양한 다운스트림 태스크에 적용 가능해, LLM 시대의 실용적 튜닝 전략으로 각광받고 있습니다.1. 개념 및 정의BitFit은 Fine-Tuning 대상 파라미터를 'bias' 항목으로 제한하고, 그 외의 가중치(weight)는 모두 동결(frozen)한 상태로 학습을 수행하는 방법입니다.기본 전략: 전체 모델 파라미터 중 bias 항목만 업데이트설계 철..