개요AdapterFusion은 미리 학습된 다양한 어댑터 모듈(adapter modules)을 하나의 모델 내에서 결합해 사용하는 기술로, 멀티태스크 또는 멀티도메인 환경에서 파인튜닝된 어댑터들을 효과적으로 재활용하고 통합할 수 있는 메커니즘을 제공한다. 대형 언어 모델(LLM)의 확장성과 지속적인 학습을 가능하게 만드는 파라미터 효율적 학습 기술의 일환이다.1. 개념 및 정의 항목 설명 정의다수의 파인튜닝된 adapter를 결합하여 하나의 통합 표현으로 만드는 메커니즘목적태스크 간 지식 공유 및 파라미터 효율적 재사용필요성다수 태스크에 대해 독립적인 학습보다 효율적인 통합 방법 요구AdapterFusion은 파인튜닝된 어댑터 간 관계를 학습하여 적절히 조합함으로써 성능과 효율을 동시에 확보한다.2. ..
