ITPE * JackerLab

개요AdapterFusion은 미리 학습된 다양한 어댑터 모듈(adapter modules)을 하나의 모델 내에서 결합해 사용하는 기술로, 멀티태스크 또는 멀티도메인 환경에서 파인튜닝된 어댑터들을 효과적으로 재활용하고 통합할 수 있는 메커니즘을 제공한다. 대형 언어 모델(LLM)의 확장성과 지속적인 학습을 가능하게 만드는 파라미터 효율적 학습 기술의 일환이다.1. 개념 및 정의 항목 설명 정의다수의 파인튜닝된 adapter를 결합하여 하나의 통합 표현으로 만드는 메커니즘목적태스크 간 지식 공유 및 파라미터 효율적 재사용필요성다수 태스크에 대해 독립적인 학습보다 효율적인 통합 방법 요구AdapterFusion은 파인튜닝된 어댑터 간 관계를 학습하여 적절히 조합함으로써 성능과 효율을 동시에 확보한다.2. ..

개요AdapterFusion은 미리 학습된 다양한 어댑터 모듈(adapter modules)을 하나의 모델 내에서 결합해 사용하는 기술로, 멀티태스크 또는 멀티도메인 환경에서 파인튜닝된 어댑터들을 효과적으로 재활용하고 통합할 수 있는 메커니즘을 제공한다. 대형 언어 모델(LLM)의 확장성과 지속적인 학습을 가능하게 만드는 파라미터 효율적 학습 기술의 일환이다.1. 개념 및 정의 항목 설명 정의다수의 파인튜닝된 adapter를 결합하여 하나의 통합 표현으로 만드는 메커니즘목적태스크 간 지식 공유 및 파라미터 효율적 재사용필요성다수 태스크에 대해 독립적인 학습보다 효율적인 통합 방법 요구AdapterFusion은 파인튜닝된 어댑터 간 관계를 학습하여 적절히 조합함으로써 성능과 효율을 동시에 확보한다.2. ..

개요Adapter Modules(어댑터 모듈)은 대규모 사전학습 언어모델(PLM)을 효율적이고 확장성 있게 파인튜닝(fine-tuning) 하기 위한 모듈화 전략입니다. 기존의 Full Fine-Tuning 방식은 모든 모델 파라미터를 업데이트해야 하므로 비용이 크고 비효율적입니다. 반면, 어댑터 모듈은 기존 파라미터는 고정(freeze)하고, 각 Transformer 레이어에 소형 학습 가능한 모듈(adapter)을 삽입하여 학습 성능을 확보합니다. 이는 Parameter-Efficient Fine-Tuning(PEFT) 기법 중에서도 대표적인 방식입니다.1. 개념 및 정의Adapter는 각 Transformer 레이어 내부의 Feedforward Layer 사이 또는 Attention 블록 뒤에 삽입..