PEFT(Parameter-Efficient Fine-Tuning)

개요

PEFT(Parameter-Efficient Fine-Tuning)는 기존의 파인튜닝처럼 전체 모델 파라미터를 업데이트하는 방식이 아닌, 일부 모듈만 학습하거나 적은 수의 파라미터만 조정하여 LLM의 성능을 빠르게 개선할 수 있는 파인튜닝 전략입니다. 특히 메모리, 연산 자원이 제한된 환경에서 LLM(예: LLaMA, GPT-3/4 등)을 빠르고 저비용으로 파인튜닝할 수 있어, 오픈소스 생태계 및 기업 적용에서 핵심 전략으로 부상하고 있습니다.

---

1. 개념 및 정의

PEFT는 LLM의 대다수 파라미터를 고정하고, 일부 적은 수의 학습 가능한 파라미터만 추가하거나 수정하여 미세 조정(Fine-Tuning)하는 기법군을 통칭합니다.

• 학습 가능한 파라미터 수: 기존 대비 수천 배 감소
• 효율성 초점: 메모리 절감 + 연산 속도 증가 + 빠른 수렴
• 대표 기술: LoRA, Adapter, Prefix-Tuning, Prompt-Tuning 등

---

2. PEFT의 주요 유형 비교

기법	설명	특징
LoRA	저랭크 행렬 삽입을 통한 선형 계층 조정	가장 널리 사용, 구조 간섭 적음
Adapter	Transformer 블록 사이 경량 모듈 삽입	언어/태스크 간 전이 유리
Prompt Tuning	입력 프롬프트 앞에 가상 토큰 추가	태스크별 빠른 적응 가능
Prefix Tuning	키/값 벡터에 조건부 정보 삽입	적은 파라미터로 문맥 제어 가능

이들 기법은 Hugging Face의 peft 라이브러리에서 쉽게 활용 가능.

---

3. LoRA 중심 PEFT 흐름 예시

1. Pretrained LLM에서 Linear Layer를 고정
2. 학습 가능한 A, B 저랭크 행렬 추가: W ≈ W₀ + A·B
3. A, B만 학습 → 전체 파라미터 수 0.1% 미만
4. 학습 완료 후 A, B만 저장/배포

→ 기존 모델 무손실 유지, 재사용 가능성 극대화

---

4. 장점 및 효과

항목	장점
메모리 절감	VRAM 8~16GB 내에서도 LLM 튜닝 가능
비용 효율	전체 모델 학습보다 수십~수백 배 저렴
속도	빠른 수렴, 실험 반복 속도 향상
유연성	하나의 기반 모델에 다양한 PEFT 조합 적용 가능
공유성	LoRA Adapter만 배포하여 상용모델 보호 가능

PEFT는 특히 사내 모델 커스터마이징, 클라우드 API 기반 파인튜닝에 유리함.

---

5. 활용 사례

분야	예시
ChatGPT 파인튜닝	Alpaca, Vicuna, Baize 등 대부분 LoRA 기반
기업 내 QA 튜닝	기존 LLaMA + 도메인 LoRA 구성
음성/멀티모달	Flamingo, Speech-T5 등 PEFT + 비전/음성 결합
정부/공공	LoRA Adapter 공개 모델 기반 서비스 조정

Hugging Face Hub에서 수천 개의 LoRA 어댑터가 공유되고 있음.

---

6. 기술 스택 및 코드 도구

도구	설명
Hugging Face PEFT	PEFT 통합 라이브러리, LoRA/Prefix 등 지원
bitsandbytes	8bit/4bit 양자화 조합으로 VRAM 최적화
Transformers	LLM 로딩 및 Trainer 기반 튜닝 구조 제공
DeepSpeed	분산 학습 + PEFT 호환 구조 지원

LoRA + Quantization 조합은 QLoRA로 불리며, 최신 LLM 튜닝 전략의 핵심

---

7. 결론

PEFT는 기존 LLM의 표현력을 그대로 유지하면서도 도메인 특화, 사용자 맞춤형 LLM을 효율적으로 구축할 수 있는 실용적이고 강력한 전략입니다. 특히 LoRA를 포함한 다양한 방식은 경량 환경에서 LLM 파인튜닝을 가능하게 하며, 기업·오픈소스·학계 모두에서 PEFT는 모델 개인화와 비용 최적화의 핵심 열쇠로 자리잡고 있습니다.