PagedOptim

개요

PagedOptim은 대규모 언어 모델(LLM)의 파인튜닝/훈련 과정에서 GPU 메모리를 효율적으로 활용하기 위한 페이징 기반 옵티마이저 구조를 갖춘 학습 최적화 프레임워크입니다. 기존 옵티마이저(Adam, AdamW 등)는 파라미터와 옵티마이저 상태(state)를 모두 GPU 메모리에 올려야 했지만, PagedOptim은 **옵티마이저 상태를 페이지 단위로 GPU-CPU/NVMe 간에 이동(페이징)**하여, 메모리 초과 없이 초대형 모델 훈련을 가능하게 합니다.

---

1. 개념 및 정의

항목	내용	비고
정의	옵티마이저 상태를 페이지 단위로 관리하며 GPU-CPU 간 페이징을 수행하는 옵티마이저 계층	DeepSpeed/Colossal-AI 기반 구현 예 존재
목적	GPU 메모리 한계를 넘어 대규모 모델 훈련 가능하게 함	ZeRO Stage 2/3 대체 또는 보완 역할
필요성	LLM 학습 시 옵티마이저 상태가 전체 메모리의 50% 이상 차지	단일 GPU에서 multi-billion 파라미터 학습 유도

---

2. 특징

항목	설명	비고
페이지 단위 페이징	옵티마이저 state를 일정 크기 단위로 분할	가상 메모리처럼 동작
GPU/CPU/NVMe 스왑	비활성 페이지는 GPU 외부로 이동 가능	비동기 전송 가능
캐시 최적화	자주 쓰는 페이지는 GPU에 유지	LRU 기반 cache 구현
옵티마이저 호환성	Adam, Lion, 8-bit 옵티마이저 등과 호환	HuggingFace와 통합 가능
훈련 속도 유지	대규모 메모리 사용에도 속도 저하 최소화	비동기 Prefetch로 latency 완화

고성능 학습 속도와 메모리 절약을 동시에 달성할 수 있음.

---

3. 구성 요소

구성 요소	설명	비고
Page Cache	GPU에 상주하는 활성 페이지 집합	교체 정책에 따라 동적 관리
Pager Engine	CPU/GPU 간 페이지 이동 관리 모듈	Prefetch, Evict 기능 포함
State Pager	옵티마이저 상태 (momentum, variance 등) 관리 전용	optimizer.state 인터페이스 확장
Metadata Tracker	각 파라미터-페이지 간 매핑 및 접근 기록	접근 빈도 기반 캐시 판단
Offload Manager	NVMe와의 direct data movement 담당	vLLM 스타일 오프로드 가능

분산 훈련 시 각 GPU의 local cache도 독립 관리 가능.

---

4. 기술 요소

기술 요소	설명	활용 방식
Asynchronous Prefetching	다음 스텝에 필요한 state를 미리 GPU에 적재	latency 최소화
LRU Cache Mechanism	가장 오래된 페이지부터 evict	hit rate 향상에 중요
Mixed Precision Offload	FP16 상태를 오프로드 시 용량 최적화	bandwidth 효율 증가
NVMe-aware 페이징	초대형 모델은 SSD offload까지 확장 가능	io_uring 기반 I/O 비동기화 가능
Compatibility Layer	기존 PyTorch 옵티마이저와 동일 인터페이스	ZeRO/DeepSpeed 병렬 사용 가능

리소스 제한 환경에서도 billion-scale 모델 훈련 지원.

---

5. 장점 및 이점

항목	설명	기대 효과
메모리 확장성 제공	GPU 메모리 한계 초과하는 모델 학습 가능	1.3B ~ 13B 파라미터까지 단일 GPU로 가능
기존 옵티마이저와 호환	기존 학습 코드 변경 없이 통합 가능	운영 및 테스트 비용 절감
학습 속도 유지	비동기 전송으로 throughput 유지	실시간 페이징 전략 적용
비용 절감	고사양 GPU 없이도 대형 모델 학습 가능	RTX 3090급에서 활용 가능
분산 훈련과 결합 가능	ZeRO, FSDP 등과 함께 사용 가능	수백억 모델 학습 최적화

HPC 자원이 부족한 환경에서 강력한 대안으로 부상 중.

---

6. 주요 활용 사례 및 고려사항

사례	설명	고려사항
단일 GPU LLM 파인튜닝	24GB RTX GPU에서 7B 모델 학습 성공	offload 속도에 따라 batch size 조정 필요
저비용 AI 실험	고성능 클러스터 없이 실험 가능	페이지 사이즈 및 prefetch 전략 조정 필수
오픈소스 학습 플랫폼 통합	HuggingFace PEFT + PagedOptim 연동	옵티마이저 state 크기 추적 필요
Cloud + Edge 학습 환경	클라우드 SSD offload 구조 적용	io bottleneck 대비 IOPS 테스트 필요

SSD I/O 병목, 교체 정책 튜닝, 비동기 충돌 회피 등 운영 고려 필요.

---

7. 결론

PagedOptim은 대규모 언어 모델을 보다 적은 메모리 자원으로 학습하기 위한 실용적인 옵티마이저 확장 방식으로, 페이지 단위의 오프로드/캐싱 전략을 통해 기존보다 훨씬 큰 모델을 단일/저사양 GPU에서도 학습할 수 있게 합니다. DeepSpeed, HuggingFace, PyTorch 생태계와의 높은 호환성 덕분에 실무에서 빠르게 확산되고 있으며, 효율적인 LLM 학습 전략의 핵심 기술로 주목받고 있습니다.