Pipeline Parallelism (PP)

개요

Pipeline Parallelism(PP)은 대규모 딥러닝 모델을 여러 GPU 장치 또는 노드에 단계별로 분할하여 학습하는 병렬화 기법이다. 각 GPU가 서로 다른 Layer 또는 Block을 담당하며, 입력 데이터가 파이프라인처럼 순차적으로 흐르도록 구성된다. 이 방식은 GPU 메모리 한계를 극복하고, 모델 학습 속도를 높이는 핵심 기술로 사용된다.

---

1. 개념 및 정의

PP는 모델의 Layer 단위를 여러 장비로 나누어 병렬 처리하는 구조로, 하나의 미니배치가 여러 Stage를 순차적으로 통과한다. 각 Stage는 특정 Layer 그룹을 담당하며, 전 단계의 출력을 받아 다음 단계로 전달한다.

예를 들어, 48개의 Transformer Layer를 가진 모델을 4개의 GPU에 나누면, 각 GPU가 12개씩 처리하여 전체 모델이 병렬적으로 학습된다.

이때 **마이크로배치(Microbatching)**와 파이프라인 버블(Pipeline Bubble) 제어를 통해 효율적인 연산 스케줄링이 이루어진다.

---

2. 특징

항목	Pipeline Parallelism	Data Parallelism	Tensor Parallelism
병렬 단위	Layer 단위	배치 단위	연산(텐서) 단위
통신 방식	Stage 간 활성값(Activation) 전달	Gradient AllReduce	연산 결과 통합
메모리 절감 효과	높음	낮음	중간
통신 빈도	낮음	중간	높음
대표 프레임워크	GPipe, PipeDream, DeepSpeed	DDP	Megatron-LM

→ PP는 Layer 수준에서 모델을 분할하여 GPU 간 병목을 줄이는 효율적 구조이다.

---

3. 구성 요소

구성 요소	설명	예시
Stage	모델의 일부 Layer 그룹	GPU 1: Layer 1–12, GPU 2: Layer 13–24
Microbatch	입력 데이터를 더 작은 배치로 분할	전체 배치 = 4 × Microbatch
Forward Pass	입력 데이터가 Stage를 따라 전방 전달	순차적 활성값 계산
Backward Pass	역전파 시 반대 방향으로 전달	Gradient 계산 및 업데이트
Bubble	파이프라인이 비어 있는 시간	Idle Time 최소화 필요

→ 효율적인 파이프라인 병렬 처리는 Microbatch 개수와 Stage 수의 균형 조절이 중요하다.

---

4. 기술 요소

기술 요소	설명	관련 기술
GPipe	구글의 파이프라인 병렬화 프레임워크	Microbatch 기반 순차 파이프라인
PipeDream	비동기(Asynchronous) 파이프라인 기법	Forward/Backward 동시 실행
1F1B Scheduling	Forward와 Backward를 교차 수행	Bubble 최소화
Checkpointing	Activation 저장 최소화	메모리 최적화
3D Parallelism	PP + DP + TP 통합 병렬 구조	Megatron-Deepspeed

→ PP는 TP 및 DP와 결합되어 초대형 모델 학습의 3D 병렬화 핵심 구성 요소로 작동한다.

---

5. 장점 및 이점

구분	설명	효과
메모리 절감	Layer를 분할하여 GPU당 부담 감소	대규모 모델 학습 가능
확장성	GPU 수 증가 시 선형적 성능 향상	효율적 스케일링
연산 효율성	Forward/Backward 중첩 처리	GPU Idle Time 감소
통신 부하 감소	Stage 간 데이터만 교환	네트워크 비용 절감
병렬 조합 가능	TP, DP와 함께 사용 가능	3D Parallelism 구성

→ PP는 Layer 병렬화로 GPU 자원 효율성을 극대화하는 전략적 기술이다.

---

6. 주요 활용 사례 및 고려사항

사례	내용	기대 효과
GPT-3 학습	96 Layer 모델을 8 Stage로 분할	GPU 메모리 절감 및 속도 향상
BLOOM 모델	DeepSpeed의 3D 병렬(모델+데이터+파이프라인) 사용	대규모 분산 학습 실현
DeepSpeed Pipeline Engine	자동 스케줄링 및 Bubble 최적화	개발 복잡성 완화
Megatron-Deepspeed	TP + PP 통합으로 LLM 학습 효율 향상	성능/비용 최적화

고려사항: Stage 수가 과도하면 통신 오버헤드 증가, 너무 적으면 GPU 활용률 저하가 발생할 수 있다. 따라서 모델 크기와 GPU 구성에 맞는 Stage 설정이 필요하다.

---

7. 결론

Pipeline Parallelism은 대규모 모델의 학습을 가능하게 하는 Layer 단위 병렬화 핵심 기술이다. GPU 자원을 효율적으로 사용하여 메모리 병목을 해결하고, 대규모 모델의 확장성을 극대화한다. TP 및 DP와의 결합으로 3D 병렬화 구조를 완성하며, 초대형 AI 모델 학습의 기본 인프라로 자리잡고 있다.