ITPE * JackerLab

개요Data Parallelism(DP)은 대규모 신경망 학습에서 가장 널리 사용되는 병렬화 기법으로, 전체 모델을 각 GPU에 복제하고 데이터 배치를 나누어 병렬로 처리하는 방식이다. 이 접근 방식은 모델 크기가 GPU 메모리 한계에 맞는 경우 가장 효율적인 확장 전략으로, 대형 데이터셋을 빠르고 안정적으로 학습할 수 있게 해준다.1. 개념 및 정의DP는 **데이터를 여러 GPU로 분할(Sharding)**하여 동시에 학습을 수행하고, 각 GPU가 계산한 Gradient를 집계하여(Global Synchronization) 모델을 업데이트하는 구조이다. 모든 GPU는 동일한 모델을 보유하므로, 파라미터 동기화(Synchronization)만 이루어지면 일관된 학습 결과를 얻을 수 있다.즉, DP는 ‘데..

개요Pipeline Parallelism(PP)은 대규모 딥러닝 모델을 여러 GPU 장치 또는 노드에 단계별로 분할하여 학습하는 병렬화 기법이다. 각 GPU가 서로 다른 Layer 또는 Block을 담당하며, 입력 데이터가 파이프라인처럼 순차적으로 흐르도록 구성된다. 이 방식은 GPU 메모리 한계를 극복하고, 모델 학습 속도를 높이는 핵심 기술로 사용된다.1. 개념 및 정의PP는 모델의 Layer 단위를 여러 장비로 나누어 병렬 처리하는 구조로, 하나의 미니배치가 여러 Stage를 순차적으로 통과한다. 각 Stage는 특정 Layer 그룹을 담당하며, 전 단계의 출력을 받아 다음 단계로 전달한다.예를 들어, 48개의 Transformer Layer를 가진 모델을 4개의 GPU에 나누면, 각 GPU가 12..

개요Tensor Parallelism(TP)은 대규모 신경망 학습 시 하나의 연산(예: 행렬 곱셈)을 여러 GPU로 나누어 처리하는 **모델 병렬화(Model Parallelism)**의 한 형태이다. TP는 특히 GPT, BERT, LLaMA와 같은 초거대 언어 모델(LLM) 학습에서 핵심 역할을 하며, GPU 메모리 한계를 극복하고 연산 속도를 향상시키기 위해 사용된다.1. 개념 및 정의Tensor Parallelism은 **단일 Layer 내의 텐서 연산을 여러 GPU로 분할(distribute)**하여 계산을 병렬화하는 기법이다. 예를 들어, 거대한 Weight Matrix(W ∈ R^{m×n})를 여러 GPU에 나누어 분할 저장하고, 입력 벡터에 대한 연산을 분산 수행한 후 결과를 통합(Gath..