ITPE * JackerLab

개요NCCL(NVIDIA Collective Communications Library)은 다중 GPU 간 데이터 전송을 고속으로 처리하기 위한 NVIDIA의 라이브러리로, 딥러닝 분산 학습 및 멀티-GPU 병렬 처리 환경에서 핵심적인 역할을 합니다. AllReduce, AllGather, ReduceScatter, Broadcast, Reduce 등의 집합 통신(Collective Communication) 연산을 최적화하여, PyTorch, TensorFlow, DeepSpeed, Megatron 등 주요 프레임워크에 내장되어 활용됩니다.1. 개념 및 정의 항목 내용 비고 정의다중 GPU 간 집합 통신을 위한 NVIDIA 제공 통신 라이브러리CUDA 기반 통신 최적화 라이브러리목적분산 딥러닝 훈련 ..

개요GPUDirect RDMA(Remote Direct Memory Access)는 NVIDIA가 개발한 GPU 메모리 직접 액세스 기술로, GPU와 네트워크 인터페이스 카드(NIC) 간 데이터 전송 시 CPU를 거치지 않고 직접 메모리 간 통신을 수행합니다. 이를 통해 지연(latency)을 최소화하고 데이터 전송 효율을 극대화하여 HPC(High Performance Computing), AI 트레이닝, 데이터센터 통신 등에 최적화된 성능을 제공합니다.1. 개념 및 정의 항목 내용 비고 정의GPU 메모리와 네트워크 인터페이스 간 직접 메모리 접근을 지원하는 기술NVIDIA GPUDirect API 기반목적CPU 개입 없이 데이터 전송 효율 향상지연 최소화 및 대역폭 최적화필요성AI·HPC 워크로드..

개요NVIDIA GPU Operator는 Kubernetes 클러스터 내에서 GPU 리소스를 자동으로 배포, 구성, 모니터링 및 관리하는 오픈소스 오퍼레이터(Operator)입니다. AI/ML, HPC, 데이터 분석 워크로드를 위한 GPU 인프라를 컨테이너 환경에 최적화된 형태로 운영할 수 있도록 지원하며, NVIDIA의 GPU Cloud(NGC) 생태계와 통합되어 GPU 사용 효율성과 안정성을 극대화합니다.1. 개념 및 정의 항목 내용 비고 정의Kubernetes에서 GPU 드라이버, 런타임, 모니터링 등을 자동으로 관리하는 오퍼레이터CNCF 호환 오픈소스 솔루션목적GPU 리소스의 자동화된 프로비저닝 및 유지관리GPU 인프라 운영 효율화필요성클라우드 네이티브 AI 워크로드 증가 및 GPU 복잡성 완..

개요GPU Fractional Scheduling은 하나의 GPU 자원을 여러 워크로드 또는 사용자 간에 세분화하여 할당하고, 시간 또는 공간 기준으로 효율적으로 스케줄링하는 기술입니다. AI/ML 트레이닝 및 추론 워크로드, 클라우드 기반 모델 서비스 환경에서 GPU 활용률을 극대화하며 비용 효율성을 제공하는 핵심 전략으로 주목받고 있습니다.1. 개념 및 정의Fractional Scheduling은 물리적 GPU 장치를 가상적으로 분할하여 서로 다른 프로세스나 컨테이너가 GPU를 동시에 공유하게 하는 스케줄링 방식입니다.Fractional GPU: GPU 자원을 memory, SM(Core), compute time 등으로 쪼개어 사용Space Sharing: 다중 프로세스가 병렬로 실행 (MPS 기반..

개요FlashAttention-2는 트랜스포머 기반 대규모 언어 모델(LLM)의 핵심 연산인 어텐션(Attention)을 메모리 효율적이고 빠르게 처리하기 위한 차세대 알고리즘입니다. 기존 FlashAttention의 속도 및 GPU 효율성 문제를 개선하면서, 다양한 시퀀스 길이 및 배치 구조에 대한 일반성을 확보하고, 학습 및 추론 성능을 모두 향상시키는 혁신적 어텐션 기법으로 주목받고 있습니다.1. 개념 및 정의FlashAttention-2는 어텐션 연산에서 메모리 접근을 최소화하고, 고속 버퍼 레벨에서 정확한 softmax 연산을 수행하여 연산 효율성을 극대화한 알고리즘입니다.기반 모델: 트랜스포머(Transformer) 아키텍처핵심 전략: 'tiling + recomputation + GPU-fr..

개요FlashAttention은 GPU 메모리 대역폭을 효율적으로 활용하여 Transformer 모델의 Attention 연산을 빠르고 정확하게 수행할 수 있도록 설계된 메모리 최적화 기반의 고속 어텐션 알고리즘입니다. 기존의 Softmax Attention 구현 방식은 쿼리-키-값 연산 시 많은 중간 메모리를 생성하고 이를 반복적으로 읽고 쓰는 비효율적인 구조였으나, FlashAttention은 이 과정을 최소화하여 큰 시퀀스 길이에서도 속도와 정확성을 유지할 수 있도록 합니다.1. 개념 및 정의 항목 설명 정의FlashAttention은 CUDA 기반 커널을 활용하여 attention score와 softmax 계산을 메모리 낭비 없이 수행하는 고속 알고리즘입니다.목적Transformer의 memo..

개요통합 메모리 아키텍처(UMA, Unified Memory Architecture)는 CPU와 GPU가 단일 메모리 공간을 공유하는 아키텍처로, 데이터 이동 비용을 줄이고 성능을 최적화하는 기술이다. 기존의 개별 메모리 시스템과 달리, UMA는 CPU와 GPU 간 메모리 복사를 최소화하여 고속 연산이 필요한 AI, 머신러닝, 그래픽 처리 등에 최적화되어 있다. 본 글에서는 UMA의 개념, 주요 특징, 장점과 한계, 활용 사례 및 미래 전망을 살펴본다.1. 통합 메모리 아키텍처(UMA)란?UMA는 CPU와 GPU가 별도의 메모리를 가지지 않고, 동일한 메모리 풀을 공유하는 아키텍처이다. 기존에는 CPU와 GPU가 각각 독립된 메모리를 사용하여 데이터를 주고받아야 했지만, UMA를 활용하면 데이터 복사 없..