ITPE * JackerLab

개요UCX(Unified Communication X)는 HPC (High Performance Computing) 및 AI 환경에서 CPU/GPU 간 고속 통신을 위한 통합 API 및 라이브러리 프레임워크입니다. OpenUCX 프로젝트로 개발되었으며, 다양한 하드웨어 인터커넥트 (Infiniband, Ethernet, NVLink, PCIe 등)와 상위 통신 프레임워크(MPI, SHMEM, NCCL, OpenMP 등) 간의 통신을 일관된 인터페이스로 추상화합니다. Mellanox, NVIDIA, IBM, ARM 등이 참여한 오픈소스 프로젝트입니다.1. 개념 및 정의 항목 내용 비고 정의다양한 네트워크와 메모리 계층을 위한 고성능 통신 추상화 레이어Unified Communication Framewo..

개요NCCL(NVIDIA Collective Communications Library)은 다중 GPU 간 데이터 전송을 고속으로 처리하기 위한 NVIDIA의 라이브러리로, 딥러닝 분산 학습 및 멀티-GPU 병렬 처리 환경에서 핵심적인 역할을 합니다. AllReduce, AllGather, ReduceScatter, Broadcast, Reduce 등의 집합 통신(Collective Communication) 연산을 최적화하여, PyTorch, TensorFlow, DeepSpeed, Megatron 등 주요 프레임워크에 내장되어 활용됩니다.1. 개념 및 정의 항목 내용 비고 정의다중 GPU 간 집합 통신을 위한 NVIDIA 제공 통신 라이브러리CUDA 기반 통신 최적화 라이브러리목적분산 딥러닝 훈련 ..

개요GPUDirect RDMA(Remote Direct Memory Access)는 NVIDIA가 개발한 GPU 메모리 직접 액세스 기술로, GPU와 네트워크 인터페이스 카드(NIC) 간 데이터 전송 시 CPU를 거치지 않고 직접 메모리 간 통신을 수행합니다. 이를 통해 지연(latency)을 최소화하고 데이터 전송 효율을 극대화하여 HPC(High Performance Computing), AI 트레이닝, 데이터센터 통신 등에 최적화된 성능을 제공합니다.1. 개념 및 정의 항목 내용 비고 정의GPU 메모리와 네트워크 인터페이스 간 직접 메모리 접근을 지원하는 기술NVIDIA GPUDirect API 기반목적CPU 개입 없이 데이터 전송 효율 향상지연 최소화 및 대역폭 최적화필요성AI·HPC 워크로드..