UCX (Unified Communication X)

개요

UCX(Unified Communication X)는 HPC (High Performance Computing) 및 AI 환경에서 CPU/GPU 간 고속 통신을 위한 통합 API 및 라이브러리 프레임워크입니다. OpenUCX 프로젝트로 개발되었으며, 다양한 하드웨어 인터커넥트 (Infiniband, Ethernet, NVLink, PCIe 등)와 상위 통신 프레임워크(MPI, SHMEM, NCCL, OpenMP 등) 간의 통신을 일관된 인터페이스로 추상화합니다. Mellanox, NVIDIA, IBM, ARM 등이 참여한 오픈소스 프로젝트입니다.

---

1. 개념 및 정의

항목	내용	비고
정의	다양한 네트워크와 메모리 계층을 위한 고성능 통신 추상화 레이어	Unified Communication Framework
목적	HPC/AI 환경에서 이기종 하드웨어 간 통신 일관성 확보	프로그래밍 모델 통합
필요성	다양한 프로토콜(IB, RoCE, SHMEM 등) 간 연동 복잡성 해소	성능과 호환성 동시에 확보

---

2. 특징

항목	설명	비고
계층화된 아키텍처	UCT, UCP, UCS 계층 분리로 유연한 설계	Transport → Protocol → Session
하드웨어 추상화	Infiniband, Ethernet, NVLink, PCIe 등 지원	GPU Direct RDMA 포함
멀티 프로토콜 지원	MPI, SHMEM, NCCL 등 다양한 상위 계층과 통합	OpenMPI 기본 UCX 연동 지원
비동기 이벤트 기반	전송/수신 시 콜백 기반 처리 구조	Polling vs Event 기반 선택 가능
Zero-copy 전송	CPU/GPU 간 직접 메모리 이동	GPU Direct Access 활용 가능

하드웨어 및 프로토콜 독립적인 통신 라이브러리 구조.

---

3. 구성 요소

구성 요소	설명	비고
UCS (Core Services)	로깅, 메모리 관리, 동시성 제어 등 내부 유틸리티 제공	라이브러리 기반 구성
UCT (Transport Layer)	실제 네트워크 및 메모리 전송 구현부	IB, TCP, Shared Memory 등
UCP (Protocol Layer)	상위 계층 API와 통신 패턴 관리	MPI, PGAS, NCCL에서 사용
UCX-Py	Python 언어용 UCX 바인딩	Dask, RAPIDS 등과 연동
UCX-Context	모든 통신 리소스 초기화 및 유지 객체	ucp_context_init() 등 호출 기반

구조적으로 상·하위 계층 간 느슨한 결합을 유지.

---

4. 기술 요소

기술 요소	설명	활용 방식
Active Message	헤더 + 데이터 전송으로 사용자 정의 메시지 처리	비동기 패턴에서 유리
Remote Memory Access (RMA)	Put/Get 기반 메모리 직접 접근 방식	RDMA 네이티브 전송 가능
Tag Matching	메시지 기반 통신에서 태그 기반 수신 매칭	MPI 통합 시 필수 기능
GPUDirect RDMA	GPU 메모리 ↔ NIC 직접 전송	CPU 개입 없이 고속 전송
Rendezvous Protocol	대용량 메시지를 메타데이터 → 데이터 순으로 전송	전송 최적화에 활용

성능을 위한 다양한 전송/통신 모델 내장.

---

5. 장점 및 이점

항목	설명	기대 효과
성능 극대화	Zero-copy, GPU Direct, RDMA 최적화	ns~μs 단위 전송 지연 확보
코드 일관성 유지	상위 API에서 통신 방식 추상화	플랫폼 간 이식성 향상
확장성 우수	수천 노드 클러스터에서 안정 작동	대규모 HPC 시스템에 적합
오픈소스 기반	커뮤니티 중심으로 지속 발전	유연한 커스터마이징 가능

AI/ML/DL 클러스터, 슈퍼컴퓨터, 과학 연산용 시스템에서 필수 요소로 채택 중.

---

6. 주요 활용 사례 및 고려사항

사례	설명	고려사항
OpenMPI + UCX	UCX를 MPI 전송 백엔드로 사용	--with-ucx 컴파일 옵션 필요
NCCL 통신 최적화	멀티 GPU 환경에서 UCX 경유 통신 구성	UCX-P2P 또는 UCX-Net 활용 가능
Dask GPU 연산	UCX-Py로 Python Dask + GPU 간 데이터 전송	RAPIDS 통합 시 유리
SHMEM/PGAS	Global Address Space 기반 프로그래밍	SHMEM UCX Provider 설정 필요

NIC 드라이버, GPU 드라이버, CUDA 버전과의 호환성 반드시 확인 필요.

---

7. 결론

UCX는 현대의 고성능 통신 인프라에서 CPU, GPU, NIC 간 효율적인 데이터 전송을 실현하는 핵심 라이브러리입니다. 다양한 하드웨어 인터페이스와 상위 통신 프레임워크를 유기적으로 연결하여, HPC와 AI 인프라의 통신 병목을 제거하고 확장 가능한 아키텍처를 제공합니다. NCCL, MPI, Dask 등과의 통합을 통해 AI/과학 연산 성능을 극대화할 수 있습니다.