ITPE * JackerLab

AdaLoRA (Adaptive Low-Rank Adaptation)

개요AdaLoRA(Adaptive Low-Rank Adaptation)는 대규모 언어 모델(LLM)을 파인튜닝할 때 사용하는 파라미터 효율화 미세조정(Parameter-Efficient Fine-Tuning, PEFT) 기법 중 하나로, 기존의 LoRA(Low-Rank Adaptation)를 확장하여 Layer마다 적절한 랭크(Rank)를 동적으로 할당하는 방식으로 학습 효율성과 성능을 모두 향상시키는 기술입니다. 제한된 예산에서 최대 효과를 얻는 데 초점을 맞춘 최신 PEFT 방법입니다.1. 개념 및 정의 항목 내용 비고 정의LLM 파인튜닝 시 layer별로 rank를 동적으로 조절하는 LoRA 확장 기법논문: Adaptive Budget Allocation for Parameter-Efficien..

UCX (Unified Communication X)

개요UCX(Unified Communication X)는 HPC (High Performance Computing) 및 AI 환경에서 CPU/GPU 간 고속 통신을 위한 통합 API 및 라이브러리 프레임워크입니다. OpenUCX 프로젝트로 개발되었으며, 다양한 하드웨어 인터커넥트 (Infiniband, Ethernet, NVLink, PCIe 등)와 상위 통신 프레임워크(MPI, SHMEM, NCCL, OpenMP 등) 간의 통신을 일관된 인터페이스로 추상화합니다. Mellanox, NVIDIA, IBM, ARM 등이 참여한 오픈소스 프로젝트입니다.1. 개념 및 정의 항목 내용 비고 정의다양한 네트워크와 메모리 계층을 위한 고성능 통신 추상화 레이어Unified Communication Framewo..

NCCL (NVIDIA Collective Communications Library)

개요NCCL(NVIDIA Collective Communications Library)은 다중 GPU 간 데이터 전송을 고속으로 처리하기 위한 NVIDIA의 라이브러리로, 딥러닝 분산 학습 및 멀티-GPU 병렬 처리 환경에서 핵심적인 역할을 합니다. AllReduce, AllGather, ReduceScatter, Broadcast, Reduce 등의 집합 통신(Collective Communication) 연산을 최적화하여, PyTorch, TensorFlow, DeepSpeed, Megatron 등 주요 프레임워크에 내장되어 활용됩니다.1. 개념 및 정의 항목 내용 비고 정의다중 GPU 간 집합 통신을 위한 NVIDIA 제공 통신 라이브러리CUDA 기반 통신 최적화 라이브러리목적분산 딥러닝 훈련 ..