ITPE * JackerLab

개요DeepSpeed ZeRO-Infinity는 마이크로소프트가 오픈소스로 개발한 대규모 언어 모델(LLM) 학습 프레임워크 DeepSpeed의 최신 확장 기술로, 수조(trillion)-단위 파라미터 모델의 효율적 학습과 추론을 가능하게 하는 메모리 최적화 솔루션입니다. 기존 DeepSpeed ZeRO(Zero Redundancy Optimizer)의 한계를 극복하고, GPU와 CPU 메모리는 물론 NVMe 저장장치까지 포함한 하이브리드 메모리 계층을 활용함으로써 GPU 메모리 병목을 완화합니다.1. 개념 및 정의 항목 설명 정의DeepSpeed ZeRO-Infinity는 모델 파라미터, 옵티마이저 상태, 활성값(activations)을 GPU/CPU/NVMe 계층으로 분산 저장하여 대규모 모델 학습..

개요Bloomier Filter는 고정된 키-값 맵핑 정보를 매우 적은 공간으로 인코딩하여, 존재하는 키에 대해서는 정확한 값을 반환하고, 존재하지 않는 키에 대해서는 무효값(null 또는 undefined)을 반환할 수 있는 확률적 자료구조이다. 이는 Bloom Filter의 확장 개념으로, 단순한 존재 여부 검사에서 나아가 키에 대응하는 값을 저장하고 검색할 수 있는 구조로 진화했다.1. 개념 및 정의Bloomier Filter는 기존의 Bloom Filter가 제공하지 못하는 '값 조회 기능'을 제공하면서도 공간 효율성을 유지한다. 이를 통해 메모리가 제한된 환경에서도 key-value 쌍에 대한 빠른 접근을 실현할 수 있다.목적: 공간 제약 하에서 키-값 조회가 필요한 애플리케이션 지원필요성: 전..

개요통합 메모리 아키텍처(UMA, Unified Memory Architecture)는 CPU와 GPU가 단일 메모리 공간을 공유하는 아키텍처로, 데이터 이동 비용을 줄이고 성능을 최적화하는 기술이다. 기존의 개별 메모리 시스템과 달리, UMA는 CPU와 GPU 간 메모리 복사를 최소화하여 고속 연산이 필요한 AI, 머신러닝, 그래픽 처리 등에 최적화되어 있다. 본 글에서는 UMA의 개념, 주요 특징, 장점과 한계, 활용 사례 및 미래 전망을 살펴본다.1. 통합 메모리 아키텍처(UMA)란?UMA는 CPU와 GPU가 별도의 메모리를 가지지 않고, 동일한 메모리 풀을 공유하는 아키텍처이다. 기존에는 CPU와 GPU가 각각 독립된 메모리를 사용하여 데이터를 주고받아야 했지만, UMA를 활용하면 데이터 복사 없..