ITPE * JackerLab

Fabric-Attached Memory Pooling (FAM-Pool)

개요Fabric-Attached Memory Pooling(FAM-Pool)은 고속 네트워크 패브릭을 기반으로 여러 컴퓨팅 노드에서 공유 가능한 메모리 풀을 구성하는 차세대 메모리 아키텍처입니다. 이는 메모리 확장성과 효율성을 동시에 향상시키며, 대규모 고성능 컴퓨팅(HPC), 인공지능(AI), 데이터센터 등에서 메모리 병목 현상을 해소할 수 있는 핵심 기술로 주목받고 있습니다. 본 글에서는 FAM-Pool의 개념, 구조, 기술 스택, 활용 사례 등을 전문가 수준으로 상세히 분석합니다.1. 개념 및 정의항목내용비고정의고속 패브릭을 통해 여러 노드가 접근 가능한 공유 메모리 풀컴포저블 인프라 기반목적메모리 리소스의 유연한 확장과 효율적 사용메모리 자원의 통합 관리필요성CPU에 직접 연결된 메모리의 고정 구..

개요Disaggregated Memory over CXL(DM-CXL)은 Compute Express Link(CXL) 인터페이스를 기반으로 CPU와 메모리 간의 물리적 결합을 분리(disaggregation)하여, 메모리를 네트워크 기반 리소스로 확장 및 공유할 수 있도록 하는 아키텍처입니다. 기존 서버 중심의 메모리 탑재 구조를 탈피하여, 메모리를 독립된 풀(pool)로 구성하고, 여러 CPU에서 동적으로 연결하여 사용함으로써 클라우드, AI, HPC 환경의 자원 활용도를 극대화합니다.1. 개념 및 정의DM-CXL은 CPU와 메모리를 1:1 결합하지 않고, CXL 프로토콜을 통해 여러 CPU 노드에서 공유 메모리 풀에 접근하는 구조를 말합니다. CXL은 PCIe 기반의 고속, 저지연 메모리 접근을 지..

개요Fabric-Attached Memory(FAM)는 CPU와 직접 연결되지 않고, 고속 패브릭(Fabric) 네트워크를 통해 여러 컴퓨팅 노드에서 공유/접근 가능한 메모리 아키텍처입니다. 이는 메모리와 컴퓨팅 리소스의 분리(disaggregation)를 가능하게 하여, 확장성과 유연성을 극대화하는 새로운 데이터 중심 컴퓨팅 모델을 실현합니다. FAM은 특히 고성능 컴퓨팅(HPC), 대규모 AI 분석, 데이터베이스, 인메모리 컴퓨팅 환경에서 각광받고 있습니다.1. 개념 및 정의Fabric-Attached Memory는 기존의 CPU 중심 메모리 구조와 달리, 메모리를 시스템 메모리가 아닌 네트워크를 통해 공유 자원처럼 사용하는 기술입니다. CPU, GPU, FPGA 등 다양한 연산 자원이 메모리 풀에 ..

개요GPU Leasing Marketplace(GPUL)는 유휴 GPU 자원을 필요로 하는 수요자와, 이를 임대하고자 하는 공급자 간의 거래를 중개하는 플랫폼이다. 클라우드 서비스의 고비용·자원 부족 문제를 보완하면서, AI·머신러닝·영상처리 등의 연산 집약적 워크로드에 필요한 GPU 인프라를 실시간으로 확보할 수 있도록 한다.1. 개념 및 정의 항목 설명 정의GPU 자원을 임대하고 빌릴 수 있는 디지털 중개 플랫폼으로, 온디맨드 GPU 공유를 가능케 함목적고성능 컴퓨팅(GPU) 자원의 유휴화 방지와 수요자 중심의 확장성 제공필요성AI 붐에 따른 GPU 수요 폭증, 클라우드 GPU 한정성, 고비용 문제 해결 위한 대안2. 특징특징설명기존 인프라 대비 차별점실시간 임대수요에 맞춰 즉시 GPU 확보 가능기..

개요AI 연산의 폭발적 증가와 함께 GPU 자원의 사용량도 급격히 상승하고 있으며, 이에 따라 막대한 전력 소비와 탄소 배출이 글로벌 이슈로 부각되고 있습니다. 특히 데이터센터의 전력 소비 중 상당 부분을 차지하는 AI 트레이닝 및 추론 작업에 사용되는 GPU 스케줄링에 대한 에너지 효율화 요구가 높아지고 있습니다. 이를 해결하기 위한 핵심 기술로 주목받는 것이 바로 Carbon-Aware GPU Scheduler입니다. 이 기술은 탄소 배출량 예측 및 저탄소 전력 시간대 인지를 통해 AI 워크로드의 실행 시점과 위치를 최적화합니다.1. 개념 및 정의Carbon-Aware GPU Scheduler는 AI 트레이닝 및 추론 워크로드를 탄소 배출량이 적은 시간대/지역에 우선 배치하거나, 탄소 인식 기준에 따..

개요GPU Fractional Scheduling은 하나의 GPU 자원을 여러 워크로드 또는 사용자 간에 세분화하여 할당하고, 시간 또는 공간 기준으로 효율적으로 스케줄링하는 기술입니다. AI/ML 트레이닝 및 추론 워크로드, 클라우드 기반 모델 서비스 환경에서 GPU 활용률을 극대화하며 비용 효율성을 제공하는 핵심 전략으로 주목받고 있습니다.1. 개념 및 정의Fractional Scheduling은 물리적 GPU 장치를 가상적으로 분할하여 서로 다른 프로세스나 컨테이너가 GPU를 동시에 공유하게 하는 스케줄링 방식입니다.Fractional GPU: GPU 자원을 memory, SM(Core), compute time 등으로 쪼개어 사용Space Sharing: 다중 프로세스가 병렬로 실행 (MPS 기반..

개요Modular Data Center는 표준화된 모듈 단위로 구성되어, 빠른 구축, 손쉬운 확장, 에너지 효율성을 제공하는 프리패브리케이션 기반의 데이터센터입니다. 사전 제작된 IT, 전력, 냉각 모듈을 현장에 배치하는 방식으로 전통적인 데이터센터 구축의 복잡성과 비용을 혁신적으로 줄일 수 있는 차세대 인프라 모델입니다.1. 개념 및 정의모듈형 데이터센터는 컨테이너 또는 프리패브 형태로 제작된 독립적인 구성 요소를 현장에 조립하여 완성하는 데이터센터 구조입니다. 일반적으로 IT 모듈, 전력 모듈, 냉각 모듈로 구성되며, 각 모듈은 이동성과 독립 운영성을 갖추고 있습니다.이는 CAPEX 절감, TTM(Time To Market) 단축, 공간 최적화를 실현할 수 있어, 엣지 컴퓨팅, 고밀도 컴퓨팅, 임시/..