Processing-in-Memory(PIM) DRAM

개요

Processing-in-Memory(PIM) DRAM은 기존 CPU-메모리 간 분리된 구조(Von Neumann Architecture) 한계를 극복하기 위해, DRAM 내부에 연산 기능(Processing Logic)을 통합하여 메모리 내에서 직접 데이터 처리를 수행하는 차세대 컴퓨팅 아키텍처입니다. 이 접근법은 데이터 이동 병목(Data Movement Bottleneck)과 에너지 소모를 획기적으로 줄여 AI, HPC(High Performance Computing), Edge Computing 등 데이터 집약형 응용 분야에 최적화된 솔루션을 제공합니다.

---

1. 개념 및 정의

항목	항목
정의	DRAM 메모리 내부에 연산 유닛을 내장하여 데이터 이동 없이 메모리에서 직접 데이터 처리 수행
목적	CPU-메모리 간 데이터 전송 병목 최소화 및 연산 성능·에너지 효율성 향상
필요성	AI/ML, 빅데이터, 그래프 분석 등 데이터 집중형 워크로드 대응 필요성 증가

PIM은 "메모리 중심 컴퓨팅(Memory-Centric Computing)" 패러다임의 핵심 기술로 부상하고 있습니다.

---

2. 주요 특징

특징	설명	기존 DRAM 대비 차별점
데이터 이동 최소화	메모리 외부로 데이터를 이동하지 않고 처리	메모리 대역폭 및 전송 지연 극복
에너지 소비 절감	데이터 전송 에너지 소모 감소	기존 DRAM 대비 최대 80% 에너지 절감 가능
대규모 병렬 처리	메모리 뱅크 단위 연산 병렬 수행 가능	CPU 기반 직렬 처리 대비 연산 밀도 대폭 향상

특히 AI 추론(ML Inference), 데이터베이스 가속, 그래프 분석 분야에서 PIM DRAM이 급부상하고 있습니다.

---

3. 구성 요소

구성 요소	설명	예시
PIM 연산 유닛(Processing Element)	DRAM Cell Array에 집적된 간단한 ALU(산술논리연산기)	벡터 연산, 비교 연산, 집계 연산 수행
PIM Controller	명령어 디코딩 및 연산 스케줄링 담당	Host CPU와 PIM Unit 간 명령 프로토콜 관리
PIM 명령어 확장	표준 메모리 프로토콜에 연산 명령 추가	Load/Store + PIM_OP 형태 명령 구성
DRAM 인터페이스 최적화	기존 DDR, HBM(HBM-PIM) 기반 확장	JEDEC 기반 표준화 논의 진행 중

HBM(Higher Bandwidth Memory) 기반 PIM은 고대역폭-저지연 특성을 활용하여 더욱 강력한 성능을 발휘합니다.

---

4. 주요 기술 요소 및 운용 방식

기술	설명	적용 사례
In-Place Computation	메모리 Cell Array에서 직접 연산 수행	벡터-매트릭스 연산, 논리 비교 가속
PIM-Enabled Load/Store 명령어	메모리 접근 시 연산 결과 반환 지원	NVIDIA Grace Hopper Superchip 아키텍처 연구 중
Hybrid Memory Architecture	PIM 연산 + 기존 메모리 저장 기능 병행 지원	기존 CPU 호환성 유지 및 Gradual Adoption 가능
Memory Pooling 및 Sharing	멀티 프로세서 간 메모리 연산 자원 공유	AI 서버, HPC 클러스터 최적화

PIM DRAM은 특히 AI Edge Device, 5G Base Station, 클라우드 AI 인퍼런스 서버에서 주목받고 있습니다.

---

5. 장점 및 이점

장점	설명	효과
데이터 이동 병목 해소	메모리와 프로세서 간 전송 지연 제거	전체 시스템 처리량(Throughput) 향상
에너지 효율 극대화	불필요한 메모리 접근 및 데이터 복제 최소화	전력 소비 및 발열 감소
연산 밀도 증대	DRAM 내 대량 병렬 처리 가능	초대형 AI 모델 추론 및 분석 작업 최적화

특히 PIM은 Edge AI, Exascale Computing, SmartNIC/DPUs에서도 활용 전망이 밝습니다.

---

6. 주요 개발 사례 및 고려사항

사례	설명	고려사항
삼성전자 HBM-PIM(AQUABOLT-XL)	HBM2 기반 AI, HPC 특화 PIM 솔루션	기존 소프트웨어와의 호환성 및 프로그래밍 모델 확보 필요
SK하이닉스 PIM DDR5 제품	DDR5 인터페이스 호환 PIM DRAM 출시	PIM 최적화 소프트웨어 스택 필요
UPMEM PIM DRAM Module	PIM Processing Unit 내장 DIMM 모듈 상용화	개발자 친화적 API 및 툴체인 지원 필수

PIM 활성화를 위해서는 PIM Compiler, Programming Frameworks, 표준화(예: JEDEC PIM Extension) 구축이 필수적입니다.

---

7. 결론

Processing-in-Memory(PIM) DRAM은 전통적 컴퓨팅 아키텍처의 근본적 한계를 뛰어넘는 혁신적 데이터 중심 컴퓨팅 솔루션입니다. AI, HPC, Edge, IoT, 5G 등 데이터 중심 시대를 대비하기 위해, 조직은 지금부터 PIM 기반 인프라 전략, 소프트웨어 최적화 로드맵을 수립하여 차세대 경쟁력 확보를 준비해야 합니다.