NVMe-over-Fabrics(NVMe-oF)

개요

NVMe-over-Fabrics(NVMe-oF)는 고성능 로컬 SSD 인터페이스인 NVMe(Non-Volatile Memory Express)를 데이터센터, 클라우드, 엣지 환경에서 네트워크를 통해 확장 가능한 고속 원격 스토리지 구조로 발전시킨 기술입니다. 초저지연, 고대역폭 네트워크 패브릭을 통해 **스토리지와 컴퓨트 자원의 분리(Disaggregation)**를 실현하며, CPU 오버헤드 최소화 및 확장성 있는 스토리지 인프라로 주목받고 있습니다.

---

1. 개념 및 정의

NVMe-oF는 NVMe 명령어를 이더넷, 인피니밴드, 파이버 채널 등의 네트워크 패브릭 위에서 전송할 수 있도록 확장한 프로토콜입니다.

• 기본 개념: NVMe를 네트워크 기반으로 원격 장치에 확장
• 전송 방식: TCP, RDMA(RoCE, iWARP), FC-NVMe 등 다양한 패브릭 지원
• 목표: 로컬 수준의 성능으로 원격 스토리지 접근 가능하게 함

---

2. 전통 스토리지 vs NVMe-oF 비교

항목	전통 SAN (iSCSI 등)	NVMe-oF
명령어 스택	SCSI 기반	NVMe 기반 (낮은 오버헤드)
병목 현상	다단계 SCSI 계층	플랫한 큐 구조, 병목 최소화
지연 시간	수백 µs ~ ms	10~50 µs 수준까지 단축 가능
전송 프로토콜	TCP/IP 중심	TCP, RDMA, FC 등 다양
병렬 처리	제한적	수천 개 큐 동시 처리 가능

NVMe-oF는 기존 SAN 대비 IO당 처리 오버헤드가 낮고 확장성이 뛰어남.

---

3. 주요 구성 요소 및 동작 흐름

구성 요소	설명
NVMe Host	NVMe-oF 클라이언트 역할 (서버, VM 등)
NVMe Target	스토리지 장치 제공자 (SSD, All-Flash Array 등)
NVMe Subsystem	네임스페이스, 큐 등을 포함한 논리적 단위
Transport Layer	RDMA, TCP, FC 등을 통한 연결 통신 계층

동작 흐름:

1. 호스트가 Fabric을 통해 타겟 검색
2. 큐 페어 생성 및 연결 수립 (Connect Command)
3. 명령 전송 및 데이터 입출력 수행

---

4. 전송 기술 유형 비교

프로토콜	특징	지연 성능
NVMe/TCP	범용성 높음, 이더넷 기반	100 µs 이하
NVMe/RoCE	RDMA 기반, 낮은 지연	10~20 µs
NVMe/FC	기존 FC SAN과 호환성	중간 수준
NVMe/iWARP	NIC 기반 RDMA 구현	일부 환경에 한정적

NVMe/TCP는 가장 범용적이고 소프트웨어 기반으로 빠르게 확산 중입니다.

---

5. 장점 및 효과

항목	장점
고성능	로컬 SSD에 근접한 속도 제공
확장성	컴퓨트와 스토리지 분리로 리소스 효율 향상
오버헤드 최소화	NVMe 명령 최적화로 CPU 부하 적음
표준화	NVM Express 표준 기반으로 생태계 호환성 우수

AI 워크로드, 고성능 DB, 컨테이너 환경 등에서 탁월한 성능 발휘.

---

6. 활용 사례 및 산업별 적용

분야	적용 사례
클라우드	NVMe-oF 기반 블록 스토리지 서비스 (ex. Azure Ultra Disk)
데이터센터	HCI, NVMe JBOF 스토리지 구조 구성
AI/ML	GPU 서버와 NVMe 타겟 스토리지 간 고속 입출력
금융	고속 저지연 트랜잭션 처리 DB에 최적

특히 GPU 연산과 대용량 IO가 동시에 요구되는 환경에 적합.

---

7. 결론

NVMe-over-Fabrics는 고성능 컴퓨팅 환경에서 스토리지 확장성과 전송 지연을 동시에 해결하는 핵심 기술입니다. 네트워크 기반 스토리지의 한계를 극복하고, 기존 SAN의 복잡성과 병목을 대체하는 차세대 스토리지 패러다임으로써, 클라우드 인프라, 엣지, AI, 금융 등 다양한 분야에서 빠르게 채택되고 있으며, 향후 DPU 기반 스토리지 오프로드 아키텍처와도 강력한 시너지를 기대할 수 있습니다.