CRUSH(Controlled Replication Under Scalable Hashing)

개요

CRUSH는 Ceph 분산 파일 시스템에서 사용하는 데이터 배치 알고리즘으로, 데이터의 위치를 중앙 메타데이터 없이 결정하는 탈중앙화된 방식의 해시 기반 알고리즘입니다. 확장성과 안정성, 데이터 균형 유지가 핵심이며, OSD(Object Storage Daemon) 간에 데이터를 자동으로 분산 배치합니다.

---

1. 개념 및 정의

항목	설명
정의	분산 환경에서 데이터를 해시 기반으로 배치하고 복제하는 알고리즘
목적	데이터 균형, 확장성, 장애 복구 최적화
필요성	중앙 집중식 메타데이터로 인한 병목 제거, 자동 분산 배치 필요

노드 추가/제거 시에도 일관된 데이터 분포와 최소한의 재배치 보장

---

2. 특징

특징	설명	비교
메타데이터 비의존	중앙 서버 없이 데이터 위치 계산	HDFS는 네임노드 필요
가중치 기반 분산	디바이스 용량 비례로 데이터 배치	단순 해시보다 균형 우수
계층 구조 지원	랙/호스트/디스크 등 다단계 분산	단순 분산보다 장애 복원력 향상

자율적으로 데이터 위치를 계산하므로 확장성과 효율성 높음

---

3. 구성 요소

구성 요소	설명	예시
Placement Group (PG)	논리적 데이터 분산 단위	100~300개 수준으로 설정
OSD (Object Storage Daemon)	실제 데이터를 저장하는 노드	디스크 또는 SSD 기반 스토리지
CRUSH Map	배치 정책 및 클러스터 구조 정의	계층 정보, 가중치, 규칙 포함

PG → OSD 매핑을 통해 데이터 자동 분산 처리

---

4. 기술 요소

기술	설명	사용 예
해시 함수	입력 데이터를 PG로 변환	객체명 → PG ID 계산
룰 기반 배치	지정된 정책에 따라 OSD 선택	동일 랙/서버에 복제 방지
동적 재배치 최소화	장애/추가 노드 반영 시 변경 최소화	일부 PG만 이동함

CRUSH Map을 조정하여 정책 변경 및 클러스터 확장 가능

---

5. 장점 및 이점

장점	설명	효과
뛰어난 확장성	노드 추가 시에도 자동 분산	운영 중단 없이 용량 확장 가능
높은 가용성	장애 시에도 빠른 복구	데이터 복제 정책 자동 적용
균형 잡힌 배치	디스크 용량 기반으로 분산	핫스팟 최소화

운영자의 수작업 개입 없이도 효율적인 스토리지 관리 가능

---

6. 주요 활용 사례 및 고려사항

사례	설명	참고사항
Ceph 스토리지	대규모 객체 기반 저장소에 사용	RADOS 기반, Kubernetes 연동 가능
OpenStack	Cinder, Glance 등 백엔드로 사용	Block, Object, Image 스토리지 통합
하이브리드 클라우드	가용성 영역 간 데이터 분산	지역 간 Replica 설정 가능

CRUSH Map 수동 관리 시 실수에 의한 데이터 불균형 가능성 존재

---

7. 결론

CRUSH 알고리즘은 분산 스토리지 시스템의 핵심 요소로, 중앙 메타데이터 없이도 고가용성과 확장성을 제공하며, 데이터의 자동화된 균형 분산을 통해 운영 효율성을 극대화합니다. Ceph과 같은 대규모 스토리지 인프라에서 필수적인 기술로 활용됩니다.