Erasure Coding

개요

Erasure Coding(삭제 코드)은 데이터를 블록 단위로 분할한 뒤 추가적인 패리티 블록을 생성하여 분산 저장하는 데이터 보호 기술입니다. RAID보다 효율적으로 스토리지 공간을 활용하면서도 높은 수준의 내결함성을 제공하며, 클라우드 스토리지 및 대규모 분산 파일 시스템에서 널리 사용됩니다.

---

1. 개념 및 정의

항목	설명	비고
정의	데이터를 여러 조각으로 나누고, 패리티 조각을 추가 생성해 장애 시 복구 가능하게 하는 기법	정보이론 기반
목적	데이터 손실 방지 및 고가용성 보장	RAID보다 효율적
필요성	대규모 스토리지 환경에서 높은 내결함성과 효율성 확보	클라우드·분산 스토리지 최적

효율적인 데이터 보호 방식으로 클라우드 환경에서 각광받고 있습니다.

---

2. 특징

특징	설명	비교
고가용성	일부 노드/디스크 손실 시에도 데이터 복구 가능	RAID5/6 대비 더 높은 내결함성
저장 효율성	중복 복제(Replication) 대비 스토리지 사용량 감소	복제 대비 비용 절감
유연성	다양한 (k,m) 인코딩 방식 지원	Reed-Solomon 등 알고리즘 활용

복제보다 효율적이고 RAID보다 강력한 내결함성을 제공합니다.

---

3. 구성 요소

구성 요소	설명	예시
데이터 블록(k)	원본 데이터를 분할한 블록	k=6
패리티 블록(m)	복구용으로 추가 생성된 블록	m=3
인코딩 알고리즘	데이터+패리티 블록을 생성하는 수학적 방식	Reed-Solomon, LDPC

(k+m) 블록 중 일부 손실에도 데이터 재구성이 가능합니다.

---

4. 기술 요소

기술 요소	설명	적용 영역
Reed-Solomon 코드	가장 널리 사용되는 선형 블록 코드	HDFS, Ceph, Azure Storage
LDPC(Low Density Parity Check)	연산 효율성을 개선한 패리티 코드	차세대 분산 스토리지
멀티 클러스터 분산	여러 데이터센터에 블록 분산 저장	클라우드 DR 시나리오
최적화된 복구 알고리즘	손실 블록 최소화 복원 방식	네트워크 비용 절감

스토리지 성능과 네트워크 효율을 고려한 고도화 기술이 적용됩니다.

---

5. 장점 및 이점

장점	설명	효과
높은 내결함성	다수 디스크/노드 장애에도 복구 가능	서비스 연속성 보장
스토리지 절감	복제 대비 최소 50% 이상의 공간 절감	비용 절감
클라우드 친화성	멀티 리전 및 분산 환경에 최적화	글로벌 서비스 지원

대규모 클라우드 환경에서 비용·안정성 측면 모두 유리합니다.

---

6. 주요 활용 사례 및 고려사항

활용 사례	설명	고려사항
클라우드 스토리지	AWS S3, Azure, Google Cloud의 백엔드 적용	복구 시 지연(latency) 증가 가능
분산 파일 시스템	HDFS, Ceph, GlusterFS에서 활용	CPU 연산 부하 고려 필요
데이터 아카이빙	장기 보관 데이터의 효율적 저장	복구 속도보다는 안정성 중시

복구 성능과 스토리지 효율 간의 균형이 중요합니다.

---

7. 결론

Erasure Coding은 RAID와 복제의 한계를 극복하는 차세대 스토리지 데이터 보호 기법으로, 클라우드와 분산 시스템에서 필수적인 기술로 자리잡고 있습니다. 효율적인 스토리지 운영과 고가용성을 동시에 확보할 수 있어 대규모 데이터 인프라에서 핵심적 역할을 수행합니다.