YARN (Yet Another Resource Negotiator)

개요

YARN(Yet Another Resource Negotiator)은 Apache Hadoop 생태계의 핵심 컴포넌트로, 분산 클러스터 환경에서 컴퓨팅 리소스(CPU, 메모리 등)를 효율적으로 관리하고 여러 애플리케이션(Job) 간 자원을 동적으로 할당하는 리소스 관리 프레임워크입니다. MapReduce, Spark, Tez 등 다양한 데이터 처리 엔진이 공통적으로 사용할 수 있는 범용 리소스 관리 계층을 제공합니다.

---

1. 개념 및 정의

항목	내용	비고
정의	클러스터 내 자원을 동적으로 관리하고 스케줄링하는 Hadoop의 리소스 관리 시스템	Apache Hadoop Core 구성요소
목적	분산 환경에서 리소스 활용 극대화 및 애플리케이션 간 공정한 자원 분배	효율적 클러스터 운영
필요성	MapReduce의 고정 리소스 모델 한계 극복	멀티 워크로드 환경 대응

---

2. 특징

항목	내용	비고
범용성	다양한 프레임워크(Spark, Hive, Flink 등) 지원	통합 리소스 관리 플랫폼
확장성	수천 대 노드 규모의 클러스터 확장 지원	대규모 분산 처리 최적화
고가용성	ResourceManager 이중화(HA) 구성 지원	장애 복구 자동화
모듈화	ResourceManager, NodeManager, ApplicationMaster 분리 구조	관리 유연성 강화

YARN은 Hadoop 클러스터의 중앙 조정자 역할을 수행합니다.

---

3. 구성 요소

구성 요소	설명	비고
ResourceManager (RM)	클러스터 전체 자원 관리 및 스케줄링 담당	중앙 관리 노드
NodeManager (NM)	각 노드의 리소스 상태 보고 및 컨테이너 실행 관리	분산 리소스 에이전트
ApplicationMaster (AM)	개별 애플리케이션(Job)의 실행 계획 및 리소스 요청 처리	애플리케이션 단위 제어
Container	실제 작업(Task)이 실행되는 논리적 리소스 단위	CPU 및 메모리 할당 단위

이 구조를 통해 YARN은 자원 격리, 스케줄링, 모니터링을 효율적으로 수행합니다.

---

4. 기술 요소

기술 요소	설명	비고
Capacity Scheduler	다중 사용자 환경에서 공정한 자원 분배	멀티테넌시 지원
Fair Scheduler	모든 Job에 공평한 자원 할당	Spark, Hive에 자주 사용
FIFO Scheduler	요청 순서 기반 단순 스케줄링	테스트용 환경 적합
REST API	외부 애플리케이션에서 리소스 상태 조회	클라우드 네이티브 연동

YARN은 다양한 스케줄링 정책을 통해 운영 효율성을 최적화합니다.

---

5. 장점 및 이점

장점	설명	기대 효과
고성능	리소스 공유 및 동적 할당으로 클러스터 효율 극대화	처리량 향상
유연성	다양한 프레임워크 및 애플리케이션 실행 지원	플랫폼 범용성 확보
안정성	자동 장애 감지 및 복구 기능	운영 신뢰성 강화
확장성	수천 개 노드로 확장 가능한 구조	빅데이터 환경 적합

YARN은 Hadoop 클러스터의 자원 관리 허브로 작동합니다.

---

6. 주요 활용 사례 및 고려사항

사례	설명	비고
Spark on YARN	Spark 클러스터 모드에서 자원 관리 및 배포	Spark Job 스케줄링 지원
Hadoop MapReduce v2	YARN 기반의 개선된 MapReduce 엔진	MRv1 대비 확장성 향상
Hive on YARN	SQL 쿼리 기반 데이터 처리 지원	대규모 데이터 분석 환경
AI/ML 워크로드	PyTorch, TensorFlow Job 관리	GPU 자원 스케줄링 가능

도입 시 Scheduler 선택, Node 리소스 제한, 보안 정책(Kerberos) 구성 고려가 필요합니다.

---

7. 결론

YARN은 Hadoop 생태계에서 자원 관리의 중심축 역할을 하며, 다양한 데이터 처리 프레임워크가 클러스터 자원을 효율적으로 공유할 수 있도록 합니다. 확장성, 안정성, 유연성을 기반으로 빅데이터 및 AI 워크로드 환경에서 필수적인 인프라 구성요소로 자리잡고 있습니다.