Mixture-of-Experts(MoE)

개요

Mixture-of-Experts(MoE)는 신경망 모델 내 여러 개의 서브 네트워크(전문가)를 구성하고, 입력마다 이 중 일부 전문가만 활성화하여 처리하는 방식의 스파스 활성화(Sparse Activation) 기반 딥러닝 아키텍처입니다. 이를 통해 모델 크기를 기하급수적으로 확장하면서도 학습과 추론 시 연산량은 제한적으로 유지할 수 있어, 최근 거대 언어 모델(LLM)의 핵심 기술로 각광받고 있습니다.

---

1. 개념 및 정의

Mixture-of-Experts는 입력마다 선택적으로 전문가 모듈을 활성화하는 구조로, 모델이 전체 네트워크를 사용하는 것이 아닌, 일부 전문가만을 선택적으로 실행하는 방식입니다.

• 전문가(Expert): 독립적인 Feed-Forward Network(FFN)
• 게이트(Gating Network): 입력에 따라 활성화할 전문가를 선택하는 라우팅 네트워크
• 스파스 활성화: 수백~수천 개 중 몇 개만 사용하여 효율성 확보

---

2. MoE 아키텍처 구성

구성 요소	설명
Expert	FFN 또는 Transformer 블록으로 구성된 서브모델
Gating Network	Softmax 또는 Top-K 방식으로 전문가 선택
Sparse Dispatcher	선택된 전문가만 데이터와 연산 전달
Load Balancing Loss	전문가 불균형을 방지하기 위한 정규화 항

게이트는 입력마다 상위 k개의 전문가를 선택하며, 일반적으로 k=2 정도가 사용됩니다.

---

3. MoE 작동 방식 예시

1. 입력 토큰 X가 Gating Network에 입력됨
2. Gating Network는 Top-2 전문가(예: E3, E7)를 선택
3. 선택된 전문가에게 X를 전달 → 각각 처리
4. 출력은 가중합 또는 평균으로 병합 → 다음 레이어로 전달

→ 하나의 입력 토큰마다 전체 모델이 아닌 일부 전문가만 사용됨

---

4. 장점과 단점

항목	장점	단점
연산 효율성	수십~수백억 파라미터 중 일부만 활성화 → 속도/메모리 절약	전문가 불균형 문제 발생 가능
확장성	파라미터 수를 거의 무제한 확장 가능	분산 학습 인프라 필요
표현력 향상	다양한 전문가로 복잡한 표현 가능	게이트 학습이 불안정할 수 있음
파인튜닝 유연성	일부 전문가만 수정하여 도메인 적응	Catastrophic Forgetting 위험

효율성 극대화와 균형 유지 사이의 트레이드오프 존재

---

5. 주요 구현 및 사례

모델	특징
Google Switch Transformer	최대 1.6조 파라미터, 1 Expert/토큰 구성
GShard	Cross-lingual 학습을 위한 MoE 구조 최초 도입
Microsoft DeepSpeed MoE	대규모 MoE 분산 학습 지원 프레임워크
M6 (Alibaba)	1조+ 파라미터 중국어 언어 모델에 MoE 적용

2024년 기준 GPT-4 및 Gemini 등 최신 LLM에서도 내부적으로 MoE 적용 추정

---

6. 기술적 고려사항 및 최적화

고려 요소	설명
Expert Placement	GPU 간 전문가 분산 배치 → 통신 병목 최소화
Gate Collapse 방지	라우팅 로스 추가 및 노이즈 게이트 활용
Token Parallelism	토큰 단위로 전문가 분산 계산 처리
Fault Tolerance	전문가 고장 시 대체 라우팅 필요

실제 구현 시 DeepSpeed-MoE, FairScale, Colossal-AI 등이 활용됨

---

7. 결론

Mixture-of-Experts(MoE)는 모델 성능과 자원 효율성을 동시에 극대화할 수 있는 스케일링 전략으로, 초대규모 AI 모델의 핵심 구조로 빠르게 자리잡고 있습니다. 특히 고정된 연산량으로도 표현력을 확장할 수 있어, 추론 속도와 파라미터 수 사이의 비효율을 해결하는 혁신적 구조입니다. 향후 LLM 경량화, 개인화, 멀티태스크 학습 등 다양한 분야에서 MoE의 활용은 더욱 확대될 것입니다.