728x90
반응형

gatingnetwork 2

Mixture-of-Depthwise Experts (MoDE)

개요Mixture-of-Depthwise Experts(MoDE)는 딥러닝 모델의 경량화와 성능을 동시에 달성하기 위해 제안된 효율적인 합성곱 신경망 아키텍처다. 기존의 Mixture-of-Experts(MoE)와 Depthwise Convolution 기법을 결합하여, 연산량을 줄이면서도 학습 및 추론 정확도를 유지하거나 향상시키는 것이 핵심 목적이다.1. 개념 및 정의 항목 설명 정의MoDE는 여러 개의 depthwise convolution 전문가를 조합하여 입력에 따라 선택적으로 활성화하는 경량 딥러닝 구조목적연산 효율성과 정확도 향상을 동시에 추구하는 모바일·엣지 친화형 모델 구성필요성대규모 모델의 추론 비용 증가 문제 해결 및 Edge 환경에서의 실시간 대응력 확보2. 특징특징설명기존 기술과..

Topic 2025.07.17

Sparsely-Gated MoE (Mixture of Experts)

개요Sparsely-Gated MoE(Mixture of Experts)는 대형 신경망 모델에서 전체 네트워크가 아닌 일부 전문가(Experts)만 선택적으로 활성화함으로써 모델 용량은 늘리되 계산 비용은 일정하게 유지하는 구조입니다. 이 방식은 Google Brain의 논문 “Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer”에서 제안되었으며, GPT, T5, Switch Transformer 등 현대 대형 언어 모델의 확장성 향상에 널리 사용되고 있습니다.1. 개념 및 정의Mixture of Experts(MoE)는 여러 개의 전문가 네트워크(Expert)를 구성하고, Gating Network를 통해 입력마..

Topic 2025.05.08
728x90
반응형