ITPE * JackerLab

개요Sparsely-Gated MoE(Mixture of Experts)는 대형 신경망 모델에서 전체 네트워크가 아닌 일부 전문가(Experts)만 선택적으로 활성화함으로써 모델 용량은 늘리되 계산 비용은 일정하게 유지하는 구조입니다. 이 방식은 Google Brain의 논문 “Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer”에서 제안되었으며, GPT, T5, Switch Transformer 등 현대 대형 언어 모델의 확장성 향상에 널리 사용되고 있습니다.1. 개념 및 정의Mixture of Experts(MoE)는 여러 개의 전문가 네트워크(Expert)를 구성하고, Gating Network를 통해 입력마..

개요연합학습(Federated Learning)은 개별 데이터 소유자가 원본 데이터를 공유하지 않고도 인공지능(AI) 모델을 공동 학습할 수 있도록 하는 분산형 머신러닝 기술입니다. 중앙 서버에 데이터를 업로드하지 않고 로컬 장치에서 모델을 학습한 후, 학습된 파라미터만을 서버로 전송하여 집계하는 방식으로, 개인정보 보호와 데이터 보안이 중요한 분야에서 각광받고 있습니다.1. 개념 및 정의연합학습은 2016년 Google이 모바일 단말기에서의 AI 학습 문제를 해결하기 위해 처음 제안한 개념으로, 기본 원리는 다음과 같습니다:중앙 서버가 초기 모델을 각 클라이언트(기기, 기관 등)에 배포각 클라이언트는 로컬 데이터로 모델을 학습학습된 파라미터(모델 가중치)를 중앙 서버에 전송서버는 이를 집계하여 새로운 ..