ITPE * JackerLab

개요Switch Transformer는 Google Brain이 발표한 Sparse Mixture-of-Experts(MoE) 기반의 초대형 트랜스포머 모델로, 기존 Dense Transformer 구조의 연산 병목 문제를 해결하고 학습 효율성을 극대화하기 위해 설계되었다. 선택적으로 활성화되는 전문가(Experts) 레이어 구조와 Soft Routing을 사용해 연산량은 줄이고 성능은 유지하거나 개선하는 스케일 최적화 모델이다.1. 개념 및 정의Switch Transformer는 Transformer의 Feedforward 레이어를 수천 개의 전문가(Expert) 중 일부만 활성화하는 방식으로 대체한다. MoE 구조 중에서도 가장 단순하면서 효과적인 구조인 Switch Routing을 통해, 각 입력 ..

개요VideoPoet은 구글(Google DeepMind)에서 개발한 멀티모달 생성형 모델로, 텍스트, 오디오, 이미지, 동영상을 하나의 시퀀스 토큰화 구조로 통합하여 동영상을 생성하는 최신 AI 프레임워크이다. 특히 Token-Infusion 기법을 활용해 다양한 모달리티 간 통합을 자연스럽게 구현할 수 있다는 점에서 주목받고 있다.1. 개념 및 정의 항목 설명 정의VideoPoet은 텍스트, 오디오, 이미지 입력을 받아 동영상을 생성할 수 있는 autoregressive 멀티모달 모델목적간단한 텍스트 명령으로 복잡한 영상 콘텐츠 생성 가능하게 함필요성기존 비디오 생성 모델의 모달리티 분리 한계를 극복하고 창의적 영상 합성 요구 증가2. 특징특징설명기존 모델과 비교Token-Infusion각 moda..

개요MusicLM은 구글(Google)이 개발한 텍스트 기반 음악 생성 모델로, 사용자가 입력한 자연어 설명을 바탕으로 고품질의 음악을 생성한다. 이 모델은 언어-오디오 임베딩 학습을 통해 음악의 구조, 스타일, 악기 구성, 감정 등 다양한 요소를 반영하여 실제 음악처럼 자연스러운 결과물을 생성할 수 있다.1. 개념 및 정의 항목 설명 정의MusicLM은 텍스트 설명을 입력받아 AI가 음악을 생성하는 멀티모달 생성형 모델목적비전문가도 창작 가능한 텍스트 기반 음악 제작 도구 제공필요성기존 음악 생성 모델은 제어 가능성 부족, 텍스트 기반 제어 요구 증가2. 특징특징설명기존 모델과 비교텍스트 기반 제어자연어로 음악의 스타일, 악기, 분위기 등 지정 가능Jukebox는 가사 기반, Text-to-Music..

개요AdaFactor는 구글에서 제안한 경량화된 최적화 알고리즘으로, Transformer 기반 모델의 학습 시 메모리 효율을 극대화하면서도 성능 저하 없이 빠른 수렴을 가능하게 하는 것이 특징입니다. 특히 Adam 옵티마이저의 대안으로 주목받으며 대규모 언어 모델 학습에 적합한 솔루션으로 각광받고 있습니다.1. 개념 및 정의 구분 내용 정의Adam의 변형으로, 두 번째 모멘텀(m²)을 분해하여 저장 메모리를 줄이는 최적화 알고리즘목적대규모 모델 학습 시 메모리 사용량을 최소화하고 성능 유지필요성GPU 메모리 제약으로 인한 병렬성/확장성 문제 해결2. 특징특징설명차별점저메모리 사용두 번째 모멘텀(m²)을 행/열로 분해하여 저장Adam 대비 메모리 사용량 대폭 절감스케일 불변성가중치 스케일과 무관하게 안..