ITPE * JackerLab

개요S4(Structured State Space)는 긴 시퀀스 데이터를 효율적으로 모델링하기 위해 개발된 딥러닝 아키텍처로, 시간-연속적인 신호를 처리하는 데 적합한 State Space Model(SSM)의 수학적 구조를 기반으로 한다. Transformer의 self-attention 한계를 극복하며, 계산 효율성과 긴 문맥 유지력을 동시에 추구하는 최신 시퀀스 모델이다.1. 개념 및 정의항목설명정의선형 시계열 시스템의 수학적 상태 공간 모델을 신경망에 통합한 시퀀스 모델목적긴 시퀀스를 sub-quadratic 복잡도로 효율적으로 학습 및 예측필요성Attention 방식의 시간·공간 복잡도를 줄이기 위한 대안S4는 수학적으로 안정적인 구성으로 긴 의존성을 학습하는 데 유리하다.2. 특징특징설명비교L..

개요AdapterFusion은 미리 학습된 다양한 어댑터 모듈(adapter modules)을 하나의 모델 내에서 결합해 사용하는 기술로, 멀티태스크 또는 멀티도메인 환경에서 파인튜닝된 어댑터들을 효과적으로 재활용하고 통합할 수 있는 메커니즘을 제공한다. 대형 언어 모델(LLM)의 확장성과 지속적인 학습을 가능하게 만드는 파라미터 효율적 학습 기술의 일환이다.1. 개념 및 정의 항목 설명 정의다수의 파인튜닝된 adapter를 결합하여 하나의 통합 표현으로 만드는 메커니즘목적태스크 간 지식 공유 및 파라미터 효율적 재사용필요성다수 태스크에 대해 독립적인 학습보다 효율적인 통합 방법 요구AdapterFusion은 파인튜닝된 어댑터 간 관계를 학습하여 적절히 조합함으로써 성능과 효율을 동시에 확보한다.2. ..

개요Hyena는 Transformer의 한계를 극복하고 긴 시퀀스를 효율적으로 처리할 수 있도록 설계된 새로운 딥러닝 모델 구조다. 특히 O(N log N) 복잡도로 길이가 수만에 이르는 입력 시퀀스를 처리할 수 있어, 자연어 처리, 게놈 데이터 분석, 시계열 예측 등 다양한 영역에서 Transformer 대비 더 빠르고 확장 가능한 성능을 제공한다.1. 개념 및 정의 항목 설명 정의Transformer의 Self-Attention을 대체하는 Convolution 기반 Sequence 모델목적긴 시퀀스에서도 연산 효율과 정보 유지력을 확보필요성기존 Transformer는 O(N²) 복잡도로 긴 입력에서 비효율적Hyena는 일반적인 Attention 없이도 긴 문맥의 정보를 효과적으로 포착할 수 있는 구..

개요DDIM(Denoising Diffusion Implicit Models)은 확률적 생성 모델인 Diffusion Model에서 샘플링 속도를 획기적으로 개선한 생성 모델 기법이다. DDPM(Denoising Diffusion Probabilistic Model)의 고품질 생성 능력을 유지하면서도 deterministic한 방식으로 빠른 이미지 생성을 가능하게 만든다.1. 개념 및 정의 항목 설명 정의확산 모델 기반 이미지 생성에서 샘플링 속도를 높인 deterministic 생성 기법목적고품질 이미지를 빠르게 생성 (few steps)필요성기존 확산 모델의 수백~수천 step의 느린 샘플링 문제 해결DDIM은 inference 시 stochasticity 없이 이미지 생성 과정을 단순화하여 효율을..