개요S4(Structured State Space)는 긴 시퀀스 데이터를 효율적으로 모델링하기 위해 개발된 딥러닝 아키텍처로, 시간-연속적인 신호를 처리하는 데 적합한 State Space Model(SSM)의 수학적 구조를 기반으로 한다. Transformer의 self-attention 한계를 극복하며, 계산 효율성과 긴 문맥 유지력을 동시에 추구하는 최신 시퀀스 모델이다.1. 개념 및 정의항목설명정의선형 시계열 시스템의 수학적 상태 공간 모델을 신경망에 통합한 시퀀스 모델목적긴 시퀀스를 sub-quadratic 복잡도로 효율적으로 학습 및 예측필요성Attention 방식의 시간·공간 복잡도를 줄이기 위한 대안S4는 수학적으로 안정적인 구성으로 긴 의존성을 학습하는 데 유리하다.2. 특징특징설명비교L..
