ITPE * JackerLab

개요Autoformer는 시계열 데이터의 장기 예측을 위해 설계된 트랜스포머 기반 모델로, 시계열 분해(Series Decomposition)를 내재화한 독창적인 구조를 갖고 있다. 기존 트랜스포머의 계산 복잡도를 유지하면서도 시계열의 추세(Trend)와 계절성(Seasonality)을 분리해 모델링함으로써, 예측 성능과 일반화 능력을 모두 향상시킨다.1. 개념 및 정의 항목 설명 정의Autoformer는 시계열을 추세성과 계절성으로 분해하고 이를 Transformer 구조 내에서 학습하는 모델목적장기 시계열 예측의 정확도 향상 및 일반화 성능 개선필요성시계열 내 중복 및 순환성을 명시적으로 분리하여 학습하는 방식이 기존 트랜스포머보다 유리함2. 특징특징설명기존 트랜스포머 대비시계열 분해 내재화입력 시..

개요Informer는 긴 시계열 예측(Long Sequence Time-Series Forecasting, LSTF)을 위한 Transformer 기반 모델로, 기존 트랜스포머의 O(N²) 복잡도를 극복하고 효율적인 추론이 가능하도록 설계되었다. ProbSparse Self-Attention과 디코더 구조 개선을 통해 예측 정확도와 계산 효율을 동시에 높인 것이 특징이다.1. 개념 및 정의 항목 설명 정의Informer는 시계열 데이터를 예측하기 위해 설계된 트랜스포머로, 희소 어텐션과 디코더 병렬화를 통해 속도와 확장성을 개선한 모델목적긴 시계열 데이터를 빠르고 정확하게 예측하는 고효율 구조 구현필요성기존 트랜스포머는 긴 입력 처리 시 메모리와 연산 부담이 큼2. 특징특징설명기존 트랜스포머 대비Pro..

개요Perceiver IO는 다양한 형태의 입력 데이터를 효율적으로 처리하고 복잡한 출력까지 유연하게 생성할 수 있는 범용 딥러닝 아키텍처입니다. DeepMind가 2021년에 발표한 이 모델은 Transformer의 한계를 극복하고, 고차원 비정형 데이터(예: 이미지, 텍스트, 비디오, 포인트 클라우드 등)를 처리하는 데 강력한 성능을 보이며, AI 모델의 범용성과 확장성을 크게 향상시켰습니다.1. 개념 및 정의 항목 설명 비고 정의다양한 입력-출력 쌍을 유연하게 다루는 Transformer 기반 딥러닝 아키텍처Perceiver의 확장 버전목적입력 길이 제한 극복 및 다양한 입력 처리NLP 외 다양한 도메인 지원핵심 구조Cross-Attention 기반 입출력 디커플링 구조처리 효율성 강화Trans..