ITPE * JackerLab

개요Reformer는 구글 브레인(Google Brain) 팀이 제안한 트랜스포머 구조의 확장으로, Locality-Sensitive Hashing(LSH)을 활용해 Self-Attention 연산의 복잡도를 O(N²)에서 O(N log N)으로 낮춘 모델이다. 본 포스트에서는 Reformer의 핵심 개념인 LSH Attention의 작동 원리, 구성 요소, 기술적 특징 및 주요 활용 사례를 중심으로 설명한다.1. 개념 및 정의 항목 설명 정의Reformer는 입력 시퀀스를 유사도 기준으로 해시 버킷에 나누고, 각 버킷 내에서만 Self-Attention을 수행하여 연산량을 줄인 Transformer 구조목적긴 시퀀스의 Self-Attention을 보다 효율적으로 처리필요성트랜스포머의 메모리 병목 및 ..

개요Performer는 기존 Transformer의 연산 병목을 해결하기 위해 고안된 선형 복잡도 어텐션 알고리즘이다. 특히 FAVOR+ (Fast Attention Via Positive Orthogonal Random features)는 Self-Attention의 계산량을 O(N²)에서 O(N)으로 줄여 대규모 입력 처리에서 속도와 메모리 사용을 획기적으로 개선한다. 본 글에서는 Performer의 핵심 개념, FAVOR+의 수학적 원리, 기술적 장점과 다양한 활용 사례를 상세히 소개한다.1. 개념 및 정의 항목 설명 정의Performer는 Self-Attention을 근사하는 선형 어텐션 기반 트랜스포머 구조로, FAVOR+ 기법을 핵심으로 사용목적트랜스포머 구조의 연산량을 선형 수준으로 낮춰 ..