Reformer (LSH Attention)

개요

Reformer는 구글 브레인(Google Brain) 팀이 제안한 트랜스포머 구조의 확장으로, Locality-Sensitive Hashing(LSH)을 활용해 Self-Attention 연산의 복잡도를 O(N²)에서 O(N log N)으로 낮춘 모델이다. 본 포스트에서는 Reformer의 핵심 개념인 LSH Attention의 작동 원리, 구성 요소, 기술적 특징 및 주요 활용 사례를 중심으로 설명한다.

---

1. 개념 및 정의

항목	설명
정의	Reformer는 입력 시퀀스를 유사도 기준으로 해시 버킷에 나누고, 각 버킷 내에서만 Self-Attention을 수행하여 연산량을 줄인 Transformer 구조
목적	긴 시퀀스의 Self-Attention을 보다 효율적으로 처리
필요성	트랜스포머의 메모리 병목 및 확장성 한계를 해결하기 위한 혁신적 구조 필요

---

2. 특징

특징	설명	기존 Transformer와 비교
LSH 기반 Attention	입력 토큰을 해시를 통해 유사한 그룹으로 분류	기존: 모든 토큰 쌍 비교 필요
연산 효율성	Attention 복잡도를 O(N log N)으로 축소	Softmax Attention: O(N²)
시퀀스 길이 확장	수십만 토큰 길이에도 실용적인 처리 가능	기존 트랜스포머는 수천 단위 제한

Reformer는 정확도를 유지하면서도 처리 효율성을 크게 개선한다.

---

3. 구성 요소

구성 요소	설명	기술 예시
LSH Attention	토큰 간 유사도를 해시 함수로 근사하여 그룹화	Bucketing, Sort and Split
Reversible Layer	역전파 시 중간 상태를 저장하지 않아 메모리 절약	Activation 저장 없이 gradient 계산
Chunked Feed-Forward	피드포워드 레이어도 청크 단위로 분산 처리	메모리 사용량 및 속도 최적화

이 구조 덕분에 Reformer는 대규모 시퀀스를 학습 가능한 모델로 구현한다.

---

4. 기술 요소

기술	설명	적용 예시
LSH 해싱	내적 기반 해시로 Query-Key의 유사도 반영	Gaussian random projection 활용
Reversible Residual Layer	순전파 중간값 복원 가능, 메모리 효율성 향상	JAX/Flax 기반 구현에 적합
Attention Bucketing	비슷한 임베딩을 가진 토큰끼리 Attention 수행	DNA 서열 분석, 문서 요약

각 기술은 효율적인 연산과 함께 확장성을 고려하여 설계되었다.

---

5. 장점 및 이점

장점	설명	기대 효과
메모리 절약	Reversible 구조와 Chunking으로 GPU 메모리 사용량 감소	대규모 학습 가능
확장성 우수	긴 시퀀스 처리 가능	자연어 처리뿐 아니라 생물정보학에 유용
속도 향상	전체 어텐션 계산 필요 없음	추론 시간 단축

Reformer는 메모리와 속도 양 측면에서 균형 잡힌 성능을 보여준다.

---

6. 주요 활용 사례 및 고려사항

사례	내용	고려사항
장문 문서 요약	긴 보고서, 논문 등 요약 모델에 활용	해시 기반 Attention의 정확도 영향 고려
유전체 데이터 분석	수십만 base pair 서열 분석	biological redundancy 고려 필요
긴 대화 기록 분석	수천 문장 이상의 대화 처리	문맥 유지 및 버킷 순서 보존 전략 필요

도입 시에는 해시 버킷 수, 반복 횟수 등 하이퍼파라미터 설정이 중요하다.

---

7. 결론

Reformer는 LSH Attention과 Reversible 구조를 활용하여 트랜스포머의 연산량과 메모리 사용량을 획기적으로 개선한 구조이다. 특히 긴 시퀀스 데이터를 효과적으로 처리할 수 있어 대규모 텍스트, 유전체, 대화 등 다양한 분야에서 활용도가 높으며, 경량형 트랜스포머 구현의 핵심 기술로 주목받고 있다.