개요ALiBi(Attention with Linear Biases)는 Transformer 기반 대규모 언어 모델(LLM)에서 위치 인코딩(Positional Encoding)을 대체하는 새로운 접근 방식이다. 전통적인 절대적·상대적 위치 인코딩의 한계를 극복하며, 학습된 모델이 더 긴 시퀀스에서도 일반화할 수 있도록 설계되었다.1. 개념 및 정의 항목 내용 설명 정의ALiBi (Attention with Linear Biases)어텐션에 선형 바이어스를 적용한 위치 인코딩 기법목적긴 문맥 처리 및 일반화 개선시퀀스 길이 확장성 확보필요성기존 위치 인코딩의 한계고정 길이 학습 데이터 의존성ALiBi는 추가 파라미터나 학습 과정 없이 단순한 수학적 바이어스만으로 긴 시퀀스 처리 능력을 제공한다.2. 특..