개요Contrastive Search는 대규모 언어모델(LLM)의 텍스트 생성 과정에서 반복(Repetition) 문제를 줄이고 의미적 일관성(Coherence)을 향상시키기 위해 제안된 디코딩 전략이다. 기존 Greedy Search, Beam Search, Top-k, Top-p(Sampling) 방식은 확률 기반 선택에 의존하기 때문에 문맥 반복, 의미 왜곡, 비논리적 확장 등의 문제가 발생할 수 있다.Contrastive Search는 모델의 신뢰도(Confidence)와 표현 다양성(Diversity)을 동시에 고려하는 대조(Contrastive) 목적 함수를 활용하여, 가장 확률이 높은 토큰이 아닌 ‘문맥적으로 가장 적절하면서도 반복을 최소화하는’ 토큰을 선택한다.1. 개념 및 정의Contra..
