개요대규모 언어 모델(LLM)을 활용한 텍스트 생성에서는 응답의 정확성, 품질, 다양성, 안전성을 제어하는 다양한 기법이 존재합니다. 그중에서도 가장 낮은 수준에서 작동하는 핵심 기술이 바로 **Token-Level Filtering(토큰 단위 필터링)**입니다. 이 기법은 모델이 출력할 다음 토큰 후보군에 대해 사전 정의된 기준으로 필터링 및 재정렬하여, 결과물의 품질을 정밀하게 제어할 수 있도록 합니다.1. 개념 및 정의Token-Level Filtering은 LLM이 다음 토큰을 예측할 때 출력하는 확률 분포(logits 또는 softmax 확률)에서, 부적절하거나 품질이 낮은 토큰을 제거 또는 확률 재조정하는 과정입니다. 이 과정은 디코딩 단계에 직접 개입하여, 단어 수준의 편향 제어, 위험 응답..
