ITPE * JackerLab

개요Min-PPL Decoding은 대규모 언어모델(LLM)의 출력 문장 중 퍼플렉서티(Perplexity)가 가장 낮은 후보를 선택하여 생성 품질을 향상시키는 디코딩 전략이다. 퍼플렉서티는 모델이 특정 시퀀스를 얼마나 자연스럽게 예측하는지를 나타내는 지표로, 값이 낮을수록 모델의 확률 분포와 일치하는 문장임을 의미한다.기존 Greedy, Beam Search, Top-k, Top-p 방식은 확률 기반 토큰 선택에 초점을 두지만, Min-PPL은 완성된 시퀀스의 전반적 언어 적합도(Global Fluency)를 기준으로 후보를 평가한다는 점에서 차별화된다.1. 개념 및 정의Min-PPL Decoding은 여러 후보 시퀀스를 생성한 후, 각 시퀀스의 평균 음의 로그 확률(또는 퍼플렉서티)을 계산하여 가장 ..

개요Self-Consistency Prompting은 대형 언어 모델(LLM)의 응답 품질을 향상시키기 위한 추론 전략입니다. 이 방식은 단일 응답이 아닌 다양한 추론 경로를 생성하고, 그 중 가장 일관된 결과를 선택하여 보다 신뢰도 높은 답변을 도출합니다. 본 글에서는 이 기법의 개념, 기술적 원리, 구현 방식, 활용 사례를 체계적으로 정리합니다.1. 개념 및 정의 구분 내용 정의LLM에서 다양한 추론 경로를 생성한 후, 다수결 방식으로 일관된 응답을 선택하는 기법목적복잡한 문제 해결 시 추론 정확도 및 신뢰도 향상필요성단일 샘플 기반 출력의 불확실성 제거 및 안정성 강화2. 특징특징설명차별점다중 추론 생성다양한 Temperature 설정으로 복수의 응답 샘플 생성일반적인 프롬프트 1회 호출 방식과 ..