개요RLHF(Reinforcement Learning from Human Feedback)는 대형언어모델(LLM)의 출력을 인간의 선호(preference)에 더 잘 맞추기 위해 강화학습 기법과 인간 피드백을 결합하는 학습 방법론입니다. 주로 언어모델이 생성하는 응답의 품질, 안전성, 윤리성 등을 개선하는 데 사용되며, ChatGPT, Claude, Gemini 등 최신 LLM에서 광범위하게 활용되고 있습니다. 본 글에서는 RLHF의 개념, 구성 요소, 학습 프로세스, 기술 요소 등을 상세히 설명합니다.1. 개념 및 정의RLHF는 인간이 제공한 피드백을 기반으로, 언어모델의 행동(policy)을 강화학습 방식으로 조정함으로써, 보다 선호도 높은 출력을 유도하는 학습 기법입니다.목적: 언어모델이 인간의 가..
