
개요HELM(Holistic Evaluation of Language Models)은 다양한 대규모 언어 모델(LLM)의 능력을 공정하고 포괄적으로 평가하기 위한 벤치마크 프레임워크입니다. 단순 정확도 측정에서 벗어나, 정확성, 편향성, 효율성, 유해성 등 다면적 기준을 기반으로 모델의 실사용 적합성을 판단할 수 있도록 설계되었습니다. Stanford CRFM(Center for Research on Foundation Models) 주도로 개발되었으며, GPT, Claude, PaLM, LLaMA 등 주요 LLM들을 비교 평가하는 지표로 활용됩니다.1. 개념 및 정의HELM은 단일 태스크 중심의 벤치마크 한계를 넘어, 언어 모델의 '실제 활용 가치'를 다양한 기준으로 측정하는 멀티태스크·멀티지표 평가 ..