ITPE * JackerLab

개요HELM(Holistic Evaluation of Language Models)은 Stanford CRFM(Center for Research on Foundation Models)에서 개발한 LLM 평가 프레임워크로, 단순 정확도 중심의 평가를 넘어, 편향성, 유해성, 효율성, 견고성 등 다양한 관점에서 언어 모델의 품질을 정량적으로 분석하고 비교하는 것을 목표로 합니다.1. 개념 및 정의 항목 내용 정의LLM을 정확성 외의 다면적 기준으로 평가하는 표준화된 프레임워크목적다양한 환경과 조건에서 LLM의 강점과 한계를 투명하게 분석필요성LLM이 실제 사용되는 상황에서 발생할 수 있는 다양한 리스크 고려 필요2. 주요 특징특징설명장점다차원 평가 기준정확도뿐 아니라 편향, 유해성, 효율성 등 총 7개 ..

개요OpenAI Evals SDK는 대규모 언어 모델(LLM)의 성능을 반복 가능하고 체계적으로 평가하기 위한 오픈소스 기반의 평가 프레임워크입니다. 이 도구는 평가 기준을 코드로 정의할 수 있게 하여, 실험 자동화, 결과 재현성, 팀 협업을 가능하게 하고 LLM 기반 서비스 개발의 품질과 신뢰성을 크게 높입니다.1. 개념 및 정의OpenAI Evals SDK: LLM 또는 기타 모델에 대한 입력/출력 테스트를 코드로 구현할 수 있도록 하는 Python 기반 SDK기반 철학: 평가도 테스트처럼 다루며, 자동화 및 협업을 고려한 설계평가 방식: 프롬프트 기반, 기준 정답과 비교, LLM judge 사용 등 다양한 방식 지원2. 특징 항목 설명 비교 대상 평가 코드화평가 기준, 데이터셋, 메트릭을 코드로..