ITPE * JackerLab

개요lm-eval-harness는 다양한 자연어 처리(NLP) 과제에 대해 LLM(Large Language Model)의 성능을 정량적으로 평가하기 위한 Python 기반 오픈소스 프레임워크입니다. EleutherAI에서 개발하였으며, GPT, LLaMA, PaLM, Claude, Mistral 등 다양한 언어 모델에 일관된 방식으로 벤치마크를 적용할 수 있는 범용 도구로 활용됩니다.1. 개념 및 정의 항목 내용 정의LLM의 언어 이해 및 생성 성능을 다양한 벤치마크를 통해 자동 평가하는 프레임워크목적모델 간 일관된 비교와 성능 추적, 학습 없이 추론(inference-only) 성능 확인필요성벤치마크마다 형식이 달라 생기는 평가 불일치를 통합하여 재현 가능한 실험 지원2. 주요 특징특징설명장점Pro..

개요MT-Bench는 대형 언어 모델(LLM)의 실제 사용 시나리오에 가까운 멀티턴(Multi-turn) 대화를 기반으로 모델의 응답 품질을 평가하는 벤치마크입니다. LMSYS(Large Model Systems Organization)에서 개발되었으며, 단일 질문-응답이 아닌 연속된 질의와 응답 흐름에서 모델의 일관성, 이해력, 창의성 등을 측정하는 데 중점을 둡니다.1. 개념 및 정의 항목 내용 정의LLM의 실용적 대화 성능을 측정하기 위한 멀티턴 대화형 평가 벤치마크목적단일 문항 기준의 한계를 넘어 실제 사용자 경험에 가까운 평가 구현필요성LLM이 실제 사용에서 보여주는 흐름, 맥락 유지 능력 등을 정량적으로 평가할 수단 부족2. 주요 특징특징설명장점멀티턴 구성80개의 다양한 주제 대화 시나리오 ..

개요Flow Matching은 확률적 생성 모델에서 목표 분포로의 경로(flow)를 직접 학습하여, 디퓨전 모델이나 score-based 모델보다 더 간단하고 안정적으로 샘플링을 가능하게 하는 학습 기법입니다. 목표는 데이터 분포로 연결되는 벡터 필드(Vector Field)를 추정하는 것입니다.1. 개념 및 정의 항목 내용 정의데이터 분포로의 연속적인 흐름 경로를 학습하는 확률적 생성 모델 훈련 기법목적빠르고 안정적인 샘플링이 가능한 생성 모델 구축필요성디퓨전 모델의 복잡한 역과정 또는 noise schedule 없이 효율적인 생성 모델 구현 필요2. 주요 특징특징설명장점직접적인 벡터 필드 학습시작-끝 점 사이의 흐름을 직접 학습수치적 안정성 향상단일 단계 훈련복잡한 noise schedule 없음학..

개요Rectified Flow는 확률적 생성 모델 분야에서 제안된 새로운 패러다임으로, 샘플링 과정을 경로 최적화 문제로 정식화하여 효율성과 품질을 동시에 향상시키는 접근법입니다. 디퓨전 모델과 유사한 프레임워크를 갖지만, 노이즈 제거가 아닌 직접적인 경로 추정(flow estimation)에 집중합니다.1. 개념 및 정의 항목 내용 정의확률적 샘플링을 위한 흐름(field)을 학습하여 데이터 분포를 복원하는 생성 모델목적기존 디퓨전 모델보다 빠르고 정확한 샘플 생성필요성고품질 이미지 생성을 위한 효율적이고 안정적인 경로 기반 학습 수요 증가2. 주요 특징특징설명장점경로 최적화 기반 학습확률 경로를 최소 거리로 정렬하여 훈련더 짧은 샘플링 경로, 빠른 생성one-way trajectory역과정 없이 정..