ITPE * JackerLab

개요MTEB(Massive Text Embedding Benchmark)는 텍스트 임베딩 모델의 성능을 다양한 다운스트림 태스크에서 종합적으로 평가하기 위한 대규모 벤치마크 프레임워크이다. Semantic Search, Clustering, Classification 등 실제 언어 응용 시나리오를 포괄하며, 언어별/도메인별 모델 비교와 진화된 벤치마크 기준 수립에 기여하고 있다.1. 개념 및 정의 항목 설명 정의텍스트 임베딩 모델을 다양한 자연어 처리 태스크로 평가하는 벤치마크 모음목적범용 임베딩 모델의 실제 적용 성능 정량화 및 비교필요성기존 벤치마크는 태스크/도메인별로 단편적 평가만 가능했음Hugging Face와 공동 연구로 유지되며, 지속적으로 데이터셋이 업데이트된다.2. 특징특징설명비교멀티태스..

개요LoRA(Low-Rank Adaptation)는 거대 언어 모델(LLM)의 파라미터 전체를 학습하지 않고, 선형 계층의 변화만을 저차원(low-rank) 행렬로 분리해 효율적으로 학습하는 파인튜닝 방식입니다. 이 접근법은 저비용·저메모리·빠른 수렴이라는 장점으로 인해 최근 ChatGPT, LLaMA, Alpaca 등 다양한 LLM 파인튜닝에 널리 채택되고 있습니다.1. 개념 및 정의LoRA는 기존 모델의 가중치 는 고정하고, 추가 학습 가능한 **저랭크 행렬 A, B (Rank 핵심 아이디어: 학습 시 weight를 직접 업데이트하는 대신, 저차원 변화만 추가로 학습동결 전략: 기존 모델의 가중치는 그대로 고정적용 위치: 주로 Transformer의 Attention 또는 FFN 선형 계층2. 구조 ..