728x90
반응형

nlp모델 2

E5(Embedding from Explanation, Extreme, Efficient, Effective, Embedding)

개요E5는 다양한 자연어 처리 태스크에서 고품질의 텍스트 임베딩을 제공하기 위해 설계된 범용 임베딩 모델 시리즈입니다. 검색(Retrieval), 분류(Classification), RAG(Retrieval-Augmented Generation) 등에 특화된 모델로, 텍스트 간 의미 유사도를 고정된 벡터 공간에서 계산할 수 있게 해 줍니다. E5는 명시적 프롬프트와 다태스크 학습 방식으로 높은 정확도와 확장성을 확보합니다.1. 개념 및 정의 항목 설명 정의프롬프트 기반 다태스크 학습을 통해 다양한 태스크에 적합한 텍스트 임베딩 생성 모델목적의미 기반 검색 및 NLP 응용을 위한 강력한 벡터 표현 제공필요성sparse 방법(BM25) 대비 의미 중심 검색 정확도 개선E5는 HuggingFace Trans..

Topic 2026.01.31

DistilBERT

개요DistilBERT는 Google의 대표적인 자연어 처리(NLP) 모델인 BERT를 경량화한 모델로, Hugging Face에서 공개한 지식 증류(Knowledge Distillation) 기반의 사전학습 언어모델입니다. BERT의 약 40% 크기, 60% 빠른 속도를 유지하면서도, 97% 이상의 성능을 보장하는 DistilBERT는 모바일, 엣지 디바이스, 실시간 응답이 필요한 응용 시스템에 적합한 솔루션으로 각광받고 있습니다.1. 개념 및 정의DistilBERT는 기존 BERT 모델을 학생(Student) 모델, 원래의 BERT를 교사(Teacher) 모델로 설정하여, 교사의 지식을 학생 모델이 학습하는 Knowledge Distillation 기법을 사용해 개발되었습니다.학습 시 BERT의 중간..

Topic 2025.04.09
728x90
반응형