ITPE * JackerLab

BGE(BGE Embedding Model)

개요BGE(Bidirectional Generative Embedding)는 텍스트 임베딩 품질 향상에 중점을 둔 오픈소스 문장 임베딩 모델 시리즈로, 검색(Retrieval), 분류(Classification), 랭킹(Ranking) 등 다양한 NLP 태스크에서 뛰어난 성능을 발휘합니다. Hugging Face 및 MTEB(Massive Text Embedding Benchmark)에서 상위권 성능을 기록하며, 다양한 언어와 태스크에 쉽게 활용될 수 있도록 설계되었습니다.1. 개념 및 정의 항목 설명 정의다양한 언어와 태스크에 대응 가능한 범용 문장 임베딩 모델목적검색 정확도와 표현력 높은 임베딩 벡터 생성필요성RAG, Semantic Search, 분류 등에서의 표현 품질 개선BGE는 '텍스트 → ..

DP-SGD(Differentially Private Stochastic Gradient Descent)

개요DP-SGD는 딥러닝 모델 학습 과정에서 개인 데이터를 보호하기 위해 고안된 차등 개인정보 보호(Differential Privacy) 기법을 적용한 확률적 경사 하강법(Stochastic Gradient Descent) 알고리즘입니다. 민감한 정보가 포함된 데이터셋을 학습하더라도, 결과 모델이 특정 개인의 정보를 노출하지 않도록 보장합니다.1. 개념 및 정의항목설명정의경사 하강법에 잡음 추가 및 기울기 클리핑을 적용한 차등 개인정보 보호 SGD 알고리즘목적학습 데이터에 포함된 개인 정보 보호필요성AI 모델이 훈련 데이터로부터 민감 정보를 유출하는 리스크 방지DP-SGD는 수학적으로 ε-차등 개인정보 보호(ε-DP)를 만족하도록 설계됨2. 특징특징설명비교Gradient Clipping각 샘플의 기울기..