ITPE * JackerLab

개요Self-Supervised Learning(SSL)은 별도의 인간 레이블 없이, 데이터 자체로부터 학습 신호를 생성하여 모델을 학습시키는 방법입니다. 주로 대규모 비정형 데이터(이미지, 텍스트, 오디오 등)에서 특징 표현(Representation)을 학습하는 데 활용되며, 최근 자연어 처리(NLP)와 컴퓨터 비전(CV) 분야의 혁신을 주도하는 핵심 기술로 자리잡았습니다.1. 개념 및 정의 항목 내용 정의데이터에서 일부 정보를 인위적으로 제거하고, 이를 복원하거나 예측하는 과제를 통해 학습하는 방법론목적인간의 직접 레이블링 없이 강력한 데이터 표현 학습필요성레이블링 비용 문제와 방대한 비정형 데이터 활용 한계 극복SSL은 지도학습(Supervised Learning)과 비지도학습(Unsupervi..

개요Contrastive Learning(대조학습)은 비지도 또는 자기지도 학습에서 데이터를 의미 있는 임베딩 공간으로 변환하는 표현 학습(Representation Learning) 방법입니다. 핵심 아이디어는 같은 의미를 가진 쌍은 가깝게, 다른 의미를 가진 쌍은 멀게 임베딩하도록 신경망을 학습시키는 것입니다. 이 접근법은 최근 MoCo, SimCLR, BYOL, CLIP, DINO 등 다양한 자기지도 모델의 기반이 되었으며, 컴퓨터 비전, 자연어 처리, 멀티모달 학습에서 핵심 기법으로 자리잡고 있습니다.1. 개념 및 정의Contrastive Learning은 다음과 같은 쌍(pair) 기반 학습 방식을 따릅니다:Positive Pair: 의미적으로 유사한 두 데이터 포인트 (예: 같은 이미지의 다른..

개요MoCo(Momentum Contrast)와 SimCLR(Simple Framework for Contrastive Learning of Visual Representations)는 이미지 데이터를 레이블 없이도 학습할 수 있게 해주는 대표적인 자기지도 학습(self-supervised learning) 프레임워크입니다. 두 모델은 모두 대규모 데이터에 대한 강력한 시각 표현(Visual Representation)을 사전 학습(pretraining) 하여, 소수의 라벨만으로도 강력한 다운스트림 성능을 보여줍니다. 특히 레이블이 부족한 환경이나 전이 학습이 필요한 경우 핵심 기술로 자리잡고 있습니다.1. 개념 및 정의MoCo와 SimCLR은 모두 Contrastive Learning(대조 학습) 기반..