ITPE * JackerLab

개요SwAV(Swapping Assignments Between Views)은 Facebook AI(현재 Meta AI)가 제안한 비교 학습(contrastive learning) 없이 클러스터링 기반으로 자기지도 학습을 수행하는 혁신적인 방식입니다. 기존의 SimCLR, MoCo 등은 positive-negative 쌍을 기반으로 학습하는 데 비해, SwAV는 온라인 클러스터링과 다중 뷰(view) 간의 임베딩 정렬을 통해 라벨 없는 학습을 가능하게 합니다. 이는 학습 효율성과 하드웨어 요구 사항 측면에서도 매우 뛰어난 성능을 보입니다.1. 개념 및 정의SwAV는 입력 이미지의 다양한 증강 뷰들 사이에서 클러스터 할당을 서로 교환(swapping assignment) 하면서 학습합니다. 각 뷰는 공유된..

개요MoCo(Momentum Contrast)와 SimCLR(Simple Framework for Contrastive Learning of Visual Representations)는 이미지 데이터를 레이블 없이도 학습할 수 있게 해주는 대표적인 자기지도 학습(self-supervised learning) 프레임워크입니다. 두 모델은 모두 대규모 데이터에 대한 강력한 시각 표현(Visual Representation)을 사전 학습(pretraining) 하여, 소수의 라벨만으로도 강력한 다운스트림 성능을 보여줍니다. 특히 레이블이 부족한 환경이나 전이 학습이 필요한 경우 핵심 기술로 자리잡고 있습니다.1. 개념 및 정의MoCo와 SimCLR은 모두 Contrastive Learning(대조 학습) 기반..