ITPE * JackerLab

개요Self-Supervised Learning(SSL)은 별도의 인간 레이블 없이, 데이터 자체로부터 학습 신호를 생성하여 모델을 학습시키는 방법입니다. 주로 대규모 비정형 데이터(이미지, 텍스트, 오디오 등)에서 특징 표현(Representation)을 학습하는 데 활용되며, 최근 자연어 처리(NLP)와 컴퓨터 비전(CV) 분야의 혁신을 주도하는 핵심 기술로 자리잡았습니다.1. 개념 및 정의 항목 내용 정의데이터에서 일부 정보를 인위적으로 제거하고, 이를 복원하거나 예측하는 과제를 통해 학습하는 방법론목적인간의 직접 레이블링 없이 강력한 데이터 표현 학습필요성레이블링 비용 문제와 방대한 비정형 데이터 활용 한계 극복SSL은 지도학습(Supervised Learning)과 비지도학습(Unsupervi..

개요Zero-shot Prompting은 대규모 언어모델(LLM)에게 문제에 대한 예시 없이 직접적인 지시문만으로 작업 수행을 요청하는 가장 단순한 형태의 프롬프트 방식입니다. GPT, Claude, LLaMA 등 현대 LLM은 사전학습(pretraining) 과정에서 대량의 언어 데이터를 기반으로 일반적인 문장 완성과 문제 해결 능력을 내재화했기 때문에, 적절한 지시문(prompt instruction) 만으로도 다양한 작업을 수행할 수 있습니다.1. 개념 및 정의Zero-shot prompting은 다음과 같은 특성을 가집니다:예시 없음: 입력에 작업 수행 예시를 포함하지 않음직접 지시: 모델에게 직접 작업을 설명하는 명령어 구조추론 유도: 언어모델이 훈련 중 축적한 일반화 능력 활용예시:Q: ‘고양..

개요Prompt Engineering(프롬프트 엔지니어링)은 대규모 언어모델(LLM)의 성능을 최대한 이끌어내기 위해 입력 프롬프트를 설계, 구성, 조정하는 기술입니다. GPT-4, Claude, LLaMA, PaLM 등 현대 LLM은 같은 모델이라도 프롬프트 구조에 따라 응답 품질이 크게 달라지기 때문에, 효과적인 프롬프트 설계가 매우 중요합니다. 최근에는 Chain-of-Thought(CoT), Zero-shot, Few-shot, Role prompting, Instruction tuning 등 다양한 기법이 활용되며, 프롬프트 자체가 모델 성능의 핵심 변수로 작용합니다.1. 개념 및 정의Prompt Engineering이란 모델에게 문제 해결을 요청할 때 사용하는 입력 문장을 명시적, 구조화된 방..

개요SwAV(Swapping Assignments Between Views)은 Facebook AI(현재 Meta AI)가 제안한 비교 학습(contrastive learning) 없이 클러스터링 기반으로 자기지도 학습을 수행하는 혁신적인 방식입니다. 기존의 SimCLR, MoCo 등은 positive-negative 쌍을 기반으로 학습하는 데 비해, SwAV는 온라인 클러스터링과 다중 뷰(view) 간의 임베딩 정렬을 통해 라벨 없는 학습을 가능하게 합니다. 이는 학습 효율성과 하드웨어 요구 사항 측면에서도 매우 뛰어난 성능을 보입니다.1. 개념 및 정의SwAV는 입력 이미지의 다양한 증강 뷰들 사이에서 클러스터 할당을 서로 교환(swapping assignment) 하면서 학습합니다. 각 뷰는 공유된..

개요Contrastive Learning(대조학습)은 비지도 또는 자기지도 학습에서 데이터를 의미 있는 임베딩 공간으로 변환하는 표현 학습(Representation Learning) 방법입니다. 핵심 아이디어는 같은 의미를 가진 쌍은 가깝게, 다른 의미를 가진 쌍은 멀게 임베딩하도록 신경망을 학습시키는 것입니다. 이 접근법은 최근 MoCo, SimCLR, BYOL, CLIP, DINO 등 다양한 자기지도 모델의 기반이 되었으며, 컴퓨터 비전, 자연어 처리, 멀티모달 학습에서 핵심 기법으로 자리잡고 있습니다.1. 개념 및 정의Contrastive Learning은 다음과 같은 쌍(pair) 기반 학습 방식을 따릅니다:Positive Pair: 의미적으로 유사한 두 데이터 포인트 (예: 같은 이미지의 다른..

개요MoCo(Momentum Contrast)와 SimCLR(Simple Framework for Contrastive Learning of Visual Representations)는 이미지 데이터를 레이블 없이도 학습할 수 있게 해주는 대표적인 자기지도 학습(self-supervised learning) 프레임워크입니다. 두 모델은 모두 대규모 데이터에 대한 강력한 시각 표현(Visual Representation)을 사전 학습(pretraining) 하여, 소수의 라벨만으로도 강력한 다운스트림 성능을 보여줍니다. 특히 레이블이 부족한 환경이나 전이 학습이 필요한 경우 핵심 기술로 자리잡고 있습니다.1. 개념 및 정의MoCo와 SimCLR은 모두 Contrastive Learning(대조 학습) 기반..

개요Denoising Autoencoders(DAE, 잡음 제거 오토인코더)는 입력 데이터에 인위적으로 노이즈를 추가한 후, 이를 원래의 깨끗한 데이터로 복원하도록 학습시키는 딥러닝 기반 자기지도 학습(self-supervised learning) 방법입니다. 이 방식은 단순한 데이터 압축을 넘어, 강건한 표현 학습과 노이즈 제거 복원 능력을 동시에 제공하며, 이미지, 음성, 텍스트 등 다양한 도메인에서 데이터 전처리, 압축, 특징 추출, 복원 등에 활용됩니다.1. 개념 및 정의Denoising Autoencoder는 전통적인 Autoencoder 구조를 기반으로 하되, 입력 데이터 에 노이즈()를 추가한 후 이를 복원(target)으로 삼아 정답 없이도 학습하는 방식입니다.인코더(Encoder): (..