ITPE * JackerLab

개요TRADES는 딥러닝 모델의 일반화 성능과 적대적 견고성(robustness) 사이의 균형을 수학적으로 정립하고 이를 기반으로 훈련 전략을 구성한 방어 알고리즘입니다. 기존 Adversarial Training이 모델 정확도를 희생하며 견고성을 추구했던 반면, TRADES는 이 둘 사이의 트레이드오프를 명시적으로 고려하여 효과적인 방어를 구현합니다.1. 개념 및 정의TRADES(TRadeoff-inspired Adversarial DEfense via Surrogate-loss)는 정규화된 손실 함수를 통해 모델이 clean data(정상 입력)와 adversarial data(적대 입력) 모두에 대해 견고하게 작동하도록 학습시키는 방법입니다.목적: 모델의 일반화 능력과 적대 견고성 간의 균형 유지핵..

개요PGD(Projected Gradient Descent)는 딥러닝 모델에 대한 적대적 공격 기법 중 가장 강력하고 일반적인 방법으로, 반복적인 그래디언트 업데이트와 투영 과정을 통해 최적의 적대적 예제를 생성합니다. 본 글에서는 PGD의 이론적 원리와 수식, 주요 특징, 구현 방법, 실제 적용 사례 및 방어 전략 등을 포괄적으로 설명합니다.1. 개념 및 정의PGD는 입력 공간에서 손실 함수를 최대화하는 방향으로 여러 번 그래디언트를 계산하고, 그 결과를 원래 입력 범위로 투영하여 적대적 예제를 생성하는 공격 방식입니다. FGSM의 확장된 반복형으로도 간주됩니다.목적: 모델의 예측 취약성을 극대화하기 위한 고강도 테스트필요성: 실제 환경에서 AI 시스템의 보안성과 견고성 검증기반 원리: 경사하강법을 반..

개요FGSM(Fast Gradient Sign Method)은 적대적 예제를 생성하는 대표적인 공격 알고리즘으로, 딥러닝 모델의 입력에 미세한 노이즈를 추가해 잘못된 예측을 유도합니다. 이 글에서는 FGSM의 개념과 작동 원리, 수학적 정의, 적용 사례, 그리고 이를 방어하는 방법 등을 포괄적으로 설명합니다.1. 개념 및 정의FGSM은 입력 이미지에 작은 노이즈를 추가하여 딥러닝 모델이 잘못된 출력을 내도록 유도하는 적대적 공격 기법입니다. 이 노이즈는 손실 함수의 그래디언트를 활용하여 계산되며, 빠른 계산 속도와 단순한 구조가 특징입니다.목적: 딥러닝 모델의 취약점 식별 및 테스트기반 이론: 그래디언트 방향을 활용한 손실 함수 최대화주요 분야: 보안 테스트, 모델 검증, XAI 연구 등2. 특징 항목 ..

개요Integrated Gradients는 복잡한 딥러닝 모델의 예측 결과에 대한 신뢰할 수 있는 설명을 제공하는 기법입니다. 본 글에서는 이 기법의 개념, 수학적 기반, 주요 특징과 적용 사례를 중심으로 설명하며, XAI(Explainable AI)의 핵심 도구로서 Integrated Gradients가 왜 중요한지를 탐구합니다.1. 개념 및 정의Integrated Gradients는 입력의 각 피처가 모델의 출력에 미치는 영향을 정량적으로 계산하는 기법입니다. 기존의 그래디언트 기반 방법과 달리, 입력 값과 기준 값(baseline) 사이의 적분을 통해 더 안정적이고 해석 가능한 결과를 제공합니다.목적: 입력 피처의 중요도를 수치로 평가하여 모델의 판단 근거를 설명필요성: 딥러닝 모델의 블랙박스 문제..

개요MAML(Model-Agnostic Meta-Learning)은 적은 양의 데이터로도 다양한 새로운 작업에 빠르게 적응할 수 있도록 설계된 메타 학습 알고리즘입니다. 본 글에서는 MAML의 개념과 특징, 구성 요소, 기술 스택, 장점, 실제 활용 사례 등을 심층적으로 다루며, 메타 학습과 기존 딥러닝 학습 방식과의 차이를 비교합니다.1. 개념 및 정의MAML은 "모델 불가지론적 메타 학습" 기법으로, 어떤 모델 구조에도 적용 가능한 범용적인 메타 러닝 알고리즘입니다. 일반적인 딥러닝이 많은 데이터를 필요로 하는 반면, MAML은 적은 샘플만으로도 모델이 새로운 작업에 빠르게 적응할 수 있도록 훈련합니다.목적: 새로운 작업에 빠르게 적응할 수 있는 초기 파라미터 학습필요성: 데이터가 부족하거나 다양한 ..

개요Knowledge Distillation(지식 증류)은 성능이 우수한 대형 신경망(Teacher Model)에서 학습된 지식을 경량화된 소형 신경망(Student Model)으로 전이하여, 연산량은 줄이면서도 유사한 예측 성능을 유지하는 딥러닝 모델 최적화 기법입니다. AI 모델 경량화, Edge AI, 모바일 디바이스 추론 환경에서 실용성이 높으며, Transformer, CNN, LLM 등 다양한 구조에 적용됩니다.1. 개념 및 정의 항목 설명 정의Teacher 모델의 soft output(logit 또는 확률 분포)을 활용해 Student 모델을 학습시키는 전이 학습 방법목적모델 경량화 + 성능 유지(또는 손실 최소화)대표 분야이미지 분류, 객체 탐지, 자연어 처리, 대화형 AI기존 hard ..

개요DeepSpeed ZeRO-Infinity는 마이크로소프트가 오픈소스로 개발한 대규모 언어 모델(LLM) 학습 프레임워크 DeepSpeed의 최신 확장 기술로, 수조(trillion)-단위 파라미터 모델의 효율적 학습과 추론을 가능하게 하는 메모리 최적화 솔루션입니다. 기존 DeepSpeed ZeRO(Zero Redundancy Optimizer)의 한계를 극복하고, GPU와 CPU 메모리는 물론 NVMe 저장장치까지 포함한 하이브리드 메모리 계층을 활용함으로써 GPU 메모리 병목을 완화합니다.1. 개념 및 정의 항목 설명 정의DeepSpeed ZeRO-Infinity는 모델 파라미터, 옵티마이저 상태, 활성값(activations)을 GPU/CPU/NVMe 계층으로 분산 저장하여 대규모 모델 학습..

개요SparseGPT One-Shot Pruning은 사전 학습된 대형 언어 모델(LLM)을 희소화(sparsification)하여 연산량과 메모리 요구량을 줄이기 위한 혁신적인 기법입니다. 이 방법은 단 한 번의 forward pass만으로 전체 모델의 가중치를 효율적으로 제거하는 특징을 가지며, 복잡한 재학습(fine-tuning) 없이도 높은 정확도를 유지합니다.1. 개념 및 정의 항목 내용 정의One-shot 방식으로 파라미터를 희소화하는 LLM 전처리 기법목적모델 추론 속도 향상 및 메모리 사용량 감소방식단일 forward pass 기반 가중치 중요도 평가 후 pruning이 방식은 특히 학습 자원이 부족한 환경에서도 기존 GPT 모델을 경량화하여 빠르게 배포할 수 있게 합니다.2. 특징특징설..

개요FlashAttention은 GPU 메모리 대역폭을 효율적으로 활용하여 Transformer 모델의 Attention 연산을 빠르고 정확하게 수행할 수 있도록 설계된 메모리 최적화 기반의 고속 어텐션 알고리즘입니다. 기존의 Softmax Attention 구현 방식은 쿼리-키-값 연산 시 많은 중간 메모리를 생성하고 이를 반복적으로 읽고 쓰는 비효율적인 구조였으나, FlashAttention은 이 과정을 최소화하여 큰 시퀀스 길이에서도 속도와 정확성을 유지할 수 있도록 합니다.1. 개념 및 정의 항목 설명 정의FlashAttention은 CUDA 기반 커널을 활용하여 attention score와 softmax 계산을 메모리 낭비 없이 수행하는 고속 알고리즘입니다.목적Transformer의 memo..