ITPE * JackerLab

Prompt Engineering 기법

개요Prompt Engineering(프롬프트 엔지니어링)은 대규모 언어모델(LLM)의 성능을 최대한 이끌어내기 위해 입력 프롬프트를 설계, 구성, 조정하는 기술입니다. GPT-4, Claude, LLaMA, PaLM 등 현대 LLM은 같은 모델이라도 프롬프트 구조에 따라 응답 품질이 크게 달라지기 때문에, 효과적인 프롬프트 설계가 매우 중요합니다. 최근에는 Chain-of-Thought(CoT), Zero-shot, Few-shot, Role prompting, Instruction tuning 등 다양한 기법이 활용되며, 프롬프트 자체가 모델 성능의 핵심 변수로 작용합니다.1. 개념 및 정의Prompt Engineering이란 모델에게 문제 해결을 요청할 때 사용하는 입력 문장을 명시적, 구조화된 방..

Parallel Cross Attention (병렬 교차 주의)

개요Parallel Cross Attention(병렬 교차 주의)은 Transformer 기반 아키텍처에서 여러 입력 소스(예: 텍스트-이미지, 질문-문서, 명령-이력 등) 를 동시에 고려하고 병렬적으로 통합하는 방식의 Attention 구조입니다. 이는 기존의 Sequential Cross Attention(순차적 교차 주의) 대비 더 높은 병렬성, 속도, 유연성을 제공하며, 특히 멀티모달 학습, 디코더 기반 생성 모델, 비전-언어 정렬 등에서 주로 사용됩니다.1. 개념 및 정의Parallel Cross Attention은 하나의 쿼리(Query) 입력에 대해 둘 이상의 키/값(Key/Value) 세트와 병렬적으로 Attention을 수행한 뒤, 이들을 결합(fusion)하는 방식으로 작동합니다.입력:..

Adapter Modules (어댑터 모듈)

개요Adapter Modules(어댑터 모듈)은 대규모 사전학습 언어모델(PLM)을 효율적이고 확장성 있게 파인튜닝(fine-tuning) 하기 위한 모듈화 전략입니다. 기존의 Full Fine-Tuning 방식은 모든 모델 파라미터를 업데이트해야 하므로 비용이 크고 비효율적입니다. 반면, 어댑터 모듈은 기존 파라미터는 고정(freeze)하고, 각 Transformer 레이어에 소형 학습 가능한 모듈(adapter)을 삽입하여 학습 성능을 확보합니다. 이는 Parameter-Efficient Fine-Tuning(PEFT) 기법 중에서도 대표적인 방식입니다.1. 개념 및 정의Adapter는 각 Transformer 레이어 내부의 Feedforward Layer 사이 또는 Attention 블록 뒤에 삽입..

Prefix Tuning (프리픽스 튜닝)

개요Prefix Tuning은 대규모 사전학습 언어모델(Pretrained Language Model, PLM)을 효율적으로 미세조정(fine-tuning) 하기 위한 경량화 기법입니다. 전체 모델 파라미터를 업데이트하지 않고, 입력 앞에 학습 가능한 'prefix(접두어)' 벡터를 삽입해 원하는 태스크에 맞게 모델 출력을 조정하는 방식입니다. 이는 특히 모델 크기가 큰 GPT, T5, BERT 등에서 적은 계산 비용으로 빠르고 유연한 파인튜닝을 가능하게 해 줍니다.1. 개념 및 정의Prefix Tuning은 입력 시퀀스에 추가적인 학습 가능한 벡터(프리픽스)를 붙여서 Transformer의 각 레이어에서 key와 value에 영향을 미치는 방식으로 모델의 출력을 제어합니다.기존 파라미터는 동결(free..

SwAV (Swapping Assignments Between Multiple Views)

개요SwAV(Swapping Assignments Between Views)은 Facebook AI(현재 Meta AI)가 제안한 비교 학습(contrastive learning) 없이 클러스터링 기반으로 자기지도 학습을 수행하는 혁신적인 방식입니다. 기존의 SimCLR, MoCo 등은 positive-negative 쌍을 기반으로 학습하는 데 비해, SwAV는 온라인 클러스터링과 다중 뷰(view) 간의 임베딩 정렬을 통해 라벨 없는 학습을 가능하게 합니다. 이는 학습 효율성과 하드웨어 요구 사항 측면에서도 매우 뛰어난 성능을 보입니다.1. 개념 및 정의SwAV는 입력 이미지의 다양한 증강 뷰들 사이에서 클러스터 할당을 서로 교환(swapping assignment) 하면서 학습합니다. 각 뷰는 공유된..

Contrastive Learning (대조학습)

개요Contrastive Learning(대조학습)은 비지도 또는 자기지도 학습에서 데이터를 의미 있는 임베딩 공간으로 변환하는 표현 학습(Representation Learning) 방법입니다. 핵심 아이디어는 같은 의미를 가진 쌍은 가깝게, 다른 의미를 가진 쌍은 멀게 임베딩하도록 신경망을 학습시키는 것입니다. 이 접근법은 최근 MoCo, SimCLR, BYOL, CLIP, DINO 등 다양한 자기지도 모델의 기반이 되었으며, 컴퓨터 비전, 자연어 처리, 멀티모달 학습에서 핵심 기법으로 자리잡고 있습니다.1. 개념 및 정의Contrastive Learning은 다음과 같은 쌍(pair) 기반 학습 방식을 따릅니다:Positive Pair: 의미적으로 유사한 두 데이터 포인트 (예: 같은 이미지의 다른..

MoCo, SimCLR (자기지도 학습)

개요MoCo(Momentum Contrast)와 SimCLR(Simple Framework for Contrastive Learning of Visual Representations)는 이미지 데이터를 레이블 없이도 학습할 수 있게 해주는 대표적인 자기지도 학습(self-supervised learning) 프레임워크입니다. 두 모델은 모두 대규모 데이터에 대한 강력한 시각 표현(Visual Representation)을 사전 학습(pretraining) 하여, 소수의 라벨만으로도 강력한 다운스트림 성능을 보여줍니다. 특히 레이블이 부족한 환경이나 전이 학습이 필요한 경우 핵심 기술로 자리잡고 있습니다.1. 개념 및 정의MoCo와 SimCLR은 모두 Contrastive Learning(대조 학습) 기반..

Denoising Autoencoders (딥러닝 기반 노이즈 제거)

개요Denoising Autoencoders(DAE, 잡음 제거 오토인코더)는 입력 데이터에 인위적으로 노이즈를 추가한 후, 이를 원래의 깨끗한 데이터로 복원하도록 학습시키는 딥러닝 기반 자기지도 학습(self-supervised learning) 방법입니다. 이 방식은 단순한 데이터 압축을 넘어, 강건한 표현 학습과 노이즈 제거 복원 능력을 동시에 제공하며, 이미지, 음성, 텍스트 등 다양한 도메인에서 데이터 전처리, 압축, 특징 추출, 복원 등에 활용됩니다.1. 개념 및 정의Denoising Autoencoder는 전통적인 Autoencoder 구조를 기반으로 하되, 입력 데이터 에 노이즈()를 추가한 후 이를 복원(target)으로 삼아 정답 없이도 학습하는 방식입니다.인코더(Encoder): (..

Deep Clustering (심층 클러스터링)

개요Deep Clustering(심층 클러스터링)은 딥러닝 기반의 표현 학습(Representation Learning)과 클러스터링(Clustering)을 결합하여, 복잡한 고차원 데이터를 자동으로 그룹화하는 비지도 학습(Unsupervised Learning) 방법입니다. 기존의 K-means나 Gaussian Mixture Model(GMM) 등 전통적 클러스터링 알고리즘이 고정된 피처 공간에서 작동하는 데 반해, Deep Clustering은 데이터의 잠재 구조를 반영한 임베딩 공간을 직접 학습함으로써 더 정확한 클러스터링 결과를 도출할 수 있습니다.1. 개념 및 정의Deep Clustering은 인코더(encoder) 기반의 신경망을 통해 원본 데이터를 비선형적으로 저차원 임베딩 공간으로 변환한..

Evolution Strategies (진화 전략)

개요Evolution Strategies(ES, 진화 전략)은 생물학적 진화의 원리를 모방하여 최적화를 수행하는 알고리즘 계열입니다. ES는 전통적인 경사하강법과 달리, 함수의 미분 정보 없이도 최적화가 가능한 점에서 차별화되며, 특히 모델 기반 최적화, 강화학습(RL), 블랙박스 함수 최적화에 폭넓게 적용되고 있습니다. 최근에는 OpenAI와 DeepMind 등이 대규모 분산 강화학습에서 ES를 강화학습의 대안으로 제시하며 다시 주목받고 있습니다.1. 개념 및 정의ES는 개체(Population)의 집단을 생성하고, 각 개체의 성능(적합도, fitness)을 평가한 뒤, 우수한 개체를 선택(selection) 하여 변이(mutation)와 교차(crossover) 과정을 통해 새로운 세대를 만들어내는 ..

Soft Actor-Critic (SAC)

개요Soft Actor-Critic(SAC)은 오프폴리시(Off-policy) 기반의 강화학습 알고리즘으로, 최적의 보상 획득뿐만 아니라 정책의 무작위성(Entropy)을 극대화하여 학습의 안정성과 탐색성(exploration)을 동시에 추구합니다. SAC는 특히 연속적인 행동 공간(Continuous Action Space) 에서 뛰어난 성능을 보이며, 로봇 제어, 자율 시스템, 모션 계획 등 다양한 현실 환경에 적용되고 있습니다.1. 개념 및 정의SAC는 Actor-Critic 구조를 기반으로 하며, 기존 강화학습 알고리즘이 기대 보상(maximum expected reward)을 극대화하는 것과 달리, “보상 + 엔트로피”의 합을 극대화하는 목표 함수를 채택합니다.Maximum Entropy RL:..

Proximal Policy Optimization (PPO)

개요Proximal Policy Optimization(PPO)은 OpenAI에서 개발한 강화학습(RL) 알고리즘으로, 정책 기반(policy-based) 방법 중 가장 널리 쓰이는 대표 모델입니다. PPO는 기존 정책과 새로운 정책 사이의 급격한 변화(Policy Shift)를 억제하여 학습 안정성을 높이고, 샘플 효율성까지 확보하는 점에서 DDPG, TRPO, A2C 등과 비교해 높은 실용성과 범용성을 자랑합니다.게임 AI, 로봇 제어, 시뮬레이션 환경, 자연어 기반 에이전트 학습까지 PPO는 다양한 분야에서 표준으로 채택되고 있습니다.1. 개념 및 정의PPO는 정책 경사 방법(policy gradient method) 에 속하는 알고리즘으로, 에이전트가 직접 정책 함수를 학습합니다. 기존 정책에서 ..

Hierarchical Reinforcement Learning (HRL)

개요Hierarchical Reinforcement Learning(HRL)은 강화학습(RL)의 확장된 형태로, 복잡한 목표를 하위 목표(subgoal)로 분해하고 계층적(hierarchical) 구조로 학습하는 방식입니다. 일반적인 RL에서는 모든 행동을 원자적(atomic)으로 다루지만, HRL은 상위 정책(high-level policy)이 하위 정책(low-level policy)을 선택하거나 구성하여 장기적 목표를 보다 효율적으로 달성할 수 있도록 합니다.HRL은 특히 로봇 제어, 장기 게임 플레이, 복잡한 작업 순서 학습, 대화형 AI 등에 효과적입니다.1. 개념 및 정의HRL은 강화학습 환경을 여러 레벨의 정책 계층으로 분할하여 각 계층이 서브타스크(subtask) 또는 옵션(option) ..

Multi-Agent Reinforcement Learning (MARL)

개요Multi-Agent Reinforcement Learning(MARL)은 다수의 에이전트(Agent)가 하나의 환경에서 상호작용하며 동시에 학습하는 강화학습의 확장 개념입니다. 전통적인 단일 에이전트 강화학습(SARL)이 독립적인 상황에서 최적 행동을 학습하는 데 반해, MARL은 협력(Collaboration), 경쟁(Competition), 공존(Coexistence) 등의 다양한 상호작용을 기반으로 복잡한 문제 해결이 가능합니다.MARL은 자율주행차 군집, 로봇 협업, 분산 에너지 시스템, 전략 게임, 분산 네트워크 제어 등에서 핵심 기술로 활용됩니다.1. 개념 및 정의MARL은 강화학습의 핵심 요소인 상태(State), 행동(Action), 보상(Reward)을 복수의 에이전트와 공유된 환경..

Liquid Neural Networks

개요Liquid Neural Networks(Liquid NN 또는 LNN)는 시간에 따라 동적으로 변화하는 뉴런과 가중치 구조를 가지는 새로운 형태의 신경망입니다. MIT CSAIL 연구팀이 발표한 이 기술은 자율주행, 로보틱스, 시계열 예측, 적응형 시스템 등 실시간 환경 적응성이 중요한 분야에서 주목받고 있습니다. 기존의 딥러닝 모델이 정적인 구조로 구성되었다면, Liquid NN은 시간의 흐름에 따라 유연하게 조정되는 유체적 모델로 진화하고 있습니다.1. 개념 및 정의Liquid Neural Network는 비선형 미분방정식을 기반으로 뉴런의 상태가 시간적으로 지속적으로 변화하며 업데이트되는 신경망입니다. 특히 뉴런의 동작이 고정된 활성 함수나 선형 모델이 아닌, 환경에 따라 수식 자체가 변형될 ..

Transformer Encoder-Decoder Variants

개요Transformer는 Google이 2017년 발표한 "Attention is All You Need" 논문에서 소개된 딥러닝 아키텍처로, 자연어 처리(NLP)를 중심으로 기계 번역, 문장 요약, 코드 생성, 이미지 캡셔닝 등 다양한 분야에 적용되고 있습니다. 특히 Encoder-Decoder 구조는 입력을 분석(Encoding)하고 출력으로 생성(Decoding)하는 이중 모듈 기반으로, 이후 다양한 변형 모델(Variants) 이 등장하며 Transformer의 활용 영역을 비약적으로 확장시켰습니다.1. 개념 및 정의Transformer Encoder-Decoder 구조는 크게 두 개의 블록으로 구성됩니다.Encoder: 입력 시퀀스를 받아 의미를 요약한 벡터(컨텍스트 벡터)로 변환Decoder..

Capsule Network (캡슐 네트워크)

개요Capsule Network(캡슐 네트워크)는 Geoffrey Hinton 박사가 제안한 딥러닝 아키텍처의 진화 형태로, 전통적인 CNN이 가지는 한계를 극복하기 위해 설계되었습니다. 객체의 위치, 방향, 크기, 계층적 관계를 더 잘 인식할 수 있는 구조로, 특히 이미지 인식, 3D 객체 추정, 의료 영상 분석 등에서 높은 정확도와 해석 가능성을 제공합니다.1. 개념 및 정의캡슐 네트워크는 단순 뉴런이 아닌 벡터 또는 행렬로 표현되는 캡슐(Capsule) 을 기반으로 구성됩니다. 각 캡슐은 특징의 존재 여부뿐만 아니라 '자세(Pose)' 정보까지 함께 학습합니다. 하위 캡슐에서 상위 캡슐로의 연결은 동적 라우팅(Dynamic Routing) 메커니즘을 통해 수행되며, 이는 학습 시 계층 간의 관계성 ..

Spiking Neural Network (SNN)

개요Spiking Neural Network(SNN)는 인간의 뇌처럼 이산적 전기 신호(Spike)를 기반으로 작동하는 인공신경망입니다. 기존의 인공신경망(ANN)이 연속적인 값을 출력하는 데 반해, SNN은 뉴런이 특정 임계값을 초과할 때만 신호를 발화(spike)하는 방식으로 처리하며, 이로 인해 시간적·공간적 정보 처리와 에너지 효율성이 크게 향상됩니다. SNN은 뉴로모픽 컴퓨팅, 로보틱스, IoT, 뇌-기계 인터페이스 등의 분야에서 주목받고 있는 기술입니다.1. 개념 및 정의SNN은 생물학적 뇌의 작동 원리를 모사하여, 뉴런 간의 정보 전달을 디지털 펄스(Spike Train) 형태로 처리하는 신경망입니다. 입력 자극이 누적되어 일정한 임계치를 초과하면 뉴런이 스파이크를 발화하며, 이 과정에서 시..

Graph Neural Network (GNN)

개요Graph Neural Network(GNN)는 그래프 형태로 표현된 데이터에서 노드(Node), 엣지(Edge), 구조적 정보(Topology)를 학습하고 예측할 수 있는 딥러닝 모델입니다. 기존의 CNN, RNN이 순차적 또는 격자형 데이터를 처리하는 데 강점을 가졌다면, GNN은 소셜 네트워크, 추천 시스템, 화학 분자 분석, 사이버 보안 등 복잡한 관계성과 비정형 연결 데이터를 다루는 데 최적화된 모델입니다.1. 개념 및 정의GNN은 그래프라는 데이터 구조에서 각 노드가 이웃 노드와의 관계를 반복적으로 집계(Aggregation)하고 갱신(Update)하는 방식으로 학습을 진행합니다. 이 과정은 ‘Message Passing’ 또는 ‘Neighborhood Aggregation’이라 불리며, ..

NIST Special Publication 800-53 Rev. 5

개요NIST Special Publication 800-53 Revision 5는 미국 국립표준기술연구소(NIST)가 발행한 사이버 보안 통제 프레임워크로, 연방정부 및 민간조직의 정보 시스템에 대한 보안, 개인정보 보호, 공급망 위험 관리를 아우르는 종합적인 기준을 제공합니다. Rev.5는 기존의 보안 중심 구조를 넘어 프라이버시 보호와 상호운용성, 그리고 제로트러스트 전략 기반 설계까지 포함하여 보안 거버넌스의 미래 방향을 제시합니다.1. 개념 및 정의NIST SP 800-53은 연방정부 정보시스템(FISMA 대상 시스템) 보호를 위한 보안·프라이버시·사이버 위험 관리 통제 목록(Catalog of Controls) 입니다. Rev. 5는 ‘통합 보안 컨트롤 프레임워크’를 강조하며, 정부 기관뿐만 아..

DoD Zero Trust Overlays - v1.1 (국방부 정보시스템을 위한 보안 컨트롤의 정렬 및 통합 가이드)

개요미국 국방부(DoD)는 제로트러스트 전략을 구현하는 과정에서 정보시스템에 적용 가능한 세부 보안 통제를 정의하기 위해 DoD Zero Trust Overlays v1.1을 발표하였습니다. 본 문서는 NIST SP 800-53, DoD RMF, Zero Trust Pillars 간의 통제를 연계하여, 시스템·데이터·사용자·네트워크에 걸친 보안정책의 구현 일관성을 보장하기 위한 실무 지침서입니다. 실질적인 보안 설계, 감사, 인증 작업에 활용되며, 연방 표준을 DoD 환경에 맞게 정렬하는 데 핵심 역할을 합니다.1. 개념 및 정의DoD Zero Trust Overlays는 제로트러스트 구현에 필요한 기능·정책·통제를 기준화한 문서로, NIST SP 800-53 Rev.5의 보안 컨트롤을 기반으로 ZT P..

DoD Zero Trust Capability Execution Roadmap - COA 1 (국방부 제로트러스트 구현을 위한 실행 로드맵 1단계 전략)

개요미국 국방부(DoD)는 제로트러스트(ZT) 전략의 실행력을 높이기 위해 ‘Zero Trust Capability Execution Roadmap’을 수립하고, 1단계 실행안인 COA 1 (Course of Action 1) 을 발표하였습니다. COA 1은 2027년까지 DoD 전체 조직이 ‘Zero Trust Target Level’에 도달하기 위한 최소한의 보안 기능 및 구현 기준을 제시하는 실질적 이행 계획입니다. 이 로드맵은 전략적 목표를 실현하기 위한 핵심 프레임워크로, 기술적 실행뿐 아니라 인적, 정책적 요소까지 포함하고 있습니다.1. 개념 및 정의COA 1은 Zero Trust Strategy의 전사적 적용을 위한 최소 기능 세트(Minimum Viable Capabilities) 를 기반..

DoD Zero Trust Strategy (미국 국방부의 사이버 보안 패러다임 전환 전략)

개요미국 국방부(DoD)는 2022년 11월, 사이버 보안의 미래 지향적 전환을 위해 DoD Zero Trust Strategy를 공식 발표하였습니다. 이는 디지털화된 전장 환경, 지능화되는 사이버 위협, 클라우드 기반 작전 환경에 효과적으로 대응하기 위한 포괄적 전략입니다. DoD는 2027년까지 전 부서의 ‘제로트러스트 성숙도’ 도달을 목표로 삼고 있으며, 전략에는 기술·정책·운영 전반을 아우르는 통합적 보안 체계가 포함되어 있습니다.1. 개념 및 정의DoD Zero Trust Strategy는 "Never Trust, Always Verify" 원칙을 기반으로, 사용자·디바이스·애플리케이션·데이터·네트워크에 이르기까지 모든 접근 요청을 사전 검증하고, 지속적으로 모니터링하는 보안 모델입니다. 기존 ..