ITPE * JackerLab

SparseGPT One-Shot Pruning

개요SparseGPT One-Shot Pruning은 사전 학습된 대형 언어 모델(LLM)을 희소화(sparsification)하여 연산량과 메모리 요구량을 줄이기 위한 혁신적인 기법입니다. 이 방법은 단 한 번의 forward pass만으로 전체 모델의 가중치를 효율적으로 제거하는 특징을 가지며, 복잡한 재학습(fine-tuning) 없이도 높은 정확도를 유지합니다.1. 개념 및 정의 항목 내용 정의One-shot 방식으로 파라미터를 희소화하는 LLM 전처리 기법목적모델 추론 속도 향상 및 메모리 사용량 감소방식단일 forward pass 기반 가중치 중요도 평가 후 pruning이 방식은 특히 학습 자원이 부족한 환경에서도 기존 GPT 모델을 경량화하여 빠르게 배포할 수 있게 합니다.2. 특징특징설..

Mamba

개요Mamba는 2023년 후반 등장한 혁신적인 시퀀스 모델로, 기존 Transformer의 한계를 극복하며 긴 시퀀스 처리에 최적화된 새로운 아키텍처입니다. Attention 메커니즘 없이도 고성능을 달성할 수 있는 Selective State Space(Model)를 기반으로, 자연어 처리, 시계열 예측 등에서 강력한 성능을 보입니다.1. 개념 및 정의 항목 설명 정의Selective Structured State Space 모델 기반의 시퀀스 처리 신경망목적Attention 구조 없이도 긴 시퀀스 모델링 가능하게 함핵심 목표Transformer보다 빠르고, 메모리 효율적인 대안 모델 제공Mamba는 기존의 Transformer 구조가 가지는 O(n^2) 복잡도를 벗어나 선형 시간 처리 구조를 기반..

State-Space Model(상태공간 모델)

개요State-Space Model(상태공간 모델)은 시간에 따라 변화하는 시스템의 동작을 수학적으로 설명하기 위한 모델로, 공학, 제어 이론, 경제학, 신호처리 등 다양한 분야에서 널리 사용됩니다. 이 모델은 시스템의 입력, 상태, 출력 간의 관계를 행렬 형태로 기술하여 복잡한 동적 시스템을 효과적으로 분석하고 제어할 수 있도록 합니다.1. 개념 및 정의 항목 내용 정의시스템의 상태(state)와 그 변화에 따른 출력을 기술하는 수학 모델목적시간에 따라 변화하는 시스템을 분석하고 제어하기 위함배경선형시불변(LTI) 시스템 이론에 기반한 동적 시스템 모델링 방식State-Space Model은 전통적인 전달함수 방식보다 유연성이 높고, 다변량 시스템에 적합하다는 점에서 제어 이론의 핵심 기법으로 자리잡..

Direct Preference Optimization (DPO)

개요Direct Preference Optimization(DPO)는 사용자 피드백 또는 선호 데이터를 직접 활용하여 AI 모델의 행동을 조정하는 최신 최적화 기법입니다. 기존의 강화 학습 방식(RLHF)보다 단순하고 효율적으로 사용자 만족도를 높일 수 있어, AI 모델의 성능을 한 차원 끌어올리는 방식으로 주목받고 있습니다.1. 개념 및 정의 항목 내용 정의사용자 선호(preference)에 기반해 AI 모델의 출력을 직접 최적화하는 방법목적사용자의 기대에 더 부합하는 응답을 생성하는 모델 훈련필요성RLHF의 복잡성과 비용 문제를 해결하고, 보다 정교한 사용자 맞춤 응답 제공DPO는 복잡한 보상 모델 없이도 AI 응답의 질을 향상시키는 방식으로, ChatGPT 등 대규모 언어모델(LLM) 튜닝에 효과..