ITPE * JackerLab

개요SparseGPT One-Shot Pruning은 사전 학습된 대형 언어 모델(LLM)을 희소화(sparsification)하여 연산량과 메모리 요구량을 줄이기 위한 혁신적인 기법입니다. 이 방법은 단 한 번의 forward pass만으로 전체 모델의 가중치를 효율적으로 제거하는 특징을 가지며, 복잡한 재학습(fine-tuning) 없이도 높은 정확도를 유지합니다.1. 개념 및 정의 항목 내용 정의One-shot 방식으로 파라미터를 희소화하는 LLM 전처리 기법목적모델 추론 속도 향상 및 메모리 사용량 감소방식단일 forward pass 기반 가중치 중요도 평가 후 pruning이 방식은 특히 학습 자원이 부족한 환경에서도 기존 GPT 모델을 경량화하여 빠르게 배포할 수 있게 합니다.2. 특징특징설..

개요Visual Question Answering(VQA)는 하나의 이미지와 자연어로 표현된 질문을 입력으로 받아, 해당 질문에 대해 자연어로 답변을 생성하는 인공지능 기술이다. 이는 컴퓨터 비전과 자연어 처리(NLP)를 융합하는 대표적인 멀티모달 AI 과제로, 자율주행, 의료 영상 분석, 교육용 AI, 쇼핑 보조 시스템 등 다양한 분야에서 응용 가능성이 높다.1. 개념 및 정의VQA는 이미지 이해와 질의 분석, 그리고 추론 능력을 결합하여 '이미지를 보고 질문에 답하는 AI'를 구현하는 기술이다. 주어진 질문이 시각적 정보를 요구할 때, 모델은 이미지 내 객체, 색상, 위치, 관계 등을 분석하고 문맥에 맞는 답변을 생성한다.목적: 시각 정보 기반 질의응답 자동화필요성: 이미지 인식만으로 부족한 고차원적..

개요Transformer는 Google이 2017년 발표한 "Attention is All You Need" 논문에서 소개된 딥러닝 아키텍처로, 자연어 처리(NLP)를 중심으로 기계 번역, 문장 요약, 코드 생성, 이미지 캡셔닝 등 다양한 분야에 적용되고 있습니다. 특히 Encoder-Decoder 구조는 입력을 분석(Encoding)하고 출력으로 생성(Decoding)하는 이중 모듈 기반으로, 이후 다양한 변형 모델(Variants) 이 등장하며 Transformer의 활용 영역을 비약적으로 확장시켰습니다.1. 개념 및 정의Transformer Encoder-Decoder 구조는 크게 두 개의 블록으로 구성됩니다.Encoder: 입력 시퀀스를 받아 의미를 요약한 벡터(컨텍스트 벡터)로 변환Decoder..

개요Transformer 모델은 2017년 Google이 발표한 논문 *"Attention Is All You Need"*에서 처음 소개된 딥러닝 기반 신경망 구조로, 자연어 처리(NLP) 및 컴퓨터 비전 등 다양한 AI 분야에서 혁신을 가져온 모델입니다. 기존 순차적 방식의 RNN 및 LSTM과 달리 병렬 연산이 가능하며, 장기 의존성 문제(Long-Term Dependency)를 효과적으로 해결할 수 있어 GPT, BERT, T5, Vision Transformer(ViT) 등 다양한 AI 모델의 핵심 기술로 활용되고 있습니다.1. Transformer 모델이란?Transformer는 셀프 어텐션(Self-Attention) 메커니즘을 활용하여 입력 데이터의 중요한 패턴을 학습하는 딥러닝 모델입니다...