ITPE * JackerLab

Pruning with Lottery Ticket Hypothesis(로터리 티켓 가설 기반 가지치기)

개요Pruning with Lottery Ticket Hypothesis(로터리 티켓 가설 기반 가지치기)는 복잡한 딥러닝 모델 속에서 성능은 유지하면서도 훨씬 작고 효율적인 서브네트워크(Subnetworks)를 찾아내는 최적화 전략입니다. 이 개념은 모델 압축 및 추론 최적화의 중요한 전환점을 제시하며, 특히 자원이 제한된 엣지 디바이스에서 경량화된 모델 구현에 강력한 효과를 발휘합니다.1. 개념 및 정의Lottery Ticket Hypothesis(LTH)는 2019년 Frankle & Carbin 논문에서 제시된 이론으로, 초기 무작위로 설정된 딥러닝 모델 내에는 동일한 초기화값과 동일한 구조로 훈련했을 때도 원래 모델과 유사한 성능을 낼 수 있는 'Winning Ticket'(당첨 티켓)이 존재한..

Quantization-aware Training(QAT)

개요Quantization-aware Training(QAT, 양자화 인지 학습)은 딥러닝 모델의 경량화(모델 크기 축소 및 연산량 감소)를 위해 도입되는 기술 중 하나로, 학습 과정에서 양자화를 시뮬레이션하여 정확도 손실을 최소화합니다. 특히 엣지 디바이스나 모바일 환경에서 고속 추론과 낮은 전력 소비가 요구되는 분야에 적합하며, Post-Training Quantization(PTQ)보다 높은 정밀도를 유지할 수 있다는 장점이 있습니다.1. 개념 및 정의QAT는 훈련 단계부터 8-bit 또는 정수 연산을 염두에 두고, 양자화 시뮬레이션을 포함한 연산을 통해 모델을 학습시키는 방식입니다. 이는 학습 중 float 연산과 양자화된 정수 연산 사이의 오차를 고려하여 weight와 activation을 함께..

개요Incremental Learning(점진적 학습)은 데이터가 순차적으로 유입되는 환경에서 기존 학습 모델을 재학습 없이 점진적으로 업데이트할 수 있는 머신러닝 기법입니다. 특히 스트리밍 데이터, IoT, 실시간 모니터링 시스템 등에서 활용도가 높으며, 저장 공간과 연산 자원이 제한된 상황에서 매우 효과적인 접근 방식입니다.1. 개념 및 정의점진적 학습이란 전체 데이터를 한 번에 학습하는 전통적인 방식과 달리, 데이터가 연속적으로 주어질 때마다 기존 모델을 업데이트하는 학습 방식입니다. 이를 통해 학습 모델은 새로운 정보에 적응하면서도 이전에 학습한 내용을 유지할 수 있습니다.주요 목적은 지속 가능한 학습, 효율적인 자원 활용, 실시간 분석 대응에 있으며, 특히 온라인 학습(Online Learnin..

개요스몰 데이터 AI(Small Data AI)는 대규모 학습 데이터가 없는 환경에서도 효율적인 학습과 예측이 가능한 인공지능 기술 및 접근 방식을 의미합니다. 이는 수천만~수억 개의 샘플을 요구하는 기존 딥러닝과 달리, 적은 양의 데이터로도 학습 가능하도록 설계된 경량화된 알고리즘, 전이 학습, 데이터 증강, 메타 러닝 등이 핵심입니다. 산업 현장, 의료, 제조, 특수 환경 등 데이터 확보가 어려운 분야에서 실용성을 인정받고 있으며, LLM 이후의 ‘효율 중심 AI’ 트렌드를 대변하고 있습니다.1. 개념 및 정의 구분 정의 스몰 데이터소수의 레이블된 샘플, 수십~수천 개 수준의 제한된 학습 데이터스몰 데이터 AI스몰 데이터를 기반으로도 일반화 능력이 높은 인공지능을 구현하는 기술 및 전략"작은 데이터..