ITPE * JackerLab

개요MnasNet(엠나스넷)은 Google Brain이 발표한 Neural Architecture Search(NAS) 기반의 경량 CNN 모델로, 모바일 환경에서 정확도와 지연시간(latency)을 동시에 최적화하기 위해 설계된 딥러닝 구조입니다. NASNet, MobileNetV2 등의 단점을 보완하며, 실제 디바이스 측정 지연시간을 학습 목표에 직접 반영한 점에서 차별화됩니다. Edge AI·온디바이스 AI의 실용화를 위한 핵심 구조 중 하나입니다.1. 개념 및 정의 항목 설명 정의실시간 추론이 필요한 모바일 디바이스 환경에 맞춰 자동 설계된 NAS 기반 CNN 모델개발 주체Google Brain (2018, CVPR 논문 발표)핵심 특징다목표 최적화(Objective Trade-off: Accu..

개요Low-Rank Factorization(저랭크 분해)은 고차원 행렬을 보다 낮은 랭크(rank)의 행렬로 분해하여, 데이터 또는 모델의 복잡도를 줄이는 대표적인 행렬 분해 기법입니다. 주로 딥러닝 모델의 가중치 행렬 압축, 차원 축소, 추천 시스템, 자연어 처리 등 다양한 분야에서 활용되며, 연산량을 줄이면서도 원래의 정보를 최대한 유지하는 것이 핵심입니다.1. 개념 및 정의저랭크 분해는 원래의 큰 행렬 **A (m x n)**를 두 개의 저차원 행렬 **U (m x k)**와 **V (k x n)**로 분해하는 방식입니다. 여기서 **k는 m, n보다 작은 랭크(rank)**로, 근사 행렬을 구성하여 연산을 단순화합니다.A ≈ U × V 형태로 근사화차원 축소와 정보 압축이 동시에 가능SVD(Si..

개요Pruning with Lottery Ticket Hypothesis(로터리 티켓 가설 기반 가지치기)는 복잡한 딥러닝 모델 속에서 성능은 유지하면서도 훨씬 작고 효율적인 서브네트워크(Subnetworks)를 찾아내는 최적화 전략입니다. 이 개념은 모델 압축 및 추론 최적화의 중요한 전환점을 제시하며, 특히 자원이 제한된 엣지 디바이스에서 경량화된 모델 구현에 강력한 효과를 발휘합니다.1. 개념 및 정의Lottery Ticket Hypothesis(LTH)는 2019년 Frankle & Carbin 논문에서 제시된 이론으로, 초기 무작위로 설정된 딥러닝 모델 내에는 동일한 초기화값과 동일한 구조로 훈련했을 때도 원래 모델과 유사한 성능을 낼 수 있는 'Winning Ticket'(당첨 티켓)이 존재한..