ITPE * JackerLab

개요ONNX Runtime은 다양한 프레임워크(TensorFlow, PyTorch 등)에서 학습된 모델을 ONNX(Open Neural Network Exchange) 포맷으로 변환하여 빠르고 효율적으로 추론할 수 있도록 해주는 고성능 런타임 엔진입니다. Microsoft에서 개발한 이 오픈소스 프로젝트는 CPU, GPU, 모바일, 웹 등 다양한 환경에서 최적화된 추론 성능을 제공합니다.1. 개념 및 정의 항목 내용 비고 정의ONNX 포맷 모델을 다양한 하드웨어에서 효율적으로 실행하기 위한 추론 엔진Apache 2.0 라이선스목적프레임워크 독립적이고 최적화된 추론 환경 제공다양한 AI 플랫폼 호환배포 환경클라우드, 엣지, 브라우저, 모바일 등Windows, Linux, macOS, Android 지원..

개요Tiny-LLM은 기존 대형언어모델(LLM, Large Language Model)의 장점을 유지하면서도, 리소스 제약이 있는 환경(모바일, IoT, 엣지 디바이스 등)에서도 활용 가능한 경량화된 언어모델 아키텍처를 의미합니다. 모델의 크기, 파라미터 수, 연산량 등을 최소화하는 동시에, 주요 자연어 처리 기능(NLU/NLG)의 성능을 일정 수준 이상으로 유지하도록 설계됩니다. Tiny-LLM은 비용 절감, 실시간 반응성, 개인화된 AI 기능 탑재에 최적화된 기술입니다.1. 개념 및 정의Tiny-LLM은 수억~수십억 개 파라미터 규모의 대형모델을 수백만~수천만 개 수준으로 축소하거나, 압축·지연처리 기반 기술을 통해 경량화한 모델입니다.목적: 엣지 환경에서도 LLM 기능을 실행 가능하도록 최적화필요성..

개요대규모 언어 모델(LLM)의 성능은 탁월하지만, 그에 따른 추론 비용, 응답 지연, 에너지 소모는 실무 적용에 큰 제약 요소로 작용합니다. 특히 다양한 복잡도의 요청에 대해 동일한 모델을 사용하는 것은 리소스 낭비를 초래합니다. 이러한 문제를 해결하기 위해 등장한 개념이 **LLM Cascade Compression (LCC)**입니다. LCC는 여러 단계의 크기와 성능을 가진 모델을 계층적으로 배치하고, 요청의 난이도에 따라 적절한 모델을 선택함으로써 효율성과 성능을 동시에 확보하는 전략입니다.1. 개념 및 정의LLM Cascade Compression은 다양한 크기(예: 1B, 7B, 13B, 65B)의 언어 모델을 계단식으로 구성한 후, 각 요청에 대해 최소한의 모델로 처리 시도하고, 응답이 부..

개요경량 딥러닝 기술(Lightweight Deep Learning)은 인공지능(AI) 모델의 크기, 계산량, 전력 소비를 최소화하여 모바일, IoT, 임베디드, 에지 디바이스 등 성능 제약이 있는 환경에서도 딥러닝을 실행할 수 있도록 최적화하는 기술입니다. AI의 클라우드 중심 구조에서 벗어나 디바이스 자체에서의 추론이 가능해짐으로써 지연 최소화, 네트워크 의존도 감소, 개인정보 보호 등 다양한 이점을 제공합니다.1. 개념 및 정의 항목 설명 정의기존의 대형 AI 모델을 크기, 속도, 연산 효율 면에서 최적화하여 저사양 환경에서도 동작하도록 경량화한 기술적용 환경모바일 앱, IoT 기기, CCTV, 드론, 웨어러블, 자동차 등목적AI의 온디바이스(On-Device) 실행을 가능하게 하여 실시간 처리와..

개요Quantization-aware Training(QAT, 양자화 인지 학습)은 딥러닝 모델의 경량화(모델 크기 축소 및 연산량 감소)를 위해 도입되는 기술 중 하나로, 학습 과정에서 양자화를 시뮬레이션하여 정확도 손실을 최소화합니다. 특히 엣지 디바이스나 모바일 환경에서 고속 추론과 낮은 전력 소비가 요구되는 분야에 적합하며, Post-Training Quantization(PTQ)보다 높은 정밀도를 유지할 수 있다는 장점이 있습니다.1. 개념 및 정의QAT는 훈련 단계부터 8-bit 또는 정수 연산을 염두에 두고, 양자화 시뮬레이션을 포함한 연산을 통해 모델을 학습시키는 방식입니다. 이는 학습 중 float 연산과 양자화된 정수 연산 사이의 오차를 고려하여 weight와 activation을 함께..