ITPE * JackerLab

개요대규모 언어 모델(LLM)이 혁신적 성능을 보이며 다양한 산업에서 활용되고 있지만, 계산 자원 요구량이 크고, 배포 및 운영에 어려움이 따르는 것이 현실입니다. 이에 대한 대안으로 주목받고 있는 것이 바로 **SLM(Small Language Model)**입니다. SLM은 파라미터 수를 줄이고 목적 지향적으로 설계된 경량 언어 모델로, 에지 컴퓨팅, 로컬 환경, 특정 도메인 활용에 최적화되어 점차 활용 범위를 넓혀가고 있습니다.1. 개념 및 정의SLM(Small Language Model)은 수억~수십억 개의 파라미터 수준으로 구성된 소형 언어 모델을 의미하며, GPT-4, LLaMA-3 등의 LLM과 비교해 경량화, 저전력, 빠른 추론 속도에 초점을 맞춘 자연어 처리 모델군입니다.SLM은 ‘범용’..

개요Mamba는 2023년 후반 등장한 혁신적인 시퀀스 모델로, 기존 Transformer의 한계를 극복하며 긴 시퀀스 처리에 최적화된 새로운 아키텍처입니다. Attention 메커니즘 없이도 고성능을 달성할 수 있는 Selective State Space(Model)를 기반으로, 자연어 처리, 시계열 예측 등에서 강력한 성능을 보입니다.1. 개념 및 정의 항목 설명 정의Selective Structured State Space 모델 기반의 시퀀스 처리 신경망목적Attention 구조 없이도 긴 시퀀스 모델링 가능하게 함핵심 목표Transformer보다 빠르고, 메모리 효율적인 대안 모델 제공Mamba는 기존의 Transformer 구조가 가지는 O(n^2) 복잡도를 벗어나 선형 시간 처리 구조를 기반..