ITPE * JackerLab

개요대규모 언어 모델(LLM)이 혁신적 성능을 보이며 다양한 산업에서 활용되고 있지만, 계산 자원 요구량이 크고, 배포 및 운영에 어려움이 따르는 것이 현실입니다. 이에 대한 대안으로 주목받고 있는 것이 바로 **SLM(Small Language Model)**입니다. SLM은 파라미터 수를 줄이고 목적 지향적으로 설계된 경량 언어 모델로, 에지 컴퓨팅, 로컬 환경, 특정 도메인 활용에 최적화되어 점차 활용 범위를 넓혀가고 있습니다.1. 개념 및 정의SLM(Small Language Model)은 수억~수십억 개의 파라미터 수준으로 구성된 소형 언어 모델을 의미하며, GPT-4, LLaMA-3 등의 LLM과 비교해 경량화, 저전력, 빠른 추론 속도에 초점을 맞춘 자연어 처리 모델군입니다.SLM은 ‘범용’..

개요Lightweight AutoML(LAM)은 저사양 환경에서도 머신러닝 모델의 자동 생성 및 최적화를 가능하게 하는 경량화된 AutoML 솔루션입니다. 전통적인 AutoML이 강력한 연산 자원을 전제로 한 반면, LAM은 IoT, 모바일, 엣지 디바이스 등 리소스 제약 환경에서도 실행 가능한 모델 학습과 추론 자동화를 목표로 합니다. 이를 통해 AI 기술의 확장성과 접근성을 대폭 향상시킬 수 있습니다.1. 개념 및 정의LAM은 모델 탐색, 피처 엔지니어링, 하이퍼파라미터 튜닝, 모델 선택 및 배포까지의 전 과정을 자동화하지만, 경량화된 알고리즘 및 효율적 파이프라인을 통해 낮은 자원에서도 실행 가능하도록 최적화된 AutoML 형태입니다.주요 목적은 고성능 컴퓨팅 자원 없이도 빠르고 효율적인 ML 워크..

개요In-Network AI Pre-Filter는 데이터센터나 클라우드 경계 외부의 네트워크 계층(엣지, 스위치, 게이트웨이 등)에서 실시간으로 흐르는 데이터를 분석하고 불필요하거나 위험한 트래픽, 민감 정보를 사전에 필터링하는 AI 기반의 선처리(pre-filtering) 기술입니다. 대규모 LLM 시스템, AI API 게이트웨이, 고속 IoT 환경 등에서 처리 효율성 및 보안성 확보를 위한 핵심 인프라로 주목받고 있습니다.1. 개념 및 정의In-Network AI: 네트워크 내에서 ML 모델을 실시간 실행하여 트래픽 흐름을 분석하고 반응하는 기술Pre-Filter: 메인 AI 모델 또는 백엔드 시스템에 도달하기 전 사전 조건 검사를 통해 유효성 판단 및 필터링In-Network AI Pre-Filte..

개요TinyML은 수 밀리와트 수준의 마이크로컨트롤러(MCU)에서 머신러닝 모델을 실행할 수 있도록 설계된 기술입니다. 이 기술은 센서에서 수집된 데이터를 로컬에서 즉시 처리하고 의사결정까지 수행할 수 있는 초경량 AI 접근 방식으로, 엣지 컴퓨팅, IoT, 웨어러블, 스마트 홈/팩토리 등 다양한 산업 분야에서 활용되고 있습니다.1. 개념 및 정의**TinyML(Tiny Machine Learning)**은 1mW 이하의 전력에서 동작하는 소형 디바이스에 최적화된 머신러닝 모델과 실행 환경을 의미합니다. 주요 목표는 에너지 효율성과 응답 속도 확보이며, 이를 위해 모델 경량화, 최적화된 런타임, 하드웨어 가속 등이 함께 고려됩니다.처리 위치: 클라우드가 아닌 디바이스 자체 (on-device infere..

개요경량 딥러닝 기술(Lightweight Deep Learning)은 인공지능(AI) 모델의 크기, 계산량, 전력 소비를 최소화하여 모바일, IoT, 임베디드, 에지 디바이스 등 성능 제약이 있는 환경에서도 딥러닝을 실행할 수 있도록 최적화하는 기술입니다. AI의 클라우드 중심 구조에서 벗어나 디바이스 자체에서의 추론이 가능해짐으로써 지연 최소화, 네트워크 의존도 감소, 개인정보 보호 등 다양한 이점을 제공합니다.1. 개념 및 정의 항목 설명 정의기존의 대형 AI 모델을 크기, 속도, 연산 효율 면에서 최적화하여 저사양 환경에서도 동작하도록 경량화한 기술적용 환경모바일 앱, IoT 기기, CCTV, 드론, 웨어러블, 자동차 등목적AI의 온디바이스(On-Device) 실행을 가능하게 하여 실시간 처리와..