ITPE * JackerLab

개요Lightweight AutoML(LAM)은 저사양 환경에서도 머신러닝 모델의 자동 생성 및 최적화를 가능하게 하는 경량화된 AutoML 솔루션입니다. 전통적인 AutoML이 강력한 연산 자원을 전제로 한 반면, LAM은 IoT, 모바일, 엣지 디바이스 등 리소스 제약 환경에서도 실행 가능한 모델 학습과 추론 자동화를 목표로 합니다. 이를 통해 AI 기술의 확장성과 접근성을 대폭 향상시킬 수 있습니다.1. 개념 및 정의LAM은 모델 탐색, 피처 엔지니어링, 하이퍼파라미터 튜닝, 모델 선택 및 배포까지의 전 과정을 자동화하지만, 경량화된 알고리즘 및 효율적 파이프라인을 통해 낮은 자원에서도 실행 가능하도록 최적화된 AutoML 형태입니다.주요 목적은 고성능 컴퓨팅 자원 없이도 빠르고 효율적인 ML 워크..

개요AdaFactor는 구글에서 제안한 경량화된 최적화 알고리즘으로, Transformer 기반 모델의 학습 시 메모리 효율을 극대화하면서도 성능 저하 없이 빠른 수렴을 가능하게 하는 것이 특징입니다. 특히 Adam 옵티마이저의 대안으로 주목받으며 대규모 언어 모델 학습에 적합한 솔루션으로 각광받고 있습니다.1. 개념 및 정의 구분 내용 정의Adam의 변형으로, 두 번째 모멘텀(m²)을 분해하여 저장 메모리를 줄이는 최적화 알고리즘목적대규모 모델 학습 시 메모리 사용량을 최소화하고 성능 유지필요성GPU 메모리 제약으로 인한 병렬성/확장성 문제 해결2. 특징특징설명차별점저메모리 사용두 번째 모멘텀(m²)을 행/열로 분해하여 저장Adam 대비 메모리 사용량 대폭 절감스케일 불변성가중치 스케일과 무관하게 안..

개요멀티태스킹 러닝(Multi-Task Learning, MTL)은 하나의 인공지능 모델이 여러 개의 연관된 작업(Task)을 동시에 학습함으로써, 개별 작업보다 더 일반화된 성능을 달성할 수 있도록 하는 머신러닝 전략입니다. MTL은 특히 텍스트 분류, 언어 생성, 컴퓨터 비전, 로보틱스 등 다양한 분야에서 데이터 효율성, 모델 경량화, 전이 학습 성능 향상 등의 이점을 제공하며, 최근에는 LLM과의 결합을 통해 더욱 주목받고 있습니다.1. 개념 및 정의 구분 정의 Single Task Learning하나의 모델이 하나의 작업만 학습하는 전통적 방식Multi-Task Learning하나의 모델이 여러 작업을 동시에 학습하는 방식멀티태스킹은 보통 **공통된 표현 학습(Shared Representati..