ITPE * JackerLab

개요Tiny-LLM은 기존 대형언어모델(LLM, Large Language Model)의 장점을 유지하면서도, 리소스 제약이 있는 환경(모바일, IoT, 엣지 디바이스 등)에서도 활용 가능한 경량화된 언어모델 아키텍처를 의미합니다. 모델의 크기, 파라미터 수, 연산량 등을 최소화하는 동시에, 주요 자연어 처리 기능(NLU/NLG)의 성능을 일정 수준 이상으로 유지하도록 설계됩니다. Tiny-LLM은 비용 절감, 실시간 반응성, 개인화된 AI 기능 탑재에 최적화된 기술입니다.1. 개념 및 정의Tiny-LLM은 수억~수십억 개 파라미터 규모의 대형모델을 수백만~수천만 개 수준으로 축소하거나, 압축·지연처리 기반 기술을 통해 경량화한 모델입니다.목적: 엣지 환경에서도 LLM 기능을 실행 가능하도록 최적화필요성..

개요Reward-Model Distillation(RMD)은 대규모 언어 모델(LLM)의 Reinforcement Learning with Human Feedback(RLHF) 훈련 과정에서 사용되는 보상 모델(Reward Model)을 활용해, 직접적인 강화학습(RL) 과정 없이도 경량화된 모델을 효과적으로 학습시키는 방법이다. RMD는 RL의 복잡성과 비용을 줄이면서도, 사람 선호도를 반영한 고품질 응답 생성을 가능하게 하며, 최근 경량 LLM 개발에서 주목받고 있다.1. 개념 및 정의**Reward-Model Distillation(RMD)**은 보상 모델이 평가한 응답 간 선호도를 학습 신호로 삼아, 후보 응답 중 더 나은 출력을 선택하도록 모델을 미세조정하는 프레임워크이다.목적: RL 없이 보상..

개요PEFT(Parameter-Efficient Fine-Tuning)는 기존의 파인튜닝처럼 전체 모델 파라미터를 업데이트하는 방식이 아닌, 일부 모듈만 학습하거나 적은 수의 파라미터만 조정하여 LLM의 성능을 빠르게 개선할 수 있는 파인튜닝 전략입니다. 특히 메모리, 연산 자원이 제한된 환경에서 LLM(예: LLaMA, GPT-3/4 등)을 빠르고 저비용으로 파인튜닝할 수 있어, 오픈소스 생태계 및 기업 적용에서 핵심 전략으로 부상하고 있습니다.1. 개념 및 정의PEFT는 LLM의 대다수 파라미터를 고정하고, 일부 적은 수의 학습 가능한 파라미터만 추가하거나 수정하여 미세 조정(Fine-Tuning)하는 기법군을 통칭합니다.학습 가능한 파라미터 수: 기존 대비 수천 배 감소효율성 초점: 메모리 절감 +..