ITPE * JackerLab

개요최근 대형 언어 모델(Large Language Model, LLM)의 활용이 증가함에 따라, 제한된 자원 환경에서도 효과적인 AI 시스템을 구현하기 위한 기술로 Small-Language-Model Distillation(소형 언어 모델 지식 증류)이 주목받고 있습니다. 본 포스트에서는 LLM으로부터 작은 모델로 지식을 전이하는 증류(distillation) 기술의 개념, 필요성, 적용 방식 및 실제 사례를 중심으로 상세히 살펴봅니다.1. 개념 및 정의Small-Language-Model Distillation은 고성능의 대형 언어 모델(teacher model)로부터 작은 언어 모델(student model)로 지식을 압축하여 전이하는 기술입니다. 이 방법은 성능 저하를 최소화하면서도 경량화된 모..

개요Phi-2는 Microsoft에서 개발한 2.7B 파라미터 규모의 경량 언어 모델로, 소형임에도 불구하고 다양한 벤치마크에서 중대형 모델을 능가하는 성능을 보이는 대표적인 '스몰 언어 모델(SLM)'입니다. 혁신적인 커리큘럼 학습 전략과 정제된 데이터셋을 기반으로 학습되어, 교육, 코딩, 논리추론 등 다양한 영역에서 고성능을 실현합니다.1. 개념 및 정의Phi-2는 학습 효율성과 품질 간의 최적 균형을 목표로 설계된 SLM으로, 특히 학습 데이터의 질과 구성 전략에 중점을 둔 모델입니다.모델 규모: 2.7B 파라미터 (Transformer 기반)학습 전략: 인위적 품질 필터링 + 커리큘럼 학습 + 중복 제거적용 영역: 교육적 질의응답, 수학 추론, 코딩, 자연어 이해 등2. 특징 항목 Phi-2 특..