ITPE * JackerLab

개요Phi-2는 Microsoft에서 개발한 2.7B 파라미터 규모의 경량 언어 모델로, 소형임에도 불구하고 다양한 벤치마크에서 중대형 모델을 능가하는 성능을 보이는 대표적인 '스몰 언어 모델(SLM)'입니다. 혁신적인 커리큘럼 학습 전략과 정제된 데이터셋을 기반으로 학습되어, 교육, 코딩, 논리추론 등 다양한 영역에서 고성능을 실현합니다.1. 개념 및 정의Phi-2는 학습 효율성과 품질 간의 최적 균형을 목표로 설계된 SLM으로, 특히 학습 데이터의 질과 구성 전략에 중점을 둔 모델입니다.모델 규모: 2.7B 파라미터 (Transformer 기반)학습 전략: 인위적 품질 필터링 + 커리큘럼 학습 + 중복 제거적용 영역: 교육적 질의응답, 수학 추론, 코딩, 자연어 이해 등2. 특징 항목 Phi-2 특..

개요BitFit(Bias Term Fine-Tuning)은 대규모 사전학습 언어모델(PLM)을 효율적으로 파인튜닝하기 위해 도입된 경량화 튜닝 전략입니다. 전체 모델의 수많은 파라미터 중 오직 '바이어스(bias)' 항목만을 조정함으로써 최소한의 학습으로도 우수한 성능을 확보할 수 있는 것이 특징입니다. 메모리·계산 효율을 극대화하면서도 성능 손실 없이 다양한 다운스트림 태스크에 적용 가능해, LLM 시대의 실용적 튜닝 전략으로 각광받고 있습니다.1. 개념 및 정의BitFit은 Fine-Tuning 대상 파라미터를 'bias' 항목으로 제한하고, 그 외의 가중치(weight)는 모두 동결(frozen)한 상태로 학습을 수행하는 방법입니다.기본 전략: 전체 모델 파라미터 중 bias 항목만 업데이트설계 철..

개요Delta-Tuning은 대규모 사전 학습 모델(PLM, Pretrained Language Model)을 다양한 다운스트림 태스크에 맞게 빠르고 효율적으로 적응시키기 위한 경량화 파인튜닝 기법입니다. 기존의 전체 파라미터 업데이트 방식(Fine-Tuning)과 달리, 모델 파라미터의 일부분만 조정하거나 새로운 적은 수의 파라미터만 추가 학습하여, 메모리 사용량을 줄이고 학습 속도를 향상시킵니다.1. 개념 및 정의Delta-Tuning은 ‘Δ(델타)’ 즉, 기존 사전 학습 모델에서의 변화량만 학습하는 접근 방식입니다.핵심 개념: 전체 모델 파라미터를 유지하고, 소량의 추가 파라미터만 학습기반 철학: 모델은 이미 일반적 표현을 학습했으므로, 적은 변화로도 태스크 적응 가능대상 모델: BERT, GPT,..

개요QLoRA(Quantized Low-Rank Adapter)는 대형 언어 모델(LLM)의 파인튜닝을 메모리 효율적이면서도 성능을 유지한 채 수행할 수 있는 혁신적인 방법입니다. 이름에서 알 수 있듯이, 이 기법은 **양자화(Quantization)**와 **로우랭크 어댑터(Low-Rank Adapter, LoRA)**를 결합하여, 저사양 환경에서도 대형 모델을 효과적으로 커스터마이징할 수 있게 합니다. Hugging Face와 Tim Dettmers 연구진이 2023년 제안했으며, 수백억 파라미터 모델의 경제적 활용을 가능하게 만든 대표 기술입니다.1. 개념 및 정의QLoRA는 다음 세 가지 핵심 기술을 결합한 파인튜닝 프레임워크입니다:4비트 양자화: 모델의 파라미터를 4-bit precision으로..

개요Reactive Inference(실시간 예측)는 변화하는 환경이나 입력에 실시간으로 반응하여 즉시 추론 결과를 도출하는 AI 기술입니다. 특히 센서 기반 시스템, 자율주행, 로봇 제어, 금융 시장 예측 등 빠른 의사결정이 필요한 분야에서 필수적인 요소로 주목받고 있습니다. 이는 기존의 배치 기반 추론(Batch Inference)과는 다른 접근 방식으로, 지연(latency)을 최소화하고, 예측 반응성을 극대화하는 데 초점을 둡니다.1. 개념 및 정의Reactive Inference는 입력 데이터가 실시간으로 도착함과 동시에, 최소한의 지연 시간으로 모델이 예측 결과를 출력하는 방식입니다. 이때 모델은 사전 학습된 파라미터를 기반으로, 추가적인 재학습 없이 예측만 수행합니다. 핵심은 낮은 추론 지연..

개요스몰 데이터 AI(Small Data AI)는 대규모 학습 데이터가 없는 환경에서도 효율적인 학습과 예측이 가능한 인공지능 기술 및 접근 방식을 의미합니다. 이는 수천만~수억 개의 샘플을 요구하는 기존 딥러닝과 달리, 적은 양의 데이터로도 학습 가능하도록 설계된 경량화된 알고리즘, 전이 학습, 데이터 증강, 메타 러닝 등이 핵심입니다. 산업 현장, 의료, 제조, 특수 환경 등 데이터 확보가 어려운 분야에서 실용성을 인정받고 있으며, LLM 이후의 ‘효율 중심 AI’ 트렌드를 대변하고 있습니다.1. 개념 및 정의 구분 정의 스몰 데이터소수의 레이블된 샘플, 수십~수천 개 수준의 제한된 학습 데이터스몰 데이터 AI스몰 데이터를 기반으로도 일반화 능력이 높은 인공지능을 구현하는 기술 및 전략"작은 데이터..