개요LoRA-INT8은 파라미터 효율 미세 조정 기술인 LoRA(Low-Rank Adaptation)와 INT8 정수 양자화를 결합한 LLM(대규모 언어 모델) 경량화 및 튜닝 기법이다. 적은 연산 자원으로도 기존 성능을 유지하면서 모델을 학습 또는 미세 조정할 수 있어, 비용 효율적 AI 서비스 구축에 매우 적합하다.1. 개념 및 정의 항목 설명 정의LLM의 고정된 파라미터에 LoRA를 적용하고, 전체 모델 가중치를 INT8로 양자화하여 미세 조정하는 방법목적메모리 사용량과 연산 비용을 최소화하면서도 성능을 유지하는 튜닝 방식 제공필요성GPU 메모리 한계, 클라우드 비용, 배포 효율성 등에 대한 실용적 대응 요구2. 특징특징설명기존 방법 대비 차별점저메모리 학습전체 파라미터가 아닌 LoRA 모듈만 학..
