ITPE * JackerLab

개요LoRA-INT8은 파라미터 효율 미세 조정 기술인 LoRA(Low-Rank Adaptation)와 INT8 정수 양자화를 결합한 LLM(대규모 언어 모델) 경량화 및 튜닝 기법이다. 적은 연산 자원으로도 기존 성능을 유지하면서 모델을 학습 또는 미세 조정할 수 있어, 비용 효율적 AI 서비스 구축에 매우 적합하다.1. 개념 및 정의 항목 설명 정의LLM의 고정된 파라미터에 LoRA를 적용하고, 전체 모델 가중치를 INT8로 양자화하여 미세 조정하는 방법목적메모리 사용량과 연산 비용을 최소화하면서도 성능을 유지하는 튜닝 방식 제공필요성GPU 메모리 한계, 클라우드 비용, 배포 효율성 등에 대한 실용적 대응 요구2. 특징특징설명기존 방법 대비 차별점저메모리 학습전체 파라미터가 아닌 LoRA 모듈만 학..

개요QLoRA(Quantized Low-Rank Adapter)는 대형 언어 모델(LLM)의 파인튜닝을 메모리 효율적이면서도 성능을 유지한 채 수행할 수 있는 혁신적인 방법입니다. 이름에서 알 수 있듯이, 이 기법은 **양자화(Quantization)**와 **로우랭크 어댑터(Low-Rank Adapter, LoRA)**를 결합하여, 저사양 환경에서도 대형 모델을 효과적으로 커스터마이징할 수 있게 합니다. Hugging Face와 Tim Dettmers 연구진이 2023년 제안했으며, 수백억 파라미터 모델의 경제적 활용을 가능하게 만든 대표 기술입니다.1. 개념 및 정의QLoRA는 다음 세 가지 핵심 기술을 결합한 파인튜닝 프레임워크입니다:4비트 양자화: 모델의 파라미터를 4-bit precision으로..

개요PEFT(Parameter-Efficient Fine-Tuning)는 기존의 파인튜닝처럼 전체 모델 파라미터를 업데이트하는 방식이 아닌, 일부 모듈만 학습하거나 적은 수의 파라미터만 조정하여 LLM의 성능을 빠르게 개선할 수 있는 파인튜닝 전략입니다. 특히 메모리, 연산 자원이 제한된 환경에서 LLM(예: LLaMA, GPT-3/4 등)을 빠르고 저비용으로 파인튜닝할 수 있어, 오픈소스 생태계 및 기업 적용에서 핵심 전략으로 부상하고 있습니다.1. 개념 및 정의PEFT는 LLM의 대다수 파라미터를 고정하고, 일부 적은 수의 학습 가능한 파라미터만 추가하거나 수정하여 미세 조정(Fine-Tuning)하는 기법군을 통칭합니다.학습 가능한 파라미터 수: 기존 대비 수천 배 감소효율성 초점: 메모리 절감 +..

개요LoRA(Low-Rank Adaptation)는 거대 언어 모델(LLM)의 파라미터 전체를 학습하지 않고, 선형 계층의 변화만을 저차원(low-rank) 행렬로 분리해 효율적으로 학습하는 파인튜닝 방식입니다. 이 접근법은 저비용·저메모리·빠른 수렴이라는 장점으로 인해 최근 ChatGPT, LLaMA, Alpaca 등 다양한 LLM 파인튜닝에 널리 채택되고 있습니다.1. 개념 및 정의LoRA는 기존 모델의 가중치 는 고정하고, 추가 학습 가능한 **저랭크 행렬 A, B (Rank 핵심 아이디어: 학습 시 weight를 직접 업데이트하는 대신, 저차원 변화만 추가로 학습동결 전략: 기존 모델의 가중치는 그대로 고정적용 위치: 주로 Transformer의 Attention 또는 FFN 선형 계층2. 구조 ..