ITPE * JackerLab

개요Adapter 패턴은 서로 호환되지 않는 인터페이스를 가진 클래스들을 연결하여 함께 동작할 수 있도록 변환해주는 구조(Structural) 디자인 패턴이다. 기존 코드를 수정하지 않고 재사용할 수 있도록 도와주며, 레거시 시스템 통합이나 외부 라이브러리 연동 시 매우 유용하다.1. 개념 및 정의어댑터 패턴은 클라이언트가 기대하는 인터페이스와 실제 구현 객체의 인터페이스가 다를 때, 중간에 어댑터(Adapter)를 두어 인터페이스를 변환하는 방식이다. 일종의 변환기(Converter) 역할을 수행한다.2. 특징항목설명비고인터페이스 변환서로 다른 구조 연결호환성 확보기존 코드 유지수정 없이 재사용안정성 증가유연한 확장새로운 어댑터 추가확장성 확보한줄 요약: 서로 다른 인터페이스를 연결하는 브리지 역할을 ..

개요Delta-Tuning은 대규모 사전 학습 모델(PLM, Pretrained Language Model)을 다양한 다운스트림 태스크에 맞게 빠르고 효율적으로 적응시키기 위한 경량화 파인튜닝 기법입니다. 기존의 전체 파라미터 업데이트 방식(Fine-Tuning)과 달리, 모델 파라미터의 일부분만 조정하거나 새로운 적은 수의 파라미터만 추가 학습하여, 메모리 사용량을 줄이고 학습 속도를 향상시킵니다.1. 개념 및 정의Delta-Tuning은 ‘Δ(델타)’ 즉, 기존 사전 학습 모델에서의 변화량만 학습하는 접근 방식입니다.핵심 개념: 전체 모델 파라미터를 유지하고, 소량의 추가 파라미터만 학습기반 철학: 모델은 이미 일반적 표현을 학습했으므로, 적은 변화로도 태스크 적응 가능대상 모델: BERT, GPT,..

개요PEFT(Parameter-Efficient Fine-Tuning)는 기존의 파인튜닝처럼 전체 모델 파라미터를 업데이트하는 방식이 아닌, 일부 모듈만 학습하거나 적은 수의 파라미터만 조정하여 LLM의 성능을 빠르게 개선할 수 있는 파인튜닝 전략입니다. 특히 메모리, 연산 자원이 제한된 환경에서 LLM(예: LLaMA, GPT-3/4 등)을 빠르고 저비용으로 파인튜닝할 수 있어, 오픈소스 생태계 및 기업 적용에서 핵심 전략으로 부상하고 있습니다.1. 개념 및 정의PEFT는 LLM의 대다수 파라미터를 고정하고, 일부 적은 수의 학습 가능한 파라미터만 추가하거나 수정하여 미세 조정(Fine-Tuning)하는 기법군을 통칭합니다.학습 가능한 파라미터 수: 기존 대비 수천 배 감소효율성 초점: 메모리 절감 +..

개요LoRA(Low-Rank Adaptation)는 거대 언어 모델(LLM)의 파라미터 전체를 학습하지 않고, 선형 계층의 변화만을 저차원(low-rank) 행렬로 분리해 효율적으로 학습하는 파인튜닝 방식입니다. 이 접근법은 저비용·저메모리·빠른 수렴이라는 장점으로 인해 최근 ChatGPT, LLaMA, Alpaca 등 다양한 LLM 파인튜닝에 널리 채택되고 있습니다.1. 개념 및 정의LoRA는 기존 모델의 가중치 는 고정하고, 추가 학습 가능한 **저랭크 행렬 A, B (Rank 핵심 아이디어: 학습 시 weight를 직접 업데이트하는 대신, 저차원 변화만 추가로 학습동결 전략: 기존 모델의 가중치는 그대로 고정적용 위치: 주로 Transformer의 Attention 또는 FFN 선형 계층2. 구조 ..