ITPE * JackerLab

개요AdapterFusion은 미리 학습된 다양한 어댑터 모듈(adapter modules)을 하나의 모델 내에서 결합해 사용하는 기술로, 멀티태스크 또는 멀티도메인 환경에서 파인튜닝된 어댑터들을 효과적으로 재활용하고 통합할 수 있는 메커니즘을 제공한다. 대형 언어 모델(LLM)의 확장성과 지속적인 학습을 가능하게 만드는 파라미터 효율적 학습 기술의 일환이다.1. 개념 및 정의 항목 설명 정의다수의 파인튜닝된 adapter를 결합하여 하나의 통합 표현으로 만드는 메커니즘목적태스크 간 지식 공유 및 파라미터 효율적 재사용필요성다수 태스크에 대해 독립적인 학습보다 효율적인 통합 방법 요구AdapterFusion은 파인튜닝된 어댑터 간 관계를 학습하여 적절히 조합함으로써 성능과 효율을 동시에 확보한다.2. ..

개요AdapterFusion은 미리 학습된 다양한 어댑터 모듈(adapter modules)을 하나의 모델 내에서 결합해 사용하는 기술로, 멀티태스크 또는 멀티도메인 환경에서 파인튜닝된 어댑터들을 효과적으로 재활용하고 통합할 수 있는 메커니즘을 제공한다. 대형 언어 모델(LLM)의 확장성과 지속적인 학습을 가능하게 만드는 파라미터 효율적 학습 기술의 일환이다.1. 개념 및 정의 항목 설명 정의다수의 파인튜닝된 adapter를 결합하여 하나의 통합 표현으로 만드는 메커니즘목적태스크 간 지식 공유 및 파라미터 효율적 재사용필요성다수 태스크에 대해 독립적인 학습보다 효율적인 통합 방법 요구AdapterFusion은 파인튜닝된 어댑터 간 관계를 학습하여 적절히 조합함으로써 성능과 효율을 동시에 확보한다.2. ..

개요Few-shot Prompting은 대규모 언어모델(LLM)에게 작업 예시(few examples)를 함께 제공하여 모델이 문맥(Context)만으로 태스크를 학습하도록 유도하는 프롬프트 전략입니다. 이는 LLM의 사전학습된 능력을 활용해 별도 파인튜닝 없이 다양한 태스크에서 높은 성능을 낼 수 있게 하며, 특히 GPT-3 이후 널리 사용되는 대표적인 프롬프트 방식입니다.1. 개념 및 정의Few-shot Prompting은 다음과 같은 구조를 갖습니다:예시 포함: 입력 프롬프트에 몇 개의 문제-답 예시 포함문맥 기반 학습: 예시를 통해 모델이 태스크 구조를 이해함추론 일반화: 예시 패턴을 바탕으로 새로운 입력에 대해 응답 생성예시:Translate English to Korean:English: ap..