Few-shot Prompting

개요

Few-shot Prompting은 대규모 언어모델(LLM)에게 작업 예시(few examples)를 함께 제공하여 모델이 문맥(Context)만으로 태스크를 학습하도록 유도하는 프롬프트 전략입니다. 이는 LLM의 사전학습된 능력을 활용해 별도 파인튜닝 없이 다양한 태스크에서 높은 성능을 낼 수 있게 하며, 특히 GPT-3 이후 널리 사용되는 대표적인 프롬프트 방식입니다.

---

1. 개념 및 정의

Few-shot Prompting은 다음과 같은 구조를 갖습니다:

• 예시 포함: 입력 프롬프트에 몇 개의 문제-답 예시 포함
• 문맥 기반 학습: 예시를 통해 모델이 태스크 구조를 이해함
• 추론 일반화: 예시 패턴을 바탕으로 새로운 입력에 대해 응답 생성

예시:

Translate English to Korean:
English: apple
Korean: 사과
English: book
Korean: 책
English: computer
Korean: 컴퓨터

---

2. 특징

항목	설명	비고
문맥 기반 학습	별도 파인튜닝 없이 문맥에서 태스크 파악	"in-context learning" 방식
유연성	다양한 태스크에 신속히 적용 가능	데이터 없이 전이 가능
입력 길이 제한	예시 수가 많을 경우 입력 초과 가능	프롬프트 최적화 필요

Few-shot은 특히 소량 데이터 환경, 도메인 적응, 테스트 환경에서 강력한 성능을 발휘합니다.

---

3. 구성 요소

구성 요소	설명	예시
Instruction	모델에게 작업 지시	“텍스트를 요약해줘”
Example(s)	문제-정답 쌍	“입력: … → 출력: …” 형식 유지
Target Query	실제 모델이 응답할 입력	예시와 동일한 형식으로 구성

Instruction + Demonstrations + Query = Few-shot Prompt

---

4. 활용 사례

분야	프롬프트 예시	활용 목적
번역	“Translate: apple → 사과”	다국어 문장 전환
감정 분류	“Text: I love it → Positive”	긍/부정 감정 분류
요약	“문장: … → 요약: …”	뉴스, 논문, 리뷰 요약
코드 생성	“문제: 배열 정렬 → 코드: …”	파이썬 스니펫 생성
QA	“Q: … A: …”	문답 형식 유도

---

5. 장점 및 고려사항

항목	장점	고려사항
별도 학습 불필요	파인튜닝 없이 높은 성능 가능	예시 품질에 따라 성능 편차 존재
다양한 태스크 전이	다양한 문제에 전용 학습 없이 적용	태스크 간 형식 일관성 유지 중요
높은 유연성	단일 프롬프트로 다양한 입력 대응 가능	입력 길이 한계 고려 필수

예시의 수량, 다양성, 표현 일관성은 성능에 직접적인 영향을 미칩니다.

---

6. 프롬프트 설계 팁

• 예시 개수는 3~5개 적정 (모델 최대 입력 길이 고려)
• 포맷 정렬: 예시 간 동일한 문법·형식 유지
• 질 높은 예시: 편향 없는 자연스러운 예문 선별
• 명확한 Instruction 포함: “다음 문장을 요약해줘”, “분류해줘” 등 구체적 요청

---

7. 결론

Few-shot Prompting은 예시만으로도 모델이 문제 해결 방식을 유추하게 만드는 가장 실용적이고 효과적인 LLM 활용 전략입니다. 학습 없이 빠르게 적용 가능하며, 다양한 프롬프트 기법(CoT, Self-consistency, Tree-of-Thought 등)과 조합해 더욱 정교한 고차 추론 프롬프트로 진화하고 있습니다.