ITPE * JackerLab

개요FIM(Fill-In-the-Middle) Pre-training은 기존의 왼쪽-오른쪽(LM-style) 언어 모델 학습 방식과 달리, 텍스트의 중간을 채우는 학습 방식으로, 자연스러운 문맥 삽입 능력을 향상시키기 위한 사전학습 기법입니다. 코드 자동완성, 문장 편집, 함수 보완 등에서 특히 효과적이며, GitHub Copilot과 같은 코드 생성 모델에서 그 유용성이 입증되었습니다. FIM은 텍스트 조각을 “prefix, middle, suffix”로 분리하여 모델이 middle을 예측하도록 훈련합니다.1. 개념 및 정의항목설명정의FIM은 텍스트 시퀀스를 중간 삽입 방식으로 학습하여, Prefix와 Suffix 사이에 적절한 Middle을 생성하도록 모델을 훈련하는 사전학습 기법입니다.목적중간 문장..

개요ReAct(Reasoning and Acting)는 대규모 언어모델(LLM)이 사고(Reasoning)와 외부 환경에 대한 행위(Action)를 번갈아 수행하도록 유도하는 프롬프트 설계 기법입니다. ReAct는 LLM이 단순히 응답을 생성하는 데 그치지 않고, 생각하고 → 도구를 호출하고 → 다시 생각하고 → 결론을 도출하는 방식으로 능동적이고 인터랙티브한 에이전트 추론 체계를 구현합니다. 이는 검색 기반 QA, 툴 기반 작업 자동화, 다단계 추론형 AI 어시스턴트 등에서 핵심 전략으로 활용됩니다.1. 개념 및 정의ReAct는 하나의 프롬프트 흐름 내에서 다음을 반복합니다:Thought: 문제를 해결하기 위한 사고 과정 (CoT 기반)Action: 외부 API, 계산기, 검색 도구 등을 호출Obser..

개요Self-consistency는 Chain-of-Thought(CoT) Prompting의 확장 기법으로, LLM이 생성한 다수의 응답 중에서 가장 일관되고 빈도 높은 정답을 선택하여 추론 정확도와 안정성을 높이는 전략입니다. 단일 응답에 의존하지 않고, 여러 번 추론을 수행한 뒤 그 중 가장 빈도 높은 결과(majority vote)를 최종 응답으로 채택함으로써, 특히 수학, 논리, 추론 등 고난도 문제에서 효과적인 성능을 보입니다.1. 개념 및 정의Self-consistency는 다음과 같은 과정으로 이루어집니다:Chain-of-Thought 방식으로 다양한 응답 샘플 생성 (sampling or temperature variation)각 응답의 최종 정답만 추출 (step-by-step reas..

개요Few-shot Prompting은 대규모 언어모델(LLM)에게 작업 예시(few examples)를 함께 제공하여 모델이 문맥(Context)만으로 태스크를 학습하도록 유도하는 프롬프트 전략입니다. 이는 LLM의 사전학습된 능력을 활용해 별도 파인튜닝 없이 다양한 태스크에서 높은 성능을 낼 수 있게 하며, 특히 GPT-3 이후 널리 사용되는 대표적인 프롬프트 방식입니다.1. 개념 및 정의Few-shot Prompting은 다음과 같은 구조를 갖습니다:예시 포함: 입력 프롬프트에 몇 개의 문제-답 예시 포함문맥 기반 학습: 예시를 통해 모델이 태스크 구조를 이해함추론 일반화: 예시 패턴을 바탕으로 새로운 입력에 대해 응답 생성예시:Translate English to Korean:English: ap..

개요Prompt Engineering(프롬프트 엔지니어링)은 대규모 언어모델(LLM)의 성능을 최대한 이끌어내기 위해 입력 프롬프트를 설계, 구성, 조정하는 기술입니다. GPT-4, Claude, LLaMA, PaLM 등 현대 LLM은 같은 모델이라도 프롬프트 구조에 따라 응답 품질이 크게 달라지기 때문에, 효과적인 프롬프트 설계가 매우 중요합니다. 최근에는 Chain-of-Thought(CoT), Zero-shot, Few-shot, Role prompting, Instruction tuning 등 다양한 기법이 활용되며, 프롬프트 자체가 모델 성능의 핵심 변수로 작용합니다.1. 개념 및 정의Prompt Engineering이란 모델에게 문제 해결을 요청할 때 사용하는 입력 문장을 명시적, 구조화된 방..