ITPE * JackerLab

개요Min-PPL Decoding은 대규모 언어모델(LLM)의 출력 문장 중 퍼플렉서티(Perplexity)가 가장 낮은 후보를 선택하여 생성 품질을 향상시키는 디코딩 전략이다. 퍼플렉서티는 모델이 특정 시퀀스를 얼마나 자연스럽게 예측하는지를 나타내는 지표로, 값이 낮을수록 모델의 확률 분포와 일치하는 문장임을 의미한다.기존 Greedy, Beam Search, Top-k, Top-p 방식은 확률 기반 토큰 선택에 초점을 두지만, Min-PPL은 완성된 시퀀스의 전반적 언어 적합도(Global Fluency)를 기준으로 후보를 평가한다는 점에서 차별화된다.1. 개념 및 정의Min-PPL Decoding은 여러 후보 시퀀스를 생성한 후, 각 시퀀스의 평균 음의 로그 확률(또는 퍼플렉서티)을 계산하여 가장 ..

개요Contrastive Search는 대규모 언어모델(LLM)의 텍스트 생성 과정에서 반복(Repetition) 문제를 줄이고 의미적 일관성(Coherence)을 향상시키기 위해 제안된 디코딩 전략이다. 기존 Greedy Search, Beam Search, Top-k, Top-p(Sampling) 방식은 확률 기반 선택에 의존하기 때문에 문맥 반복, 의미 왜곡, 비논리적 확장 등의 문제가 발생할 수 있다.Contrastive Search는 모델의 신뢰도(Confidence)와 표현 다양성(Diversity)을 동시에 고려하는 대조(Contrastive) 목적 함수를 활용하여, 가장 확률이 높은 토큰이 아닌 ‘문맥적으로 가장 적절하면서도 반복을 최소화하는’ 토큰을 선택한다.1. 개념 및 정의Contra..

개요Multimodal RAG(Retrieval-Augmented Generation)는 텍스트(Text), 이미지(Image), 비디오(Video) 등 다양한 모달리티 데이터를 동시에 이해하고 생성할 수 있는 차세대 생성형 AI 아키텍처이다. 기존의 RAG가 텍스트 기반 검색과 생성에 초점을 맞췄다면, Multimodal RAG는 비정형 데이터까지 확장하여 **지식 기반 멀티모달 추론(Multimodal Reasoning)**을 가능하게 한다.1. 개념 및 정의Multimodal RAG는 기본적으로 두 단계로 구성된다.Retrieval (검색) – 외부 지식베이스(예: 이미지, 문서, 비디오 프레임)에서 관련 정보를 검색.Generation (생성) – 검색된 정보를 Transformer 기반 멀티모달..

개요제너레이티브 AI(Generative AI)는 주어진 데이터를 기반으로 새로운 콘텐츠(텍스트, 이미지, 음성, 코드 등)를 생성할 수 있는 인공지능 기술을 의미한다. 이 기술은 기존의 분류·예측 중심 AI와 달리, ‘무엇인가를 창조하는’ 능력에 중점을 두며, 인간의 창의적 활동을 보조하거나 대체할 수 있는 잠재력을 지닌다. 최근 GPT, DALL·E, Stable Diffusion, Codex 등 다양한 모델의 등장과 함께 전 산업에 걸쳐 활용 사례가 확산되고 있다.1. 개념 및 정의Generative AI는 대량의 학습 데이터를 바탕으로 새로운 데이터를 생성하는 모델로, 대표적으로 생성형 언어모델(LLM), 생성형 이미지 모델, 생성형 오디오/음성 모델 등이 있다.목적: 사람의 창작 능력을 보완하거..