ITPE * JackerLab

개요Multimodal RAG(Retrieval-Augmented Generation)는 텍스트(Text), 이미지(Image), 비디오(Video) 등 다양한 모달리티 데이터를 동시에 이해하고 생성할 수 있는 차세대 생성형 AI 아키텍처이다. 기존의 RAG가 텍스트 기반 검색과 생성에 초점을 맞췄다면, Multimodal RAG는 비정형 데이터까지 확장하여 **지식 기반 멀티모달 추론(Multimodal Reasoning)**을 가능하게 한다.1. 개념 및 정의Multimodal RAG는 기본적으로 두 단계로 구성된다.Retrieval (검색) – 외부 지식베이스(예: 이미지, 문서, 비디오 프레임)에서 관련 정보를 검색.Generation (생성) – 검색된 정보를 Transformer 기반 멀티모달..

개요Haystack은 자연어 처리(NLP)와 대규모 언어 모델(LLM)을 활용한 오픈소스 검색 및 질의응답(Question Answering) 프레임워크이다. RAG(Retrieval-Augmented Generation) 시스템 구축에 최적화되어 있으며, 문서 검색, 챗봇, 지식 관리 시스템 등 다양한 분야에서 활용된다.1. 개념 및 정의 항목 내용 설명 정의HaystackLLM·RAG 기반 검색 및 QA 프레임워크목적외부 데이터와 LLM 결합고품질 검색 및 응답 제공필요성LLM 한계(지식 최신성 부족) 극복실제 데이터 검색·활용 필요Haystack은 LLM의 응답 품질을 강화하기 위한 대표적인 RAG 프레임워크다.2. 특징특징설명비고RAG 최적화검색+생성 결합 구조최신 데이터 반영 가능다양한 커넥..

개요LlamaIndex(구 GPT Index)는 LLM(Large Language Model)이 외부 데이터와 효율적으로 상호작용할 수 있도록 돕는 데이터 프레임워크이다. 문서, 데이터베이스, API 등 다양한 데이터 소스를 연결하고, 인덱싱 및 검색 기능을 제공하여 RAG(Retrieval-Augmented Generation) 파이프라인 구축에 최적화되어 있다.1 항목 내용 설명 정의LlamaIndexLLM 기반 데이터 검색·통합 프레임워크목적외부 데이터와 LLM 연결RAG 기반 응답 품질 향상필요성LLM의 지식 한계 극복최신 데이터 검색 및 활용LlamaIndex는 LLM이 정적 파라미터 지식을 넘어 동적 데이터와 상호작용할 수 있게 한다.2. 특징특징설명비고다양한 데이터 소스 연동PDF, DB..