ITPE * JackerLab

개요Haystack은 자연어 처리(NLP)와 대규모 언어 모델(LLM)을 활용한 오픈소스 검색 및 질의응답(Question Answering) 프레임워크이다. RAG(Retrieval-Augmented Generation) 시스템 구축에 최적화되어 있으며, 문서 검색, 챗봇, 지식 관리 시스템 등 다양한 분야에서 활용된다.1. 개념 및 정의 항목 내용 설명 정의HaystackLLM·RAG 기반 검색 및 QA 프레임워크목적외부 데이터와 LLM 결합고품질 검색 및 응답 제공필요성LLM 한계(지식 최신성 부족) 극복실제 데이터 검색·활용 필요Haystack은 LLM의 응답 품질을 강화하기 위한 대표적인 RAG 프레임워크다.2. 특징특징설명비고RAG 최적화검색+생성 결합 구조최신 데이터 반영 가능다양한 커넥..

개요AutoGen은 다중 에이전트(Multi-Agent) 시스템을 구성하여 대화형 AI, 자동화된 작업 수행, 복잡한 문제 해결을 가능하게 하는 오픈소스 프레임워크이다. 단일 모델이 아닌 여러 AI 에이전트가 협력하여 목표를 달성하도록 설계되었으며, LLM(Large Language Model)을 활용한 자동화된 워크플로우 구성에 최적화되어 있다.1. 개념 및 정의 항목 내용 설명 정의AutoGen다중 에이전트 AI 오케스트레이션 프레임워크목적에이전트 협력을 통한 복잡한 작업 자동화LLM 기반 워크플로우 최적화필요성단일 LLM 한계 극복협력적 AI 시스템 구현AutoGen은 다양한 에이전트를 연결하고, 상호작용을 통해 최적의 결과를 생성하는 차세대 AI 아키텍처다.2. 특징특징설명비고다중 에이전트 협..

개요LLMOps는 LLM(Large Language Models) 기반 애플리케이션을 개발, 배포, 모니터링, 최적화하는 전체 수명 주기를 관리하는 운영 프레임워크이다. 기존 MLOps의 확장된 개념으로, LLM 특유의 대규모 파라미터, 프롬프트 관리, 레이턴시 대응, 평가 지표 등의 요구를 반영한다. GenAI 시대의 AI 운영 패러다임으로 주목받고 있다.1. 개념 및 정의 항목 내용 정의LLM 기반 시스템의 훈련, 배포, 프롬프트 관리, 성능 모니터링 등을 포함하는 엔드투엔드 운영 체계목적LLM 서비스 품질 보장, 비용 효율화, 사용자 경험 최적화구성 범위프롬프트 엔지니어링, 파인튜닝, 캐시, 보안·감사, A/B 테스트 등 포함LLMOps는 단순 모델 배포를 넘어서, 대규모 모델 특화 운영 자동화에..

개요대형 언어 모델(LLM)을 활용한 텍스트 요약은 뉴스, 논문, 리서치 문서 등에서 핵심 정보를 빠르게 파악할 수 있게 해줍니다. 그러나 일반적인 요약 프롬프트는 핵심 정보 누락, 중복, 불균형 등 한계를 지닙니다. 이를 보완하기 위한 최신 접근법 중 하나가 **Chain-of-Density Prompting(CoD Prompting)**입니다. 이 프롬프트 전략은 요약 과정에서 정보 밀도를 점진적으로 높이는 연쇄적 방식으로, 보다 정제되고 풍부한 요약문을 생성하는 데 최적화되어 있습니다.1. 개념 및 정의Chain-of-Density Prompting은 요약 생성 시 정보량을 점차 밀도 있게 추가하는 방식의 단계적(prompt chaining) 요약 전략입니다.핵심 방식: 초기 저밀도 요약 → 밀도 ..

개요Self-Consistency Prompting은 대형 언어 모델(LLM)의 응답 품질을 향상시키기 위한 추론 전략입니다. 이 방식은 단일 응답이 아닌 다양한 추론 경로를 생성하고, 그 중 가장 일관된 결과를 선택하여 보다 신뢰도 높은 답변을 도출합니다. 본 글에서는 이 기법의 개념, 기술적 원리, 구현 방식, 활용 사례를 체계적으로 정리합니다.1. 개념 및 정의 구분 내용 정의LLM에서 다양한 추론 경로를 생성한 후, 다수결 방식으로 일관된 응답을 선택하는 기법목적복잡한 문제 해결 시 추론 정확도 및 신뢰도 향상필요성단일 샘플 기반 출력의 불확실성 제거 및 안정성 강화2. 특징특징설명차별점다중 추론 생성다양한 Temperature 설정으로 복수의 응답 샘플 생성일반적인 프롬프트 1회 호출 방식과 ..