728x90
반응형

faiss 5

VDBench-v1 (Vector DB Benchmark)

개요VDBench-v1은 다양한 벡터 데이터베이스(Vector DB)의 검색 성능, 정밀도, 확장성을 비교 평가할 수 있도록 설계된 오픈 벤치마크 도구이다. ANN(Search), Filtering, Re-ranking, Index 유형 등 주요 기능을 중심으로 통일된 평가 지표와 실행 방식을 제공하며, LLM 시대 RAG(Relevance-Augmented Generation) 아키텍처의 인프라 선택에 핵심 역할을 한다.1. 개념 및 정의 항목 설명 정의VDBench-v1은 벡터 DB 간 기능적/비기능적 성능 비교를 위해 설계된 오픈소스 벤치마크 프레임워크이다.목적벡터 검색 성능 및 시스템적 확장성 비교, 표준화된 테스트 제공평가 방식공통 질의 집합과 동일 데이터셋으로 latency, recall, ..

Topic 2025.07.02

HyDE RAG(Hypothetical Document Embeddings for Retrieval-Augmented Generation)

개요RAG(Retrieval-Augmented Generation)은 검색과 생성형 AI를 결합하여 신뢰도 높은 응답을 생성하는 핵심 프레임워크입니다. 하지만 기존 RAG는 쿼리와 문서의 의미적 거리만을 기준으로 유사 문서를 검색하기 때문에, 질문과 관련된 문서가 누락되거나, 부정확한 문서가 검색되는 한계가 존재합니다. 이를 개선하기 위해 등장한 기술이 HyDE RAG입니다. HyDE는 질문에 대한 가상의 정답(Hypothetical Answer)을 생성하고 이를 임베딩하여 검색하는 방식으로, RAG의 정확성과 정밀도를 크게 향상시킵니다.1. 개념 및 정의**HyDE(Hypothetical Document Embeddings)**는 사용자의 질문을 먼저 LLM을 통해 **가상의 정답 문장(Hypothet..

Topic 2025.05.28

ANN (Approximate Nearest Neighbor)

개요ANN(Approximate Nearest Neighbor)은 고차원 벡터 공간에서 주어진 쿼리 벡터에 가장 가까운 이웃(neighbor)을 빠르게 찾기 위한 근사 알고리즘이다. 정확한 최근접 탐색(Exact NN)은 계산 비용이 매우 높기 때문에, ANN은 속도와 정확도 사이의 균형을 추구하며 대규모 데이터셋에서 벡터 검색, 이미지 유사도 탐색, AI 임베딩 검색 등에 널리 활용된다.1. 개념 및 정의ANN은 고차원 공간에서 거리(코사인 거리, 유클리드 거리 등)를 기준으로 가장 가까운 벡터를 찾는 과정을 근사적으로 처리하는 기법이다. 정확한 결과 대신 유사한(approximate) 결과를 빠르게 도출하는 데 초점을 맞춘다.목적: 계산 효율성을 극대화한 고속 벡터 검색필요성: 고차원에서의 NN 탐색..

Topic 2025.05.11

Retrieval-Augmented Generation v2 (RAG++)

개요RAG(Retrieval-Augmented Generation)는 언어 모델의 한계를 보완하기 위해 사전 학습된 LLM에 검색기(Retriever)를 연결해 외부 지식을 동적으로 주입하는 프레임워크입니다. RAG v2(RAG++)는 이 기본 개념을 발전시켜, 더 정교한 문서 검색, 필터링, 다중 문서 reasoning, 그리고 지식 신뢰도 기반 재구성 기능을 통해 정확도, 일관성, 신뢰도 모두를 향상시킨 차세대 구조입니다.1. 개념 및 정의RAG++는 질문 → 검색 → 요약/생성의 세 단계 파이프라인을 다음과 같이 강화합니다:Retriever: 다중 문서 벡터 검색 (Dense/Sparse Hybrid, Re-ranking 포함)Knowledge Selection: 문서 정합성, 출처 신뢰도 기반 필..

Topic 2025.05.08

Multidimensional Index Structure

개요Multidimensional Index Structure(다차원 인덱스 구조)는 다차원 데이터에서 빠른 검색과 효율적인 데이터 처리를 지원하는 인덱싱 기법입니다. 이는 공간 데이터, 시계열 데이터, 이미지 데이터, IoT 데이터 등 다양한 응용 분야에서 사용되며, 고차원 데이터를 효율적으로 저장하고 검색하는 데 중요한 역할을 합니다. 본 글에서는 다차원 인덱스 구조의 개념, 주요 알고리즘, 활용 사례 및 최신 동향을 살펴봅니다.1. 다차원 인덱스 구조란?다차원 인덱스 구조는 2차원 이상의 데이터를 효율적으로 검색할 수 있도록 설계된 데이터 구조입니다. 이는 전통적인 1차원 인덱싱 기법(예: B-Tree, Hash Index)으로 처리하기 어려운 공간 데이터나 복잡한 다차원 쿼리를 최적화하는 데 사용..

Topic 2025.03.12
728x90
반응형