ITPE * JackerLab

개요DiskANN은 마이크로소프트 리서치에서 개발한 근사 최근접 탐색(ANN, Approximate Nearest Neighbor) 알고리즘으로, RAM이 아닌 디스크(SSD)에 저장된 고차원 벡터 데이터를 고속으로 검색할 수 있도록 설계되었습니다. 수십억 개의 벡터도 소량의 메모리만으로 빠르게 탐색할 수 있어, 대규모 검색 시스템에 적합합니다.1. 개념 및 정의 항목 설명 정의SSD에 저장된 대규모 벡터 인덱스에서 최근접 이웃을 근사적으로 탐색하는 알고리즘목적RAM 사용을 최소화하면서도 빠른 벡터 검색 구현필요성메모리 크기를 넘는 벡터 데이터를 실시간 탐색할 수 있는 구조 필요DiskANN은 HNSW 기반 탐색과 SSD 친화적인 I/O 최적화를 결합함2. 특징특징설명비교SSD 기반 인덱스대부분의 인덱..

개요IVF-PQ(Inverted File with Product Quantization)는 대규모 고차원 벡터 데이터에서 유사한 항목을 빠르게 검색하기 위해 사용되는 대표적인 Approximate Nearest Neighbor(ANN) 알고리즘입니다. Inverted File(역색인) 구조와 Product Quantization(곱 양자화)을 결합하여, 메모리 사용을 줄이면서도 빠르고 정확한 벡터 유사성 검색이 가능합니다. FAISS, Milvus, ScaNN 등 다양한 벡터 검색 시스템에서 핵심 알고리즘으로 활용되고 있습니다.1. 개념 및 정의 항목 설명 정의IVF-PQ는 벡터를 여러 클러스터로 나눈 후, 각 클러스터 내부를 양자화하여 효율적인 검색을 수행하는 ANN 인덱스입니다.목적대규모 벡터 데이..

개요Milvus는 대규모 벡터 데이터를 효율적으로 저장하고 고속으로 검색할 수 있는 오픈소스 벡터 데이터베이스입니다. 인공지능(AI), 추천 시스템, 자연어 처리(NLP), 이미지 검색 등에서 사용되는 고차원 벡터 데이터를 위한 특화된 인프라로, 비정형 데이터에 대한 유사성 검색(Approximate Nearest Neighbor, ANN)을 지원합니다. Milvus는 Zilliz에 의해 개발되었으며, LF AI & Data 재단의 프로젝트로 채택되어 활발히 발전하고 있습니다.1. 개념 및 정의 항목 설명정의Milvus는 벡터 데이터의 저장, 색인, 검색을 위한 분산형 오픈소스 벡터 DB입니다.목적고차원 벡터의 유사성 검색을 빠르고 정확하게 처리하기 위함필요성기존 RDBMS로는 불가능한 벡터 기반의 대규..

개요VDBench-v1은 다양한 벡터 데이터베이스(Vector DB)의 검색 성능, 정밀도, 확장성을 비교 평가할 수 있도록 설계된 오픈 벤치마크 도구이다. ANN(Search), Filtering, Re-ranking, Index 유형 등 주요 기능을 중심으로 통일된 평가 지표와 실행 방식을 제공하며, LLM 시대 RAG(Relevance-Augmented Generation) 아키텍처의 인프라 선택에 핵심 역할을 한다.1. 개념 및 정의 항목 설명 정의VDBench-v1은 벡터 DB 간 기능적/비기능적 성능 비교를 위해 설계된 오픈소스 벤치마크 프레임워크이다.목적벡터 검색 성능 및 시스템적 확장성 비교, 표준화된 테스트 제공평가 방식공통 질의 집합과 동일 데이터셋으로 latency, recall, ..

개요AI, 추천 시스템, 자연어 처리, 이미지 분석 등 고차원 데이터를 기반으로 하는 애플리케이션이 급증하면서, 기존 관계형 또는 문서형 데이터베이스로는 대응이 어려운 벡터(Vector) 기반 데이터 저장 및 검색 요구가 커지고 있습니다. 이러한 배경에서 등장한 **Vector Database(벡터 데이터베이스)**는 벡터 임베딩을 효율적으로 저장하고, 유사도 기반 검색을 빠르게 수행할 수 있는 특화된 데이터베이스입니다.1. 개념 및 정의Vector Database는 고차원 공간의 벡터 데이터를 저장하고, 입력 벡터와의 유사도를 기준으로 가장 가까운 결과를 검색하는 벡터 유사도 검색에 특화된 데이터베이스입니다.벡터: 이미지, 텍스트, 오디오 등에서 추출된 고차원 임베딩유사도 검색: Cosine Simil..