ITPE * JackerLab

개요IVF-PQ(Inverted File with Product Quantization)는 대규모 고차원 벡터 데이터에서 유사한 항목을 빠르게 검색하기 위해 사용되는 대표적인 Approximate Nearest Neighbor(ANN) 알고리즘입니다. Inverted File(역색인) 구조와 Product Quantization(곱 양자화)을 결합하여, 메모리 사용을 줄이면서도 빠르고 정확한 벡터 유사성 검색이 가능합니다. FAISS, Milvus, ScaNN 등 다양한 벡터 검색 시스템에서 핵심 알고리즘으로 활용되고 있습니다.1. 개념 및 정의 항목 설명 정의IVF-PQ는 벡터를 여러 클러스터로 나눈 후, 각 클러스터 내부를 양자화하여 효율적인 검색을 수행하는 ANN 인덱스입니다.목적대규모 벡터 데이..

개요ScaNN(Scalable Nearest Neighbors)은 Google에서 개발한 고성능 벡터 유사성 검색(ANN) 라이브러리로, 고차원 임베딩 벡터에서 유사한 항목을 빠르게 찾는 데 특화되어 있습니다. ScaNN은 머신러닝, 추천 시스템, 자연어 처리 등 다양한 인공지능 응용 분야에서 높은 정확도와 빠른 응답 속도를 제공합니다. 특히 GPU 및 SIMD 최적화와 효율적인 색인 알고리즘을 통해 대규모 벡터 데이터셋에서도 탁월한 성능을 발휘합니다.1. 개념 및 정의 항목 설명 정의ScaNN은 고차원 벡터에서 최근접 이웃을 빠르게 검색하는 ANN(Approximate Nearest Neighbor) 라이브러리입니다.목적AI 응용 시스템에서 빠르고 정확한 벡터 검색 제공필요성기존 ANN 알고리즘의 성..

개요OpenSearch Vector Engine(OVE)은 OpenSearch에 내장된 벡터 기반 검색(ANN: Approximate Nearest Neighbor)을 고속, 고정확도로 수행할 수 있도록 설계된 벡터 검색 전용 엔진입니다. 대규모 텍스트, 이미지, 코드, 오디오 등 임베딩된 데이터의 유사도 기반 검색에 특화되어 있으며, LLM 기반 RAG(Retrieval-Augmented Generation) 아키텍처의 핵심 구성 요소로 각광받고 있습니다.1. 개념 및 정의 항목 설명 정의OpenSearch Vector Engine은 벡터 임베딩 기반의 유사 검색 기능을 제공하는 OpenSearch의 통합 검색 모듈입니다.목적텍스트·이미지 등 임베딩된 벡터 간 근접 유사도를 빠르고 정확하게 검색필요성..