ITPE * JackerLab

개요OPQ(Optimized Product Quantization)는 고차원 벡터 데이터를 유사도 기반 검색에서 효율적으로 처리하기 위한 압축 기반 인덱싱 기법이다. Facebook AI Research가 제안한 이 방식은 Product Quantization(PQ)의 확장으로, 원본 벡터 공간을 선형 변환하여 PQ의 성능을 향상시킨다. 대규모 벡터 검색 시스템(예: Faiss, Milvus 등)에서 핵심 기술로 사용된다.1. 개념 및 정의 항목 설명 정의PQ 이전에 선형 회전을 적용하여 양자화 손실을 최소화하는 벡터 압축 기법목적고차원 벡터의 근사 최근접 검색 효율성과 정확도 향상필요성벡터 유사도 검색의 성능과 저장 공간을 동시에 최적화할 필요OPQ는 "양자화 오차 최소화"를 위한 Rotation M..

개요IVF-PQ(Inverted File with Product Quantization)는 대규모 고차원 벡터 데이터에서 유사한 항목을 빠르게 검색하기 위해 사용되는 대표적인 Approximate Nearest Neighbor(ANN) 알고리즘입니다. Inverted File(역색인) 구조와 Product Quantization(곱 양자화)을 결합하여, 메모리 사용을 줄이면서도 빠르고 정확한 벡터 유사성 검색이 가능합니다. FAISS, Milvus, ScaNN 등 다양한 벡터 검색 시스템에서 핵심 알고리즘으로 활용되고 있습니다.1. 개념 및 정의 항목 설명 정의IVF-PQ는 벡터를 여러 클러스터로 나눈 후, 각 클러스터 내부를 양자화하여 효율적인 검색을 수행하는 ANN 인덱스입니다.목적대규모 벡터 데이..