OPQ (Optimized Product Quantization)

개요

OPQ(Optimized Product Quantization)는 고차원 벡터 데이터를 유사도 기반 검색에서 효율적으로 처리하기 위한 압축 기반 인덱싱 기법이다. Facebook AI Research가 제안한 이 방식은 Product Quantization(PQ)의 확장으로, 원본 벡터 공간을 선형 변환하여 PQ의 성능을 향상시킨다. 대규모 벡터 검색 시스템(예: Faiss, Milvus 등)에서 핵심 기술로 사용된다.

---

1. 개념 및 정의

항목	설명
정의	PQ 이전에 선형 회전을 적용하여 양자화 손실을 최소화하는 벡터 압축 기법
목적	고차원 벡터의 근사 최근접 검색 효율성과 정확도 향상
필요성	벡터 유사도 검색의 성능과 저장 공간을 동시에 최적화할 필요

OPQ는 "양자화 오차 최소화"를 위한 Rotation Matrix 학습이 핵심이다.

---

2. 특징

특징	설명	비교
전처리 회전 적용	입력 벡터에 선형 회전 적용 후 PQ 수행	일반 PQ는 입력 벡터 그대로 분할
학습 기반 최적화	Rotation Matrix는 학습을 통해 결정	정적 PQ 대비 압축 오차 ↓
메모리 효율성	벡터당 수십 바이트로 축소 가능	원본 저장 대비 수십~수백 배 절약

PQ의 장점을 유지하면서도 근접 검색 정확도를 크게 향상시킨다.

---

3. 구성 요소

구성 요소	설명	기술
Rotation Matrix (R)	벡터 공간 회전을 위한 선형 변환 행렬	SVD, PCA 기반 초기화 가능
Sub-vector 분할	벡터를 m개의 서브벡터로 분할	각 부분에 개별 코드북 적용
Codebooks	각 서브벡터 공간의 K-means 클러스터	비트 수 조절 가능 (e.g., 8비트 = 256 centroid)

OPQ는 R(x) → PQ 압축 → 인덱싱 순으로 동작한다.

---

4. 기술 요소

기술 요소	설명	활용
Distance Table Precomputation	압축된 코드 간 거리 미리 계산	검색 시 빠른 Lookup 가능
IVF + OPQ 결합	Inverted File과 결합한 인덱싱	대규모 데이터셋 처리 시 효과적
Asymmetric Distance Computation (ADC)	압축 벡터와 원본 쿼리의 거리 계산 방식	정확도와 효율의 균형 유지

Faiss에서 가장 널리 사용되는 벡터 인덱스 방식 중 하나다.

---

5. 장점 및 이점

장점	설명	기대 효과
검색 정확도 향상	PQ 대비 양자화 손실 감소	근사 유사도 정렬 품질 개선
인덱스 크기 절감	벡터를 압축 저장 가능	메모리 사용량 절약
검색 속도 개선	사전 계산된 거리 테이블 사용	실시간 추천, 검색 서비스에 적합

수십억 개 벡터에 대한 검색이 필요한 환경에서 필수적인 기술이다.

---

6. 주요 활용 사례 및 고려사항

분야	활용 예시	고려사항
추천 시스템	사용자 임베딩 검색	검색 정확도 vs 응답 시간 균형 조절 필요
컴퓨터 비전	이미지 특성 벡터 인덱싱	벡터 정규화 및 전처리 필요
NLP	문장/단어 임베딩 검색	BERT 등 모델과의 호환성 고려

Rotation 학습은 사전 벡터의 대표성 있는 샘플로 수행하는 것이 효과적이다.

---

7. 결론

OPQ는 대규모 고차원 벡터 검색에서 PQ보다 뛰어난 정확도와 효율성을 동시에 제공하는 최적화 기법이다. 선형 회전을 통해 벡터 분할의 정밀도를 높이고, 코드북 기반 압축을 적용하여 메모리 절약과 고속 검색을 가능하게 한다. AI 기반 추천, 시맨틱 검색, 영상 분석 등 거의 모든 벡터 기반 시스템에서 필수적인 인프라 기술로 평가된다.