ITPE * JackerLab

개요DiskANN은 마이크로소프트 리서치에서 개발한 근사 최근접 탐색(ANN, Approximate Nearest Neighbor) 알고리즘으로, RAM이 아닌 디스크(SSD)에 저장된 고차원 벡터 데이터를 고속으로 검색할 수 있도록 설계되었습니다. 수십억 개의 벡터도 소량의 메모리만으로 빠르게 탐색할 수 있어, 대규모 검색 시스템에 적합합니다.1. 개념 및 정의 항목 설명 정의SSD에 저장된 대규모 벡터 인덱스에서 최근접 이웃을 근사적으로 탐색하는 알고리즘목적RAM 사용을 최소화하면서도 빠른 벡터 검색 구현필요성메모리 크기를 넘는 벡터 데이터를 실시간 탐색할 수 있는 구조 필요DiskANN은 HNSW 기반 탐색과 SSD 친화적인 I/O 최적화를 결합함2. 특징특징설명비교SSD 기반 인덱스대부분의 인덱..

개요Vespa는 대용량 데이터에 대한 실시간 검색, 추천, 랭킹, 필터링을 처리할 수 있는 오픈소스 빅데이터 엔진이다. Yahoo에서 개발되어 Verizon Media, Oath를 거쳐 현재는 다양한 기업과 연구기관에서 사용되고 있으며, 밀리초 단위 응답이 요구되는 대규모 AI 시스템에서 핵심 역할을 한다.1. 개념 및 정의 항목 설명 정의실시간 벡터 검색과 필터링, 랭킹을 지원하는 분산형 AI 검색 엔진목적대규모 사용자 요청에 대한 빠른 개인화, 추천, 탐색 기능 제공필요성기존 검색/추천 시스템의 지연 시간, 복잡성, 확장성 문제 해결Vespa는 통합 검색·추론 엔진으로 모델 서빙, 피쳐 처리, 벡터 연산까지 내장한다.2. 특징특징설명비교실시간 벡터 검색ANN 기반 벡터 검색과 필터 통합 제공Fais..

개요Weaviate는 벡터 임베딩 기반의 고속 검색과 구조화된 메타데이터 쿼리를 동시에 지원하는 오픈소스 벡터 데이터베이스입니다. AI 검색(RAG), 추천 시스템, 멀티모달 검색, 의미 기반 필터링 등의 기능을 통합 제공하며, 벡터 인덱싱부터 LLM 통합까지 모두 처리 가능한 통합형 플랫폼으로 각광받고 있습니다.1. 개념 및 정의 항목 내용 비고 정의의미 기반 벡터 검색과 구조화된 쿼리를 결합한 벡터 데이터베이스GraphQL/REST/gRPC API 제공핵심 목적유사도 기반 검색 + 속성 기반 필터링을 통합 제공RAG, AI 서비스에 적합주요 도메인검색, 추천, 질문응답, 시맨틱 분류LLM 통합 운영 가능2. 특징항목설명비고하이브리드 검색벡터 유사도 + 구조화 필터 쿼리 조합GraphQL 기반 질의..

개요Qdrant는 벡터 임베딩 기반의 데이터 검색을 고속으로 처리할 수 있도록 설계된 오픈소스 벡터 검색 엔진입니다. 자연어 처리(NLP), 이미지 검색, 추천 시스템, AI 기반 검색 등에서 사용되며, ANN(Approximate Nearest Neighbor) 알고리즘과 필터링 기능을 결합하여 정확도와 속도 모두를 보장합니다. REST, gRPC, WebSocket 등 다양한 인터페이스를 지원하여 AI/ML 파이프라인과 쉽게 통합됩니다.1. 개념 및 정의 항목 내용 비고 정의고차원 벡터 공간에서 유사한 데이터를 빠르게 찾는 벡터 검색 엔진Rust 기반 구현목적벡터 임베딩 기반 검색 및 유사성 탐색 최적화AI 응용 서비스 강화대상 도메인검색, 추천, 분류, 클러스터링 등자연어, 이미지, 코드 등 다..

개요Milvus는 대규모 벡터 데이터를 효율적으로 저장하고 고속으로 검색할 수 있는 오픈소스 벡터 데이터베이스입니다. 인공지능(AI), 추천 시스템, 자연어 처리(NLP), 이미지 검색 등에서 사용되는 고차원 벡터 데이터를 위한 특화된 인프라로, 비정형 데이터에 대한 유사성 검색(Approximate Nearest Neighbor, ANN)을 지원합니다. Milvus는 Zilliz에 의해 개발되었으며, LF AI & Data 재단의 프로젝트로 채택되어 활발히 발전하고 있습니다.1. 개념 및 정의 항목 설명정의Milvus는 벡터 데이터의 저장, 색인, 검색을 위한 분산형 오픈소스 벡터 DB입니다.목적고차원 벡터의 유사성 검색을 빠르고 정확하게 처리하기 위함필요성기존 RDBMS로는 불가능한 벡터 기반의 대규..

개요ANN(Approximate Nearest Neighbor)은 고차원 벡터 공간에서 주어진 쿼리 벡터에 가장 가까운 이웃(neighbor)을 빠르게 찾기 위한 근사 알고리즘이다. 정확한 최근접 탐색(Exact NN)은 계산 비용이 매우 높기 때문에, ANN은 속도와 정확도 사이의 균형을 추구하며 대규모 데이터셋에서 벡터 검색, 이미지 유사도 탐색, AI 임베딩 검색 등에 널리 활용된다.1. 개념 및 정의ANN은 고차원 공간에서 거리(코사인 거리, 유클리드 거리 등)를 기준으로 가장 가까운 벡터를 찾는 과정을 근사적으로 처리하는 기법이다. 정확한 결과 대신 유사한(approximate) 결과를 빠르게 도출하는 데 초점을 맞춘다.목적: 계산 효율성을 극대화한 고속 벡터 검색필요성: 고차원에서의 NN 탐색..

개요Vector Extension for Postgres는 PostgreSQL 데이터베이스에 벡터 연산 기능을 추가하여, 고차원 벡터 검색, 유사도 기반 질의, AI 임베딩 저장 및 질의응답 시스템 등에 활용할 수 있도록 만든 확장 모듈이다. 최근 AI 검색과 추천 시스템의 인기로 인해 PostgreSQL과 같은 범용 DB에서의 벡터 기반 질의 지원이 중요해지고 있다.1. 개념 및 정의Vector Extension은 PostgreSQL에서 벡터 데이터를 컬럼 형태로 저장하고, cosine similarity, L2 distance, inner product 등을 기반으로 한 유사도 검색 기능을 지원하는 확장(extension) 기능이다.목적: PostgreSQL에서 AI 임베딩을 기반으로 유사도 질의 수..