ITPE * JackerLab

개요Locality-Sensitive Hashing(LSH)은 고차원 벡터 공간에서 유사한 데이터 포인트를 빠르게 검색하기 위한 해시 기반 알고리즘입니다. 일반적인 해시 함수가 충돌을 피하려는 것과 달리, LSH는 유사한 입력값일수록 동일한 해시값으로 매핑될 확률이 높도록 설계되어, 대용량 데이터에서 근사 최근접 이웃(ANN, Approximate Nearest Neighbors) 검색에 활용됩니다.1. 개념 및 정의 항목 내용 정의유사한 객체들이 동일한 해시값을 가질 확률이 높은 해시 함수 집합을 사용하는 알고리즘목적고차원 공간에서의 유사 항목 검색 속도 개선필요성대용량 벡터 데이터에서의 실시간 검색 및 분류 최적화2. 주요 특징특징설명효과근사 최근접 검색정확한 거리 계산 없이 근접 데이터 추정속도 ..

개요DiskANN은 마이크로소프트 리서치에서 개발한 근사 최근접 탐색(ANN, Approximate Nearest Neighbor) 알고리즘으로, RAM이 아닌 디스크(SSD)에 저장된 고차원 벡터 데이터를 고속으로 검색할 수 있도록 설계되었습니다. 수십억 개의 벡터도 소량의 메모리만으로 빠르게 탐색할 수 있어, 대규모 검색 시스템에 적합합니다.1. 개념 및 정의 항목 설명 정의SSD에 저장된 대규모 벡터 인덱스에서 최근접 이웃을 근사적으로 탐색하는 알고리즘목적RAM 사용을 최소화하면서도 빠른 벡터 검색 구현필요성메모리 크기를 넘는 벡터 데이터를 실시간 탐색할 수 있는 구조 필요DiskANN은 HNSW 기반 탐색과 SSD 친화적인 I/O 최적화를 결합함2. 특징특징설명비교SSD 기반 인덱스대부분의 인덱..

개요생성형 AI 모델은 방대한 사전 학습 데이터를 바탕으로 새로운 응답을 생성하지만, 실시간 문맥 이해나 동적인 외부 지식 반영에는 한계가 있습니다. 이러한 문제를 해결하기 위해 등장한 기술이 **RAG(Retrieval-Augmented Generation)**이며, 이를 더욱 정교하게 만든 구조가 바로 **Contextual RAG Memory(CRAG-Mem)**입니다. CRAG-Mem은 문맥에 따라 검색과 생성, 메모리 갱신을 통합적으로 수행하는 지능형 메모리 프레임워크로, 사용자 맞춤형 AI 시스템 구현에 핵심적 역할을 합니다.1. 개념 및 정의**CRAG-Mem(Contextual RAG Memory)**는 문맥 기반 정보 검색, 생성, 기억 보존 기능을 결합한 하이브리드 메모리 아키텍처로, ..

개요Streaming Vector DB(SVDB)는 대규모 스트리밍 데이터에서 생성되는 고차원 벡터 정보를 실시간으로 저장, 검색, 분석할 수 있는 데이터베이스입니다. 이는 전통적인 정적(Vector DB) 벡터 저장소와 달리, 지속적으로 변화하는 데이터 흐름(streaming data)에 최적화되어 있으며, 실시간 추천, 이상 탐지, 멀티모달 AI 처리 등에서 강력한 성능을 발휘합니다.1. 개념 및 정의Streaming Vector DB는 벡터 데이터를 스트림 기반으로 지속 수신하며, 수신 즉시 인덱싱 및 쿼리가 가능한 고성능 벡터 데이터베이스입니다. 고차원 임베딩을 활용한 AI/ML 파이프라인에서 실시간 분석 및 반응성이 중요한 영역에서 활용됩니다.목표는 벡터 삽입-검색 지연(latency)을 최소화..

개요VDBench-v1은 다양한 벡터 데이터베이스(Vector DB)의 검색 성능, 정밀도, 확장성을 비교 평가할 수 있도록 설계된 오픈 벤치마크 도구이다. ANN(Search), Filtering, Re-ranking, Index 유형 등 주요 기능을 중심으로 통일된 평가 지표와 실행 방식을 제공하며, LLM 시대 RAG(Relevance-Augmented Generation) 아키텍처의 인프라 선택에 핵심 역할을 한다.1. 개념 및 정의 항목 설명 정의VDBench-v1은 벡터 DB 간 기능적/비기능적 성능 비교를 위해 설계된 오픈소스 벤치마크 프레임워크이다.목적벡터 검색 성능 및 시스템적 확장성 비교, 표준화된 테스트 제공평가 방식공통 질의 집합과 동일 데이터셋으로 latency, recall, ..

개요전통적인 B-Tree 기반 인덱스는 1차원 정렬 값에 최적화된 구조입니다. 그러나 위치 기반 서비스(GIS), 이미지 검색, 벡터 유사도 분석 등에서는 2차원 이상의 다차원 데이터를 효율적으로 처리할 수 있는 인덱스 구조가 필요합니다. 이를 위해 등장한 것이 R-Tree, KD-Tree, Quad-Tree, Grid File 등의 다차원 색인 구조입니다. 본 글에서는 이들 구조의 개념, 차이점, 적용 전략을 비교 분석합니다.1. 다차원 색인 구조란? 항목 설명 정의2차원 이상의 좌표, 영역, 벡터 등 복수 속성을 기준으로 색인할 수 있는 자료 구조목적고차원 공간 탐색, 범위 질의(range query), 근접 질의(nearest neighbor query) 최적화활용GIS, IoT, 이미지 검색, ..