ITPE * JackerLab

개요TinyLFU는 메모리 또는 디스크 기반 캐시 시스템에서 가장 효율적인 교체 정책 중 하나로 평가받는 LFU(Least Frequently Used) 기반 알고리즘입니다. 단순한 접근 빈도만 고려하는 것이 아니라 공간 제약 하에서 정확한 접근 빈도 추정이 가능하도록 설계되었으며, Caffeine, Redis 등 고성능 시스템에서도 활용됩니다.1. 개념 및 정의 항목 내용 비고 정의공간 효율적인 빈도 기반 캐시 필터(Tiny Least Frequently Used)2015년 ACM HotStorage 논문 발표목적접근 빈도 정보를 최소한의 메모리로 추정하여 캐시 효율 극대화정확도 vs 비용 균형 유지필요성전통적인 LFU는 공간/계산 비용이 크고 민감도 낮음Bloom Filter와 유사한 경량 설계2..

개요CRDTs(Conflict-Free Replicated Data Types)는 분산 환경에서 데이터의 일관성을 유지하면서도 충돌 없는 병합을 가능하게 하는 데이터 구조다. 서버 간 네트워크 지연이나 오프라인 상태에서도 로컬 업데이트가 가능하며, 최종적으로 모든 복제본이 동일한 상태로 수렴하는 것을 보장한다. 이는 실시간 협업 도구, 분산 데이터베이스, 엣지 컴퓨팅 환경에서 핵심 기술로 사용된다.1. 개념 및 정의CRDT는 여러 노드에서 독립적으로 데이터 변경이 일어나더라도 충돌(conflict) 없이 자동으로 병합될 수 있는 데이터 구조다. 전통적인 락(lock)이나 중앙 집중형 동기화 없이, 수학적 합병 규칙을 통해 ‘최종 일관성(Eventual Consistency)’을 보장한다.CRDT의 기본 ..

개요AI 시스템에서 모델의 성능을 결정짓는 핵심 요소는 데이터의 품질과 일관성입니다. 특히 머신러닝 모델이 요구하는 전처리된 피처(feature) 데이터의 생성, 관리, 재사용을 체계화하기 위한 인프라가 바로 Feature Store입니다. 최근 등장한 Feature Store 2.0은 단순 저장소 역할을 넘어, 온라인-오프라인 동기화, 실시간 피처 파이프라인, 엔드투엔드 MLOps 통합을 지원하는 진화된 형태로 주목받고 있습니다.1. 개념 및 정의Feature Store 2.0은 AI/ML 시스템에서 피처의 생성부터 저장, 배포, 버전관리, 실시간 제공까지 지원하는 차세대 피처 관리 플랫폼입니다. 기존의 Feature Store 1.0이 주로 배치 학습 기반의 정적 피처 저장소였다면, 2.0은 스트리밍..

개요SkipListMap은 Skip List 자료구조를 기반으로 구현된 정렬된 Key-Value Map입니다. 트리 기반 구조(B-tree, AVL, Red-Black Tree)와 달리 난수 기반의 링크드 리스트 계층 구조를 활용하여, **검색, 삽입, 삭제 작업을 평균 O(log n)**의 성능으로 수행할 수 있으며, Java의 ConcurrentSkipListMap, Redis, RocksDB 등에서 활용됩니다.1. 개념 및 정의SkipListMap은 기본적으로 Skip List라는 자료구조를 기반으로 구성된 맵(Map)으로, Key를 기준으로 정렬된 상태를 유지하며, 중복되지 않는 키와 연관된 값을 저장합니다. Skip List는 여러 층의 연결 리스트를 사용하여 빠른 탐색을 가능하게 하는 구조이며..

개요Skip List는 연결 리스트(linked list)에 다층 구조를 추가하여 이진 탐색 트리와 유사한 빠른 탐색, 삽입, 삭제를 지원하는 자료구조입니다. 평균적으로 O(log n) 시간 복잡도를 제공하며, 균형 유지가 복잡한 트리 구조 대신 간단한 구조로 고성능을 실현할 수 있어 데이터베이스, 인메모리 캐시 시스템 등 다양한 분야에서 활용됩니다.1. 개념 및 정의항목내용정의다층 연결 리스트를 사용하여 탐색 성능을 향상시키는 확률적(probabilistic) 자료구조목적이진 탐색 트리 수준의 탐색 속도 확보 및 구현 단순화필요성정렬된 데이터에서 빠른 검색, 삽입, 삭제를 지원하고 트리 리밸런싱 복잡성 감소Skip List는 간결한 구조와 높은 효율성으로 현대 시스템 설계에 널리 사용되고 있습니다.2...

개요Query Offloading은 데이터베이스의 주요 부하를 다른 시스템, 캐시, 외부 분석 플랫폼 등으로 분산하여 성능을 최적화하는 전략입니다. 고부하 쿼리, 반복 실행되는 분석 질의, 보고서용 정적 쿼리를 오프로드(offload)함으로써 본 시스템의 트랜잭션 처리 성능을 확보하고 병목 현상을 줄일 수 있습니다. 본 글에서는 Query Offloading의 개념, 유형, 기술 구성, 실무 적용 사례 등을 다룹니다.1. Query Offloading이란? 항목 설명 정의원본 DB가 직접 처리하지 않도록 일부 쿼리를 외부 시스템(예: 캐시, DW, 분석 플랫폼)으로 분산하는 기술목적OLTP 시스템의 성능 보존, 보고서 쿼리 분리, 리소스 분산주요 활용비즈니스 인텔리전스, 대용량 집계, 백엔드 비동기 연..