ITPE * JackerLab

Bi-Encoder

개요Bi-Encoder는 문서 검색, 질문응답 시스템, 추천 시스템 등에서 활용되는 딥러닝 기반 모델 구조로, 쿼리와 문서를 각각 독립적인 인코더(Encoder)로 임베딩한 후, 벡터 유사도 계산을 통해 관련성 있는 결과를 효율적으로 검색할 수 있도록 설계된 구조입니다. 대규모 문서 컬렉션에서 빠른 검색이 가능하며, Dense Retriever의 핵심 아키텍처입니다.1. 개념 및 정의 항목 설명 비고 정의쿼리와 문서를 각각 독립된 인코더로 임베딩하여 유사도 계산Dense Retrieval의 기반 구조목적대규모 데이터에서 효율적이고 빠른 정보 검색실시간 QA 및 검색 서비스에 적합필요성Sparse 방식(BM25 등)의 한계를 극복의미 기반 검색 지원2. 특징항목설명비교독립 임베딩쿼리/문서 사전 임베딩으..

Continuous Batching

개요Continuous Batching은 대규모 언어 모델(LLM) 추론에서 사용자 요청을 **고정된 타임슬롯(batch interval)**이 아닌, 실시간으로 수신되는 순서에 따라 동적으로 묶어 처리하는 배치 전략입니다. 이를 통해 응답 지연(latency)은 줄이고 GPU 활용률은 높이며, 특히 대화형 AI, AI 서비스 API 서버에서 효율적인 추론 처리를 가능하게 합니다. vLLM, TGI, TensorRT-LLM 등에서 적용되는 최신 배치 기법입니다.1. 개념 및 정의 항목 내용 비고 정의LLM 추론 시 요청을 고정 시간 기준 없이 지속적으로 batch로 구성하는 처리 방식streaming inference와 함께 사용목적latency와 throughput의 동시 개선응답 지연 감소 + G..

PagedOptim

개요PagedOptim은 대규모 언어 모델(LLM)의 파인튜닝/훈련 과정에서 GPU 메모리를 효율적으로 활용하기 위한 페이징 기반 옵티마이저 구조를 갖춘 학습 최적화 프레임워크입니다. 기존 옵티마이저(Adam, AdamW 등)는 파라미터와 옵티마이저 상태(state)를 모두 GPU 메모리에 올려야 했지만, PagedOptim은 **옵티마이저 상태를 페이지 단위로 GPU-CPU/NVMe 간에 이동(페이징)**하여, 메모리 초과 없이 초대형 모델 훈련을 가능하게 합니다.1. 개념 및 정의 항목 내용 비고 정의옵티마이저 상태를 페이지 단위로 관리하며 GPU-CPU 간 페이징을 수행하는 옵티마이저 계층DeepSpeed/Colossal-AI 기반 구현 예 존재목적GPU 메모리 한계를 넘어 대규모 모델 훈련 가..

AdaLoRA (Adaptive Low-Rank Adaptation)

개요AdaLoRA(Adaptive Low-Rank Adaptation)는 대규모 언어 모델(LLM)을 파인튜닝할 때 사용하는 파라미터 효율화 미세조정(Parameter-Efficient Fine-Tuning, PEFT) 기법 중 하나로, 기존의 LoRA(Low-Rank Adaptation)를 확장하여 Layer마다 적절한 랭크(Rank)를 동적으로 할당하는 방식으로 학습 효율성과 성능을 모두 향상시키는 기술입니다. 제한된 예산에서 최대 효과를 얻는 데 초점을 맞춘 최신 PEFT 방법입니다.1. 개념 및 정의 항목 내용 비고 정의LLM 파인튜닝 시 layer별로 rank를 동적으로 조절하는 LoRA 확장 기법논문: Adaptive Budget Allocation for Parameter-Efficien..

UCX (Unified Communication X)

개요UCX(Unified Communication X)는 HPC (High Performance Computing) 및 AI 환경에서 CPU/GPU 간 고속 통신을 위한 통합 API 및 라이브러리 프레임워크입니다. OpenUCX 프로젝트로 개발되었으며, 다양한 하드웨어 인터커넥트 (Infiniband, Ethernet, NVLink, PCIe 등)와 상위 통신 프레임워크(MPI, SHMEM, NCCL, OpenMP 등) 간의 통신을 일관된 인터페이스로 추상화합니다. Mellanox, NVIDIA, IBM, ARM 등이 참여한 오픈소스 프로젝트입니다.1. 개념 및 정의 항목 내용 비고 정의다양한 네트워크와 메모리 계층을 위한 고성능 통신 추상화 레이어Unified Communication Framewo..

NCCL (NVIDIA Collective Communications Library)

개요NCCL(NVIDIA Collective Communications Library)은 다중 GPU 간 데이터 전송을 고속으로 처리하기 위한 NVIDIA의 라이브러리로, 딥러닝 분산 학습 및 멀티-GPU 병렬 처리 환경에서 핵심적인 역할을 합니다. AllReduce, AllGather, ReduceScatter, Broadcast, Reduce 등의 집합 통신(Collective Communication) 연산을 최적화하여, PyTorch, TensorFlow, DeepSpeed, Megatron 등 주요 프레임워크에 내장되어 활용됩니다.1. 개념 및 정의 항목 내용 비고 정의다중 GPU 간 집합 통신을 위한 NVIDIA 제공 통신 라이브러리CUDA 기반 통신 최적화 라이브러리목적분산 딥러닝 훈련 ..

Materialize Sink Connectors

개요Materialize Sink Connectors는 Materialize가 계산한 스트리밍 뷰 결과를 외부 시스템으로 실시간 전달(sink) 할 수 있게 하는 기능입니다. Kafka, Postgres, S3 등 다양한 타겟 시스템에 대해 변경 데이터 캡처(Change Data Capture, CDC) 기반으로 처리하며, 실시간 대시보드, 데이터 웨어하우스, 메시지 브로커 연동에 활용됩니다. 데이터 웨어하우징을 스트리밍화하는 Materialize의 핵심 아키텍처 요소 중 하나입니다.1. 개념 및 정의 항목 내용 비고 정의Materialize의 실시간 뷰 데이터를 외부 시스템으로 스트리밍 전달하는 기능CREATE SINK 문으로 선언목적연속적으로 계산된 결과를 Kafka, DB 등에 자동 전송ETL의..

Monte Carlo Data

개요Monte Carlo Data는 데이터 파이프라인의 품질, 신뢰성, 가용성을 모니터링하고 사고를 자동으로 감지하는 데이터 옵스(DataOps) 플랫폼입니다. 데이터가 잘못되거나 누락되는 상황에서 알림, 영향 분석, 근본 원인 분석(RCA), 사후 대응 워크플로우까지 자동화하여, 데이터 엔지니어링 생산성을 높이고, 데이터 신뢰성을 유지합니다. 데이터 품질의 ‘SaaS 기반 관측성(Observability)’ 시장에서 대표적인 선도 제품입니다.1. 개념 및 정의 항목 내용 비고 정의데이터 파이프라인의 품질, 가용성, 신뢰성을 실시간으로 자동 모니터링하는 SaaS데이터 관측성 플랫폼의 일종목적데이터 오류를 조기 탐지하고 사고 대응 시간(TTD/TTD) 단축Data SLAs 준수 보장필요성데이터 누락, ..

Typesense

개요Typesense는 개발자 친화적이고 빠른 검색 경험을 제공하는 오픈소스 풀텍스트 검색 엔진입니다. 자동완성, 오타 허용, 정렬, 필터링 기능이 내장되어 있으며, 낮은 지연 시간과 간편한 REST API 설계를 통해 전자상거래, 문서 검색, 내부 도구 검색 등에 최적화된 대안 검색 솔루션으로 각광받고 있습니다. Meilisearch, Algolia와 유사하나, 강력한 정렬/필터 기능과 분산 클러스터 지원이 특징입니다.1. 개념 및 정의 항목 내용 비고 정의고속 검색, 오타 허용, 필터링, 정렬이 가능한 RESTful 오픈소스 검색 엔진C++ 기반, MIT 라이선스목적빠르고 직관적인 검색 기능을 최소한의 설정으로 구현개발자 생산성 향상필요성기존 Elasticsearch/Algolia의 복잡성 또는 ..

개요Meilisearch는 사용자가 입력한 검색어에 대해 즉각적인 응답과 자연스러운 검색 결과를 제공하는 오픈소스 RESTful 검색 엔진입니다. Algolia 대안으로 유명하며, 자바스크립트 친화적이고 자동 완성, 오타 허용(fuzzy matching), 필터링, 랭킹 기능이 내장된 가볍고 빠른 검색 솔루션으로 웹/모바일 앱, 문서 검색, 전자상거래, 블로그 등에서 활용됩니다.1. 개념 및 정의 항목 내용 비고 정의실시간 사용자 중심의 검색을 위한 Rust 기반 오픈소스 검색 엔진MIT 라이선스, Meili 팀 개발목적빠르고 사용자 친화적인 검색 UX 제공REST API 기반 통합 검색 구현필요성복잡한 검색 설정 없이 빠른 결과 제공Elasticsearch 대비 경량 설계2. 특징항목설명비고빠른 인..

개요ReFS(Resilient File System)는 Microsoft가 데이터 무결성, 복원력, 확장성을 목표로 설계한 차세대 파일 시스템입니다. NTFS의 기능을 계승하면서도 대용량 스토리지 및 장애 복구 중심의 아키텍처로 발전되었으며, 특히 Windows Server, Azure Stack HCI, Storage Spaces Direct 등의 엔터프라이즈 환경에서 안정성과 성능을 동시에 제공합니다.1. 개념 및 정의 항목 내용 비고 정의데이터 무결성과 자동 복구 기능을 내장한 Microsoft의 고신뢰성 파일 시스템Windows 8 이후 도입목적대규모 데이터 저장소에서 장애 복구와 일관성 제공NTFS 대체 또는 병행 사용 가능필요성NTFS의 손상 취약성과 확장성 한계 극복대용량 운영 환경 대응..

개요APFS(Apple File System)는 Apple이 macOS, iOS, iPadOS, tvOS, watchOS 등 자사 플랫폼 전반에서 속도, 신뢰성, 보안, 공간 효율성을 향상시키기 위해 설계한 64비트 기반의 고성능 파일 시스템입니다. HFS+의 한계를 극복하고 SSD/플래시 스토리지 최적화, 강력한 암호화, 스냅샷, 복사-쓰기(Copy-on-write) 등의 최신 기능을 지원하며 2017년부터 기본 파일 시스템으로 채택되었습니다.1. 개념 및 정의 항목 내용 비고 정의Apple이 독자 설계한 현대적 64비트 트랜잭션 기반 파일 시스템macOS 10.13부터 기본 적용목적플래시/SSD 중심의 저장 장치 성능 극대화속도, 보안, 무결성 동시 확보필요성HFS+의 성능 및 기능적 한계 극복트..

개요B ε-tree(Bε-tree 또는 Be-tree)는 디스크 기반 대규모 데이터베이스 시스템에서 쓰기 성능을 극적으로 향상시키기 위해 설계된 B-트리 기반의 자료구조입니다. 기존 B-트리가 랜덤 쓰기 위주로 설계되어 I/O 병목이 발생하는 데 비해, Be-tree는 각 노드에 **쓰기 버퍼(write buffer)**를 도입하여 **일괄 처리(batch write)**를 가능하게 함으로써 높은 쓰기 처리량을 달성합니다. RocksDB, TokuDB, WiredTiger 등의 NoSQL 및 스토리지 엔진에서 그 원리가 채택되고 있습니다.1. 개념 및 정의 항목 내용 비고 정의노드별 쓰기 버퍼를 활용해 쓰기 작업을 일괄 처리하는 계층적 B-트리 구조“B epsilon tree”로도 표기목적디스크 기반..

개요gRPC xDS는 gRPC 클라이언트와 서버가 서비스 메시 환경에서 동적으로 구성(configuration) 정보를 수신할 수 있도록 하는 제어 플레인 API입니다. 이는 Envoy Proxy에서 유래한 xDS API를 gRPC에 확장 적용한 것으로, 부하 분산, 보안, 서비스 디스커버리, 라우팅 등을 중앙 집중형 컨트롤 플레인과 동기화해 제어할 수 있도록 합니다.1. 개념 및 정의 항목 내용 비고 정의xDS API를 기반으로 gRPC 서비스의 구성 제어를 중앙에서 수행하는 표준"xDS"는 여러 API(Cluster, Endpoint 등)의 총칭목적서비스 메시 제어 기능을 gRPC에 적용Istio, Consul 등과 연동 가능필요성gRPC의 부하 분산, 인증, 라우팅 기능 외부화서비스 운영의 유연..

개요WHEP(WebRTC-HTTP Egress Protocol)는 WebRTC 스트림을 클라이언트 단(뷰어)에서 HTTP 인터페이스를 통해 수신(egress) 할 수 있도록 정의된 프로토콜입니다. WHIP과 쌍을 이루는 형태로, 실시간 방송의 송출(WHIP)과 수신(WHEP)을 모두 WebRTC + HTTP로 통합할 수 있게 하며, 방송 플랫폼의 브라우저 기반 재생 구조 표준화 및 경량화를 이끕니다.1. 개념 및 정의 항목 내용 비고 정의WebRTC 스트림을 HTTP signaling을 통해 클라이언트로 수신하기 위한 경량 프로토콜IETF 표준 초안 진행 중목적브라우저 기반 실시간 스트리밍 수신 표준화시청자 환경 단순화필요성RTMP/HLS/DASH의 지연과 비표준 구조 대체WebRTC의 초저지연 활용..

개요WHIP(WebRTC-HTTP Ingestion Protocol)는 WebRTC 기반 실시간 영상 및 오디오 스트림을 미디어 서버에 업로드(ingest) 하기 위한 경량 프로토콜로, 브라우저 및 클라이언트 단에서의 손쉬운 WebRTC 업로드 구성을 목표로 합니다. 기존 RTMP, SRT, RTP 등의 복잡한 설정과 비표준 방식의 한계를 극복하고, HTTP를 활용한 WebRTC signaling 단순화로 빠르고 상호운용 가능한 실시간 방송 인프라를 가능하게 합니다.1. 개념 및 정의 항목 내용 비고 정의WebRTC 스트림을 HTTP 인터페이스를 통해 송신 서버로 전송하기 위한 신호처리 프로토콜IETF 표준 초안 기반 (WISH/WHIP)목적방송 송출의 초기 연결(ingestion)을 간소화 및 자동..

개요MQTT 5.0(Message Queuing Telemetry Transport 5.0)은 IoT 환경에서의 통신을 위한 경량 메시징 프로토콜로, 이전 버전(MQTT 3.1.1)에 비해 확장성, 유연성, 신뢰성이 크게 향상된 최신 표준입니다. 비동기 통신, 저전력 소비, 제한된 네트워크 환경에서의 높은 전송 효율을 바탕으로, 센서 네트워크, 산업 자동화, 클라우드 IoT 플랫폼 등에서 광범위하게 사용됩니다.1. 개념 및 정의 항목 내용 비고 정의퍼블리셔-서브스크라이버 모델 기반의 경량 메시징 프로토콜ISO/IEC 20922 국제표준 기반목적네트워크 제약 환경에서도 신뢰성 있는 메시지 교환 지원연결 유지 최소화, 전송 최적화필요성IoT 디바이스의 다양화 및 대규모 연결 수요 대응기존 MQTT 3.1..

개요TinyLFU는 메모리 또는 디스크 기반 캐시 시스템에서 가장 효율적인 교체 정책 중 하나로 평가받는 LFU(Least Frequently Used) 기반 알고리즘입니다. 단순한 접근 빈도만 고려하는 것이 아니라 공간 제약 하에서 정확한 접근 빈도 추정이 가능하도록 설계되었으며, Caffeine, Redis 등 고성능 시스템에서도 활용됩니다.1. 개념 및 정의 항목 내용 비고 정의공간 효율적인 빈도 기반 캐시 필터(Tiny Least Frequently Used)2015년 ACM HotStorage 논문 발표목적접근 빈도 정보를 최소한의 메모리로 추정하여 캐시 효율 극대화정확도 vs 비용 균형 유지필요성전통적인 LFU는 공간/계산 비용이 크고 민감도 낮음Bloom Filter와 유사한 경량 설계2..

개요Ristretto는 Curve25519(Edwards25519)를 기반으로 한 고속 타원곡선 암호 그룹을 안전하고 정규화된 방식으로 추상화한 라이브러리로, 암호학적 오류를 방지하면서도 사용자가 안전하게 그룹 연산을 수행할 수 있도록 설계되었습니다. 대표적으로 **비가시 표현(canonical representation)**과 **위조 방지(deserialization safety)**를 보장하며, Rust 언어 기반의 구현이 활발합니다.1. 개념 및 정의항목내용비고정의Edwards25519 기반의 정규화된 암호학적 그룹 표현Curve25519와 호환성 보유목적안전한 탈직관화 그룹 연산 제공이중 표현 및 역원 문제 해결필요성Twisted Edwards 곡선에서 발생하는 안전성 문제 해소사용자 레벨 안전..

개요Lunatic은 Erlang의 동시성 모델을 기반으로 설계된 WebAssembly(Wasm) 런타임으로, 안전하고 경량화된 병렬 애플리케이션을 구축할 수 있도록 지원합니다. Wasm의 포터블성과 Erlang의 프로세스 모델을 결합하여, 빠르고 안전한 분산 시스템을 구성할 수 있는 새로운 실행 환경으로 주목받고 있습니다.1. 개념 및 정의 항목 내용 정의WebAssembly 기반으로 작동하며, Erlang 스타일의 프로세스 격리를 지원하는 병렬 런타임목적안전한 병렬 실행과 높은 확장성 제공필요성기존 언어/플랫폼의 스레드 기반 병렬성 한계 및 리소스 낭비 해결2. 주요 특징특징설명효과Erlang-style 프로세스 모델수천~수만 개의 경량 프로세스 생성 가능장애 격리 및 비동기 메시징 지원WebAsse..

개요WebBundles는 HTML, CSS, JS, 이미지 등 웹 리소스를 하나의 바이너리 파일로 묶어 전송할 수 있도록 하는 W3C 표준 제안 기술입니다. 이 포맷은 브라우저가 번들 내부의 각 리소스를 개별 URL로 처리할 수 있도록 지원하여, 캐싱, 공유, 분산 배포, 오프라인 실행 등에 매우 효과적입니다.1. 개념 및 정의 항목 내용 정의복수의 웹 리소스를 하나의 번들로 묶는 HTTP 교환 포맷 (application/webbundle)목적웹 콘텐츠의 배포, 캐싱, 공유를 보다 안정적이고 효율적으로 수행하기 위함필요성페이지 로딩 최적화, 오프라인 앱 구현, 검열 회피 등 다양한 활용 수요 대응2. 주요 특징특징설명효과리소스 묶음 처리HTML/CSS/JS/이미지 등을 단일 파일로 묶음네트워크 요청 ..

개요LCEL(LangChain Expression Language)은 LangChain 프레임워크 내에서 LLM 애플리케이션을 함수형·선언형 방식으로 구성할 수 있도록 해주는 표현 언어입니다. 체인, 프롬프트, 툴, 래퍼 등 다양한 구성 요소를 간결하고 선언적으로 연결할 수 있어, 복잡한 파이프라인 구성도 직관적으로 구현할 수 있습니다.1. 개념 및 정의 항목 내용 정의LangChain 내 LLM 파이프라인을 함수 조합으로 선언하는 도메인 특화 표현 언어목적체인 구성의 간결화, 가독성 향상, 재사용성 확보필요성명령형 체인 구성의 복잡도와 유지보수 문제 해결을 위해 도입됨2. 주요 특징특징설명장점선언형 체인 구성파이프라인을 마치 수학식처럼 구성직관적이고 오류 감소체인 조합 가능Runnable 객체로 구성..

개요HELM(Holistic Evaluation of Language Models)은 Stanford CRFM(Center for Research on Foundation Models)에서 개발한 LLM 평가 프레임워크로, 단순 정확도 중심의 평가를 넘어, 편향성, 유해성, 효율성, 견고성 등 다양한 관점에서 언어 모델의 품질을 정량적으로 분석하고 비교하는 것을 목표로 합니다.1. 개념 및 정의 항목 내용 정의LLM을 정확성 외의 다면적 기준으로 평가하는 표준화된 프레임워크목적다양한 환경과 조건에서 LLM의 강점과 한계를 투명하게 분석필요성LLM이 실제 사용되는 상황에서 발생할 수 있는 다양한 리스크 고려 필요2. 주요 특징특징설명장점다차원 평가 기준정확도뿐 아니라 편향, 유해성, 효율성 등 총 7개 ..

개요lm-eval-harness는 다양한 자연어 처리(NLP) 과제에 대해 LLM(Large Language Model)의 성능을 정량적으로 평가하기 위한 Python 기반 오픈소스 프레임워크입니다. EleutherAI에서 개발하였으며, GPT, LLaMA, PaLM, Claude, Mistral 등 다양한 언어 모델에 일관된 방식으로 벤치마크를 적용할 수 있는 범용 도구로 활용됩니다.1. 개념 및 정의 항목 내용 정의LLM의 언어 이해 및 생성 성능을 다양한 벤치마크를 통해 자동 평가하는 프레임워크목적모델 간 일관된 비교와 성능 추적, 학습 없이 추론(inference-only) 성능 확인필요성벤치마크마다 형식이 달라 생기는 평가 불일치를 통합하여 재현 가능한 실험 지원2. 주요 특징특징설명장점Pro..

개요MT-Bench는 대형 언어 모델(LLM)의 실제 사용 시나리오에 가까운 멀티턴(Multi-turn) 대화를 기반으로 모델의 응답 품질을 평가하는 벤치마크입니다. LMSYS(Large Model Systems Organization)에서 개발되었으며, 단일 질문-응답이 아닌 연속된 질의와 응답 흐름에서 모델의 일관성, 이해력, 창의성 등을 측정하는 데 중점을 둡니다.1. 개념 및 정의 항목 내용 정의LLM의 실용적 대화 성능을 측정하기 위한 멀티턴 대화형 평가 벤치마크목적단일 문항 기준의 한계를 넘어 실제 사용자 경험에 가까운 평가 구현필요성LLM이 실제 사용에서 보여주는 흐름, 맥락 유지 능력 등을 정량적으로 평가할 수단 부족2. 주요 특징특징설명장점멀티턴 구성80개의 다양한 주제 대화 시나리오 ..

개요Flow Matching은 확률적 생성 모델에서 목표 분포로의 경로(flow)를 직접 학습하여, 디퓨전 모델이나 score-based 모델보다 더 간단하고 안정적으로 샘플링을 가능하게 하는 학습 기법입니다. 목표는 데이터 분포로 연결되는 벡터 필드(Vector Field)를 추정하는 것입니다.1. 개념 및 정의 항목 내용 정의데이터 분포로의 연속적인 흐름 경로를 학습하는 확률적 생성 모델 훈련 기법목적빠르고 안정적인 샘플링이 가능한 생성 모델 구축필요성디퓨전 모델의 복잡한 역과정 또는 noise schedule 없이 효율적인 생성 모델 구현 필요2. 주요 특징특징설명장점직접적인 벡터 필드 학습시작-끝 점 사이의 흐름을 직접 학습수치적 안정성 향상단일 단계 훈련복잡한 noise schedule 없음학..

개요Rectified Flow는 확률적 생성 모델 분야에서 제안된 새로운 패러다임으로, 샘플링 과정을 경로 최적화 문제로 정식화하여 효율성과 품질을 동시에 향상시키는 접근법입니다. 디퓨전 모델과 유사한 프레임워크를 갖지만, 노이즈 제거가 아닌 직접적인 경로 추정(flow estimation)에 집중합니다.1. 개념 및 정의 항목 내용 정의확률적 샘플링을 위한 흐름(field)을 학습하여 데이터 분포를 복원하는 생성 모델목적기존 디퓨전 모델보다 빠르고 정확한 샘플 생성필요성고품질 이미지 생성을 위한 효율적이고 안정적인 경로 기반 학습 수요 증가2. 주요 특징특징설명장점경로 최적화 기반 학습확률 경로를 최소 거리로 정렬하여 훈련더 짧은 샘플링 경로, 빠른 생성one-way trajectory역과정 없이 정..

개요Locality-Sensitive Hashing(LSH)은 고차원 벡터 공간에서 유사한 데이터 포인트를 빠르게 검색하기 위한 해시 기반 알고리즘입니다. 일반적인 해시 함수가 충돌을 피하려는 것과 달리, LSH는 유사한 입력값일수록 동일한 해시값으로 매핑될 확률이 높도록 설계되어, 대용량 데이터에서 근사 최근접 이웃(ANN, Approximate Nearest Neighbors) 검색에 활용됩니다.1. 개념 및 정의 항목 내용 정의유사한 객체들이 동일한 해시값을 가질 확률이 높은 해시 함수 집합을 사용하는 알고리즘목적고차원 공간에서의 유사 항목 검색 속도 개선필요성대용량 벡터 데이터에서의 실시간 검색 및 분류 최적화2. 주요 특징특징설명효과근사 최근접 검색정확한 거리 계산 없이 근접 데이터 추정속도 ..

개요MinHash(Minimum Hashing)는 집합 간 자카드 유사도(Jaccard Similarity)를 빠르게 근사 계산하기 위한 해시 기반 알고리즘입니다. 웹 페이지 중복 제거, 문서 클러스터링, 추천 시스템 등에서 대용량 데이터 간 유사도를 효율적으로 비교할 수 있도록 설계된 경량 알고리즘입니다.1. 개념 및 정의 항목 내용 정의집합 간 유사도를 추정하기 위해 최소 해시값들을 비교하는 확률적 기법목적대용량 집합 비교 시 연산 비용을 줄이고 효율적으로 유사도 추정필요성텍스트, 로그, 사용자 행동 데이터 등 고차원 데이터의 비교 최적화 필요2. 주요 특징특징설명효과자카드 유사도 근사교집합/합집합 비율을 해시값으로 근사연산량 감소서브라인어 알고리즘저장공간 및 계산 시간 최소화빅데이터 환경 최적화로..

개요DiT(Diffusion Transformer)는 이미지 생성을 위한 딥러닝 아키텍처로, 기존 CNN 기반의 디퓨전 모델 대신 트랜스포머(Transformer) 구조를 사용하여 고해상도 이미지를 효율적으로 생성합니다. OpenAI의 DALLE이나 Stable Diffusion과 유사한 방식의 생성 메커니즘에 Transformer의 장점을 결합한 새로운 접근입니다.1. 개념 및 정의 항목 내용 정의트랜스포머 아키텍처를 디퓨전 모델의 노이즈 예측에 활용한 이미지 생성 모델목적고성능 이미지 생성을 위한 트랜스포머 기반 구조 설계필요성CNN의 표현력 한계를 넘어 더 정교한 패턴 학습과 확장성 확보를 위함2. 주요 특징특징설명효과트랜스포머 구조비전 트랜스포머(ViT) 기반 아키텍처장거리 의존 관계 학습에 유..