ITPE * JackerLab

개요DataFusion은 Apache Arrow 프로젝트의 하위 컴포넌트로, Rust 언어로 개발된 인메모리 분산 SQL 쿼리 엔진입니다. 대규모 데이터 집계, ETL 처리, 데이터 레이크 쿼리 등의 환경에서 고성능 SQL 분석 기능을 제공합니다. 메모리 효율성과 멀티 스레딩에 최적화된 구조로, 경량화된 분석 플랫폼을 구축하고자 할 때 탁월한 선택입니다.1. 개념 및 정의항목설명정의DataFusion은 Apache Arrow 기반의 고성능 인메모리 SQL 쿼리 엔진입니다.목적Rust 기반으로 안전성과 성능을 동시에 확보한 경량 분석 엔진 제공필요성Spark, Presto 등의 무거운 대안 없이도 빠른 쿼리 및 분석 가능Rust의 장점을 살린 안전하고 효율적인 데이터 쿼리 환경 구현이 목적입니다.2. 특징..

개요Optane DC Persistent Memory Module(DCPMM)은 인텔이 개발한 3D XPoint 기반의 비휘발성 메모리로, DRAM과 유사한 속도로 전원이 꺼져도 데이터가 유지되며, 서버 메모리 용량을 TB 단위로 확장할 수 있는 차세대 메모리 기술입니다. Optane DCPMM은 데이터 지속성, 비용 효율적 메모리 확장, 빠른 재시작 시간을 동시에 만족시켜 대규모 인메모리 분석 및 데이터베이스 환경에서 각광받고 있습니다.1. 개념 및 정의Intel Optane DCPMM은 DDR4 DIMM 슬롯에 장착되는 비휘발성 메모리 모듈로, CPU와 직접 연결되어 Load/Store 방식의 접근이 가능하며, 전통적인 DRAM과 함께 혼합 구성이 가능합니다.기술 기반: 3D XPoint폼팩터: DD..

개요Persistent Memory(PMEM 또는 NVRAM)는 전원이 꺼져도 데이터가 유지되는 비휘발성 특성과 DRAM 수준의 고속 접근 성능을 동시에 제공하는 차세대 메모리 기술입니다. DRAM과 SSD의 중간 계층에 위치하여, 시스템 메모리 계층 구조를 재정의하며, 데이터베이스, 인메모리 분석, 로그 시스템 등 고속·고가용성 애플리케이션에서 활용되고 있습니다.1. 개념 및 정의**Persistent Memory(PMEM)**는 DRAM보다 느리지만 SSD보다 훨씬 빠르고, 전원이 꺼져도 데이터를 보존하는 메모리입니다. 주로 DIMM 폼팩터(예: Intel Optane DC Persistent Memory)를 통해 사용됩니다.주요 형태: Intel Optane PMEM (3D XPoint 기반)접근 ..